Zurück zur Übersicht
    Technologie
    23. August 20268 min

    Das beste KI-Modell gibt es nicht — so findest du deins

    Öffentliche Ranglisten helfen beim Suchen und versagen beim Entscheiden. Warum 0,003 Prozent der Bewertungen den Spitzenplatz kippen können — und wie eine Modellentscheidung zur Messung wird.

    Screenshot der Modell-Rangliste der Arena (arena.ai), Ansicht Text/Overall: die Plätze 1 bis 10 liegen nur 19 Punkte auseinander, die Unsicherheitsbalken überlappen sich.

    „Was ist das beste KI-Modell?“ ist die Frage, die uns Kunden am häufigsten stellen. Eine ehrliche Antwort darauf gibt es nicht — auf die Frage dahinter aber eine sehr gute. Warum öffentliche Ranglisten beim Suchen helfen und beim Entscheiden versagen, was eine Studie über die Belastbarkeit dieser Ranglisten herausgefunden hat, und wie du in wenigen Tagen zu einer Modellentscheidung kommst, die du begründen kannst.

    Warum gibt es kein „bestes KI-Modell“?

    Weil „gut“ keine Eigenschaft eines Modells ist, sondern eine Eigenschaft der Kombination aus Modell und Aufgabe. Vier Anforderungen entscheiden mit, und sie ziehen selten in dieselbe Richtung:

    • Qualität — wie oft liefert das Modell das richtige Ergebnis, gemessen an deiner Aufgabe.
    • Geschwindigkeit — reicht eine Antwort in fünf Sekunden, oder muss sie in fünfhundert Millisekunden da sein.
    • Kosten — bei großen Mengen entscheidet der Preis pro Vorgang über die Wirtschaftlichkeit des ganzen Vorhabens.
    • Datenschutz — wo darf gerechnet werden, und welche Modelle stehen dort überhaupt zur Verfügung.

    Wie weit diese Anforderungen auseinanderliegen können, zeigt eine Zahl aus einer aktuellen Untersuchung zur Dokumenten-Auslesung: Zwischen dem günstigsten und dem teuersten geprüften Verfahren liegt beim Preis pro Seite ein Faktor von rund 28 — bei einem Qualitätsunterschied von etwa neun Prozentpunkten. Welche der beiden Zahlen zählt, hängt daran, ob du zwanzig Dokumente im Monat verarbeitest oder zwanzigtausend.

    Was messen öffentliche KI-Ranglisten wirklich?

    Die bekannteste Rangliste ist die Arena — seit Januar 2026 heißt sie nur noch so, davor LMArena, ursprünglich Chatbot Arena. Das Prinzip ist gut: Zwei Modelle antworten anonym auf dieselbe Frage eines echten Nutzers, der Nutzer wählt die bessere Antwort, und aus Millionen solcher Paarvergleiche wird über ein statistisches Modell eine Rangfolge berechnet. Die Erstveröffentlichung des Verfahrens von 2024 stützte sich auf über 240.000 Stimmen; heute sind es Millionen.

    Das ist deutlich mehr wert als ein fester Fragenkatalog, den ein Modell auswendig lernen kann. Es beantwortet nur eine andere Frage als deine. Gemessen wird die allgemeine Vorliebe von Menschen bei allgemeinen Aufgaben — nicht die Trefferquote auf deinen Lieferscheinen, in deinen Fachbegriffen, bei deinen Sonderfällen.

    Wie belastbar ist die Reihenfolge an der Spitze?

    Weniger, als die saubere Nummerierung vermuten lässt. Im Bild oben dieses Artikels liegen zwischen Platz 1 und Platz 10 genau 19 Punkte, und hinter jedem Wert steht eine Unsicherheit von ±3 bis ±10 Punkten. Platz 4 und Platz 10 überlappen sich in ihren Unsicherheitsbereichen — eine Reihenfolge zwischen diesen beiden lässt sich aus den Zahlen nicht ableiten.

    Wie empfindlich diese Ranglisten sind, hat eine Arbeit von 2025 nachgerechnet: Es genügt, 0,003 Prozent der menschlichen Bewertungen zu entfernen, um das erstplatzierte Modell auf der Arena zu wechseln. Dieselbe Untersuchung fand, dass eine andere Bewertungsgrundlage deutlich stabiler ist — MT-Bench, das mit fachlich geschulten Bewertern und sorgfältig konstruierten Aufgaben arbeitet. Nicht die Menge der Stimmen macht ein Ergebnis belastbar, sondern die Passung der Aufgaben.

    Praktisch heißt das: Das obere Ende einer Rangliste ist kein Treppchen, sondern ein Feld von Gleichwertigen. Wer daraus eine Entscheidung ableitet, entscheidet über Messrauschen.

    Wer hat ein Interesse an einer Rangliste?

    Eine Untersuchung von Forschenden aus Universitäten und Industrielabors hat sich 2025 die Arena von innen angesehen, und die Befunde sind unangenehm konkret. Ein Anbieter testete im Vorfeld einer Modellveröffentlichung 27 nicht öffentliche Varianten und stellte nur die beste in die Liste. Zusätzliche Daten aus der Arena selbst können die relative Leistung auf der Arena-Verteilung um bis zu 112 Prozent verbessern — ohne dass dieselbe Verbesserung außerhalb ankommt. Und die Aufmerksamkeit ist ungleich verteilt: Auf zwei große Anbieter gingen geschätzt 19,2 und 20,4 Prozent aller Vergleichsdaten, während 83 Modelle mit offenen Gewichten zusammen auf etwa 29,7 Prozent kamen.

    Das ist kein Betrug, und es macht die Arena nicht wertlos. Es heißt nur: Eine Rangliste misst immer auch, wer für die Rangliste optimiert.

    Dasselbe gilt für Fachvergleiche, und wir halten uns dabei an unsere eigene Regel. Die Zahlen zur Dokumenten-Auslesung, die wir im nächsten Abschnitt verwenden, stammen aus einem sehr gut gemachten Vergleich — der von den Machern eines der geprüften Systeme veröffentlicht wurde, und dieses System gewinnt. Wir nutzen die Zahlen trotzdem, weil die interessanten Befunde nicht die Platzierungen sind, sondern die Muster. Aber wer die Quelle nicht dazusagt, verkauft eine Werbebroschüre als Studie.

    Warum gewinnt manchmal ein älteres oder günstigeres Modell?

    Weil Spitzenmodelle da einbrechen, wo die Aufgabe eine andere Form hat als die Testfragen. Der genannte Vergleich zur Dokumenten-Auslesung aus dem August 2026 hat 370 Dokumente mit 4.869 Seiten aus acht Branchen und 67 Dokumenttypen geprüft. Drei Befunde daraus sind für jeden Betrieb relevant, der Papier verarbeitet:

    • Ein aktuelles, schnelles Spitzenmodell erreichte auf kurzen Dokumenten 87,9 Prozent Trefferquote — und fiel bei Dokumenten über 50 Seiten auf 27,9 Prozent.
    • Bei Tabellen mit mehr als 1.000 Zeilen lagen alle geprüften allgemeinen Modelle unter 10 Prozent, während spezialisierte Verfahren über 95 Prozent erreichten.
    • Die Fähigkeit, zu einem ausgelesenen Wert die Belegstelle im Dokument zu nennen, ist noch weitgehend ungelöst: Das beste System kam auf 46,4 Prozent. Für alles, was später geprüft werden muss, ist das die wichtigere Zahl.

    Kein einziger dieser Befunde steht in einer allgemeinen Rangliste. Sie entstehen erst, wenn jemand die Aufgabe messtechnisch ernst nimmt.

    Uns selbst ist es genauso ergangen. Bei einer Aufgabe aus der Dokumenten-Auslesung hat in unserem Vergleich Gemini 2.5 Flash gewonnen — ein Modell, das seit Juni 2025 allgemein verfügbar ist, aus der günstigen und schnellen Klasse stammt und in keiner Rangliste mehr vorne steht. Für diese Aufgabe war es das beste. Nach Rangliste hätten wir es nie ausprobiert.

    Wie wählen wir ein Modell aus?

    In vier Schritten, und der erste ist der wichtigste.

    Erstens: das Golden Sample. Wir nehmen echte Fälle aus dem Betrieb — nicht konstruierte Beispiele — und schreiben die richtige Antwort daneben. Rechnungen mit den Werten, die tatsächlich drinstehen. Anfragen mit der Einordnung, die ein erfahrener Mitarbeiter vergeben würde. Die schwierigen Fälle gehören ausdrücklich hinein, denn genau an ihnen trennen sich die Kandidaten.

    Zweitens: die Anforderungen aus dem Projekt. Wie genau muss es sein, damit es hilft. Wie schnell, damit es im Arbeitsablauf nicht störend ist. Was darf ein Vorgang kosten, damit sich die Sache rechnet. Wo darf verarbeitet werden. Diese vier Zahlen werden vorher festgelegt, nicht nachträglich an das Ergebnis angepasst.

    Drittens: der Vergleich. Dieselbe Aufgabe, dieselben Fälle, dieselben Kriterien — für jeden Kandidaten. Öffentliche Ranglisten liefern die Startaufstellung, sie ersparen uns Wochen Suche. Die Entscheidung fällt am eigenen Fall.

    Viertens: die Wiederholbarkeit. Ein Golden Sample ist nicht für einen Vergleich gebaut, sondern für alle folgenden. Es ist der eigentliche Wert, der bei so einem Projekt entsteht — und der Grund, warum eine Modellentscheidung bei uns keine Geschmacksfrage ist, sondern eine Messung. Dass Messbarkeit der Punkt ist, an dem KI-Vorhaben stehen oder fallen, gilt weit über die Modellwahl hinaus.

    Was hat Datenschutz mit der Modellwahl zu tun?

    Mehr, als die meisten erwarten — weil er die Kandidatenliste verkürzt, bevor die Qualität überhaupt gemessen wird.

    Wer Verarbeitung innerhalb der EU zusichern muss, kann bei großen Anbietern besondere EU-Endpunkte nutzen, die die Verarbeitung geografisch binden; Google grenzt dabei ausdrücklich auch das Vereinigte Königreich und die Schweiz aus. Nur ist dort nicht jedes Modell verfügbar. Stand August 2026 ist bei Google Gemini 3.5 Flash das neueste Modell mit EU-Verarbeitungszusage, während die neueren Flash-Generationen 3.6 und 3.7 nur global laufen. Wer EU-Verarbeitung als Anforderung setzt, hat das neueste Modell nicht auf der Liste — nicht aus technischen Gründen, sondern aus vertraglichen.

    Und noch etwas kommt dazu: Ein Wechsel aus Datenschutzgründen ist selten ein Wechsel des Endpunkts. Meist ist es ein Wechsel der Modellfamilie oder des Anbieters — also genau die Änderung, die eine erneute Messung braucht. Wer ein Golden Sample hat, kann so einen Wechsel in Tagen belegen. Wer keins hat, tauscht auf Zuruf. Wie schnell die Abhängigkeit von einem einzelnen Modell zum Geschäftsrisiko wird, hat das Jahr 2026 mehrfach gezeigt — und was ein plötzlicher Ausfall im laufenden Betrieb bedeutet, ebenfalls.

    Was heißt das für dich?

    Dass die Modellfrage kleiner ist, als sie klingt — und der erste Schritt kleiner als das Projekt.

    Du brauchst keine Bewertungsabteilung und keinen Benchmark-Dienst. Du brauchst eine klar umrissene Aufgabe, eine Handvoll echter Fälle mit der richtigen Antwort daneben, und die vier Zahlen, die dein Projekt vorgibt. Damit lässt sich in wenigen Tagen belegen, welches Modell deine Aufgabe am besten löst. Und wenn in vier Monaten das nächste erscheint, ist die Prüfung eine Wiederholung statt einer Neuauflage.

    Ein Ranking spart Wochen Suche. Die Entscheidung trifft es nicht.

    Welches Modell löst deine Aufgabe am besten?

    Wir bauen mit dir ein Golden Sample aus echten Fällen und messen die Kandidaten daran — belastbar statt nach Bauchgefühl. In der KI-Potenzialanalyse ordnen wir das gemeinsam ein.

    Häufige Fragen

    Was ist das beste KI-Modell?

    Es gibt kein bestes KI-Modell. „Gut“ ist keine Eigenschaft eines Modells, sondern der Kombination aus Modell und Aufgabe: Qualität, Geschwindigkeit, Kosten und der zulässige Verarbeitungsort ziehen selten in dieselbe Richtung. Belastbar beantworten lässt sich nur die Frage, welches Modell eine konkrete Aufgabe am besten löst — gemessen an echten Fällen aus dem Betrieb.

    Wofür sind öffentliche KI-Ranglisten nützlich?

    Zum Finden von Kandidaten, nicht zum Entscheiden. Ranglisten wie die Arena (arena.ai) messen die allgemeine Vorliebe von Menschen bei allgemeinen Aufgaben und zeigen zuverlässig, welche Modelle überhaupt in Frage kommen. Sie sagen nichts über die Trefferquote auf deinen Dokumenten, in deinen Fachbegriffen und bei deinen Sonderfällen.

    Was ist ein Golden Sample?

    Eine Sammlung echter Fälle aus dem Betrieb, zu denen die richtige Antwort daneben geschrieben wurde — inklusive der schwierigen Fälle. Es ist die Messlatte, an der Modelle in der konkreten Aufgabe gegeneinander antreten, und es bleibt für jeden späteren Vergleich nutzbar. Damit wird aus einer Modellentscheidung eine Messung statt eines Bauchgefühls.

    Kann ein älteres oder günstigeres KI-Modell besser sein als ein Spitzenmodell?

    Ja, und zwar regelmäßig. Ein Vergleich zur Dokumenten-Auslesung vom August 2026 zeigte, dass ein aktuelles Spitzenmodell auf kurzen Dokumenten 87,9 Prozent erreichte und bei Dokumenten über 50 Seiten auf 27,9 Prozent fiel, während spezialisierte Verfahren stabil blieben. Bei uns hat in einer Extraktionsaufgabe Gemini 2.5 Flash gewonnen — ein Modell, das in keiner Rangliste mehr vorne steht.

    Warum beeinflusst der Datenschutz die Modellwahl?

    Weil er die Kandidatenliste verkürzt, bevor Qualität gemessen wird. Verarbeitung innerhalb der EU ist bei großen Anbietern nur über besondere Endpunkte zugesichert, und dort ist nicht jedes Modell verfügbar: Stand August 2026 ist bei Google Gemini 3.5 Flash das neueste Modell mit EU-Verarbeitungszusage, die neueren Flash-Generationen laufen nur global. Wer EU-Verarbeitung braucht, wählt nicht aus dem vollen Feld.

    Muss ich das Modell wechseln, wenn ein neues erscheint?

    Nur wenn eine Messung es zeigt. Ein neues Modell ist ein neuer Kandidat, kein Grund. Liegt ein Golden Sample vor, ist der Vergleich in Tagen erledigt und die Entscheidung belegt; ohne Golden Sample ist jeder Wechsel ein Risiko, dessen Ausgang niemand kennt.

    DP
    Dr. Patrick Bäurer

    Mitgründer von KI Pioniere

    Promovierter Mathematiker, der KI-Werkzeuge für den Mittelstand selbst baut — aus der Region, für die Region. Schreibt hier über das, was er dabei lernt.

    Interesse an KI für Ihr Unternehmen?

    Lassen Sie uns gemeinsam herausfinden, wie KI Ihr Unternehmen voranbringen kann.