MMLU, GPQA, SWE-bench: Gängige KI-Benchmarks erklärt

Wenn Sie kürzlich eine Ankündigung zu einem KI-Modell gelesen haben, sind Sie wahrscheinlich auf ein kleines Alphabet von Akronymen gestoßen – MMLU, GPQA, SWE-bench, MATH, HumanEval –, die als Beweis dafür präsentiert werden, dass ein Modell ein anderes übertrifft. Für Außenstehende wirken diese wie ein Geheimcode, und es ist verlockend, sie entweder zu ignorieren oder für bare Münze zu nehmen. Keine dieser Reaktionen ist hilfreich.

Dieser Leitfaden führt Sie anhand der Benchmarks, denen Sie am ehesten begegnen werden, nacheinander und in einfacher Sprache durch. Für jede Benchmark erklären wir, was sie testet, wie eine Bewertung zu interpretieren ist und ob sie für die Art von Arbeit, die ein Unternehmen tatsächlich leistet, relevant ist. Am Ende sollten Sie in der Lage sein, eine Vergleichstabelle zu überfliegen und zu wissen, welche Zahlen Ihre Aufmerksamkeit verdienen.

Ein kurzes Wort zur Bedeutung dieser Ergebnisse

Bevor wir beginnen, eine Erinnerung an die Grundlagen. Ein Benchmark ist ein fester Satz von Fragen mit bekannten Antworten, die jedem Modell gestellt werden, damit die Ergebnisse verglichen werden können. Die Punktzahl ist fast immer der Prozentsatz der richtig beantworteten Fragen, so dass ein Modell, das 80 Punkte bei einem Benchmark erzielt, vier Fünftel dieses speziellen Tests richtig beantwortet hat. Eine höhere Zahl ist besser, aber nur für das enge Spektrum, das dieser Benchmark misst. Wenn Sie ein vollständiges Bild davon erhalten möchten, wie diese Tests aufgebaut sind und wo sie Fehler aufweisen, behandelt unser Begleitartikel über wie KI-Benchmarks funktionieren dies detailliert.

Eine Sache, die Sie sich merken sollten: Diese Namen klingen technisch, aber jeder einzelne ist eigentlich nur eine Frage der Form „Kann das Modell diese bestimmte Art von Sache tun?“. Sobald Sie wissen, was jede Benchmark fragt, verlieren die Akronyme ihr Geheimnis und werden zu einer nützlichen Abkürzung für die Fähigkeiten, die Ihnen wichtig sein könnten.

MMLU: breites Allgemeinwissen

MMLU steht für Massive Multitask Language Understanding. Es ist ein weitläufiger Test des Faktenwissens und Verständnisses über Dutzende von Themen – Geschichte, Recht, Medizin, Mathematik und mehr – in Form von Multiple-Choice-Fragen. Sein Zweck ist es, zu messen, wie breit ein Modell menschliches Wissen aufgenommen hat, anstatt wie tief es über eine bestimmte Sache nachdenken kann.

Für ein Unternehmen ist MMLU ein vernünftiger Indikator für die allgemeine Nützlichkeit als Allround-Assistent. Ein Modell, das gut abschneidet, ist tendenziell ein sachkundiger, fähiger Generalist. Der Haken ist, dass MMLU eine der ältesten und am weitesten verbreiteten Benchmarks ist, was sie besonders anfällig für zwei Probleme macht: Kontamination, bei der die Antworten in die Trainingsdaten gelangt sind, und Sättigung, bei der die besten Modelle inzwischen so dicht an der Spitze liegen, dass der Test sie nicht mehr trennen kann. Lesen Sie eine hohe MMLU-Punktzahl als „kompetenter Generalist“ und nicht als „eindeutig der Beste“.

GPQA: Argumentation auf Graduiertenniveau

GPQA – das „G“ steht für Graduate-Level, und die „Q“s für ein qualitätskontrolliertes Frage-Antwort-Set – wurde teilweise als Antwort auf die Sättigung von MMLU entwickelt. Seine Fragen sind bewusst schwierig, von Experten in Bereichen wie Biologie, Physik und Chemie verfasst und so konzipiert, dass selbst ein sachkundiger Nicht-Spezialist mit Internetzugang Schwierigkeiten hätte. Es geht darum, echtes Denkvermögen zu testen, nicht nur das Abrufen von Wissen, das nachgeschlagen werden könnte.

Da die Fragen so anspruchsvoll sind, sind die Ergebnisse bei GPQA viel niedriger als bei MMLU, und die Abstände zwischen den Modellen sind aussagekräftiger. Wenn Ihre Arbeit komplexe Analysen, technische Problemlösungen oder alles erfordert, was das Modell zu sorgfältigem Nachdenken über schwieriges Material zwingt, ist GPQA einer der informativsten Benchmarks, die man sich ansehen sollte. Ein Modell, das bei GPQA gut abschneidet, ist eines, auf das Sie sich für anspruchsvolleres Denken verlassen können, nicht nur für schnelle Nachschlagen.

SWE-bench: Behebung echter Softwarefehler

SWE-bench ist der konkreteste Benchmark auf dieser Liste und einer der angesehensten. Er greift reale Probleme aus echten Softwareprojekten auf – tatsächliche Fehler, die von echten Entwicklern gemeldet wurden – und bittet das Modell, eine Lösung zu finden. Entscheidend ist, dass die Korrektur dann mit den automatisierten Tests des Projekts selbst ausgeführt wird. Das Modell erzielt nur dann Punkte, wenn seine Lösung die Software tatsächlich funktionsfähig macht, nicht nur, wenn sie plausibel aussieht.

Diese Verankerung in einem überprüfbaren, realen Ergebnis macht SWE-bench so wertvoll. Es ist weitaus schwieriger zu manipulieren als ein Multiple-Choice-Test, da es keine Teillieferung für eine Antwort gibt, die nicht tatsächlich läuft. Wenn Sie KI-Codierungsassistenten bewerten, ist SWE-bench der Benchmark, den Sie beachten sollten – obwohl, wie immer, Ihre eigene Codebasis der eigentliche Test ist. Unser Überblick über KI-Codierungsassistenten ordnet dies ein.

MATH und AIME: mathematische Problemlösung

Der MATH-Benchmark und die verwandten AIME-Probleme, die aus einem bekannten Mathematikwettbewerb stammen, testen, ob ein Modell mehrstufige mathematische Überlegungen anstellen kann, um eine korrekte Antwort zu finden. Dies sind keine Rechenübungen; sie erfordern vom Modell, eine Lösung zu planen, sie auszuführen und zu einem präzisen Ergebnis zu gelangen, das leicht überprüft werden kann.

Warum sollte sich ein nicht-mathematisches Unternehmen darum kümmern? Weil die Leistung in der höheren Mathematik weithin als Signal für sorgfältiges, strukturiertes Denken im Allgemeinen angesehen wird. Ein Modell, das diese Probleme zuverlässig lösen kann, ist tendenziell besser bei jeder Aufgabe, die es erfordert, einer Logikkette zu folgen, ohne den Faden zu verlieren – Planung, strukturierte Analyse und dergleichen. Starke MATH- oder AIME-Ergebnisse sind eher als Beweis für diszipliniertes Denken zu verstehen, als dass sie nur für Mathematiker relevant wären.

HumanEval: kleine Codeteile schreiben

HumanEval ist ein älterer Coding-Benchmark, der ein Modell auffordert, kleine, eigenständige Funktionen aus einer Beschreibung zu schreiben und diese dann durch Ausführung von Tests zu überprüfen. Er ist einfacher und enger gefasst als SWE-bench – isolierte Rätsel anstelle von unübersichtlichen realen Projekten – und wie MMLU ist er weitgehend gesättigt, wobei führende Modelle sehr hohe Punktzahlen erreichen. Er bleibt ein schneller Plausibilitätscheck für grundlegende Programmierkenntnisse, aber eine hohe HumanEval-Punktzahl ist nicht länger ein bedeutsames Unterscheidungsmerkmal, wie es eine hohe SWE-bench-Punktzahl ist.

Warum immer neue Benchmarks erscheinen

Sie werden feststellen, dass die informativsten Benchmarks auf dieser Liste – GPQA und SWE-bench – auch zu den neuesten gehören, während die älteren ihre Fähigkeit zur Differenzierung von Modellen verloren haben. Dies ist kein Zufall. Mit der Verbesserung der Modelle erschöpfen sie die Schwierigkeit bestehender Tests, und Forscher reagieren, indem sie schwierigere Tests entwickeln. Es ist zu erwarten, dass dieser Zyklus sich fortsetzt: Die Namen der Benchmarks in den Schlagzeilen in einem Jahr können von den heutigen abweichen. Die zugrunde liegende Lehre bleibt jedoch dieselbe – bevorzugen Sie Tests, die an harte, überprüfbare Aufgaben gebunden sind, und behandeln Sie gesättigte als Hintergrundrauschen.

Welche Benchmarks sollten Sie tatsächlich interessieren?

Die ehrliche Antwort ist: die, die zu Ihrer Arbeit passen, und keine zu wörtlich. Wenn Sie einen fähigen Allround-Assistenten zum Schreiben, Zusammenfassen und Planen wünschen, vermitteln breite Tests wie MMLU ein grobes Gefühl der allgemeinen Kompetenz, aber behandeln Sie eng beieinander liegende Spitzenwerte als Gleichstand. Wenn Ihre Arbeit technisch oder analytisch ist, sind GPQA und die mathematischen Benchmarks aussagekräftiger. Wenn Sie ein Codierungstool auswählen, ist SWE-bench am wichtigsten.

Was auch immer Ihre Arbeit ist, widerstehen Sie zwei Versuchungen. Die erste ist, sich auf eine einzige Schlagzeilenzahl zu fixieren; ein Modell, das in mehreren Benchmarks stark ist, ist eine sicherere Wahl als eines, das einen einzigen berühmten Test übertrifft. Die zweite ist, einen Benchmark mit Ihrer eigenen Realität zu verwechseln. Öffentliche Bestenlisten wie Artificial Analysis aggregieren diese Tests hilfreich, und per Crowd-Voting erstellte Vergleiche wie LMArena fügen eine menschliche Präferenzdimension hinzu, aber der entscheidende Test ist immer, Ihre eigenen Aufgaben mit den ausgewählten Tools durchzuführen.

Ein einfacher Weg, all dies in Proportion zu halten, ist, sich daran zu erinnern, wozu die Ergebnisse dienen. Sie sollen Forschern und Käufern helfen, Modelle auf einen Blick zu vergleichen – ein Ausgangspunkt, kein Ersatz für ein Urteil. Sobald ein Benchmark zum Ziel und nicht zum Leitfaden wird, beginnt er in die Irre zu führen. Verwenden Sie diese Zahlen, um Ihre Optionen schnell einzugrenzen, und verlassen Sie sich dann auf Ihre eigene praktische Erprobung, um die endgültige Entscheidung zu treffen. Eine strukturierte Methode für diesen Vergleich finden Sie in unserem Leitfaden zur Bewertung von KI-Tools, und für das Gesamtbild in unserem Leitartikel über was künstliche Intelligenz ist.

Wie diese Benchmarks zusammenpassen

Es kann verlockend sein, diese Tests als Rivalen zu betrachten, aber sie sind besser als komplementäre Linsen zu verstehen, die jeweils eine andere Facette dessen beleuchten, was ein Modell leisten kann. Breit angelegte Wissenstests wie MMLU zeigen Ihnen, ob ein Modell ein fähiger Generalist ist. Schwierige Argumentationstests wie GPQA zeigen Ihnen, ob es sorgfältig über schwieriges Material nachdenken kann. Mathematiktests offenbaren seine Disziplin beim Verfolgen einer langen Logikkette. Programmier-Benchmarks, insbesondere die verifizierten, zeigen, ob es etwas wirklich Funktionierendes hervorbringen kann. Kein einziger Test erfasst all dies, weshalb Ankündigungen eine ganze Tabelle und nicht nur eine Zahl präsentieren.

Für ein Unternehmen besteht die praktische Erkenntnis darin, die Tabelle selektiv zu lesen, anstatt jede einzelne Zahl aufzunehmen. Identifizieren Sie ein oder zwei Fähigkeiten, die für die beabsichtigte Arbeit wichtig sind, finden Sie die Benchmarks, die diese Fähigkeiten messen, und lassen Sie den Rest als Hintergrund dienen. Ein Modell, das bei einer für Sie irrelevanten Fähigkeit führend ist, ist nicht nützlicher als ein Auto, das auf einer Strecke am schnellsten ist, die Sie nie fahren werden. Die Anpassung der Messung an Ihre Bedürfnisse ist die ganze Kunst, diese Vergleiche gut zu lesen.

Ein Wort dazu, wie schnell sich dies ändert

Eine letzte Vorsichtsmaßnahme: Alles Spezifische, was Sie über Benchmark-Ergebnisse lesen, veraltet schnell. Ständig kommen neue Modelle hinzu, ältere werden aktualisiert, und die Tests selbst werden überarbeitet oder ersetzt, wenn sie gesättigt sind. Betrachten Sie die spezifischen Zahlen, die Sie heute sehen, als eine Momentaufnahme und nicht als eine endgültige Rangliste. Was konstant bleibt, ist die hier dargelegte Denkweise – zu verstehen, was jeder Test misst, verifizierte Leistung gegenüber abgerufener Leistung zu bevorzugen und Ihrem eigenen Praxistest mehr zu vertrauen als jeder veröffentlichten Zahl. Halten Sie an der Methode fest, und die sich ändernden Zahlen werden Sie weit weniger beunruhigen.

Ergebnisse in eine sichere Entscheidung umsetzen

Angenommen, Sie haben eine Vergleichstabelle gelesen und ein oder zwei Modelle stechen bei den Fähigkeiten hervor, die Ihnen wichtig sind. Was kommt als Nächstes? Der Fehler besteht darin, dort aufzuhören und einfach den Spitzenreiter zu übernehmen. Ein klügerer Weg ist, die Tabelle so zu behandeln, als hätte sie ein überfülltes Feld auf eine kurze, sinnvolle Liste reduziert. Aus dieser Liste sind die entscheidenden Faktoren meist praktischer Natur und nicht numerisch: wie das Tool zu Ihrer Arbeitsweise passt, wie schnell es reagiert, wie klar es sich erklärt und wie wohl sich Ihr Team bei der Verwendung fühlt. Diese Eigenschaften erscheinen niemals in einem Benchmark, doch sie sind im Alltag oft wichtiger als ein paar Punkte gemessener Fähigkeiten.

Geben Sie also jedem der ausgewählten Modelle dieselben kleinen, realen Aufgaben aus Ihrer eigenen Arbeit und vergleichen Sie die Ergebnisse mit Ihren eigenen Augen. Da diese Aufgaben spezifisch für Sie sind und niemals veröffentlicht wurden, konnte kein Modell sie auswendig lernen, was das Kontaminationsproblem, das so viele öffentliche Ergebnisse stillschweigend aufbläht, elegant umgeht. Welches Tool die nützlichsten Ergebnisse für Ihr eigenes Material mit der geringsten Korrektur liefert, ist die richtige Antwort für Sie – unabhängig davon, wo es sich in der Bestenliste befand. Die Benchmarks haben Sie auf die engere Wahl hingewiesen; Ihr eigenes Urteilsvermögen trifft die endgültige Entscheidung.

Häufig gestellte Fragen

Referenzen

1. Stanford HAI, AI Index Report — hai.stanford.edu
2. Artificial Analysis, unabhängiges KI-Benchmarking — artificialanalysis.ai

Sie sind sich nicht sicher, welches Tool bei all diesen Zahlen zu Ihrer Arbeit passt? Probieren Sie unseren WhatsApp KI-Chatbot aus oder kontaktieren Sie uns für eine unkomplizierte Empfehlung.