LLM as a Judge: Wie verlässlich urteilt KI?

Kurz beantwortet

• Sagte mein KI-Juror zweimal «klar», hielt sein Urteil nach vertauschter Reihenfolge in 482 von 482 Paaren, bei mindestens einem «knapp» in vier von fünf.
• Claude Opus 5.5 wählte den im Schnitt längeren Claude-Text in 70 % der Urteile, GPT-5.6-Terra in 32,5 %.
• Übernehmen Sie nur klare Urteile, ein Mensch oder ein Juror eines anderen Anbieters prüft knappe und wichtige.

Im Oktober 2026 habe ich meinem KI-Juror, dem Sprachmodell (LLM) Claude Opus 5.5, dieselben zwei Entwürfe auch in umgekehrter Reihenfolge gezeigt. Er blieb unterschiedlich oft bei seiner Wahl, je nachdem, ob er beide Male «klar» oder mindestens einmal «knapp» gesagt hatte.

Bei 10 Paaren, in denen Claude und Gemini dieselben Gesichtsfotos analysiert hatten, wählte ein Claude-Juror jedes Mal die Analyse von Claude. Ein Juror von OpenAI, der keine eigene Analyse im Vergleich hatte, wählte in 7 Fällen die von Gemini. So wenige Paare beweisen nichts. Darum habe ich in einem zweiten Teil gemessen, ob ein Juror zur eigenen Modellfamilie hält.

Was ich gemessen habe und nach welchen Regeln

Teil 1: das Archiv

Vom 2. bis 29. Oktober 2026 hat Claude Opus 5.5 für meine eigenen Projekte 1'687 blinde Paarurteile gefällt. Er bewertete E-Mail-Designs, Logos, Startbilder kurzer Videos, Standbilder von 3D-Figuren, ein Produktfoto-Set und Blogtexte. Bei 843 Paaren liegen beide Reihenfolgen vor. Einem Urteil fehlt das Gegenstück, es zählt nur beim Positionseffekt. Jedes Projekt stellte dem Juror seine eigene Frage. Bei Designs, Logos und Bildern lautete sie, welcher Entwurf gestalterisch stärker ist, bei kurzen Videos, welcher eher zum Weiterschauen bringt, und bei Blogtexten, welche von zwei Fassungen desselben Artikels eher nach einem Menschen klingt. Die protokollierten Kosten kamen auf USD 110.96.

Begriffe und Regeln

• Paarvergleich: Der Juror sieht zwei anonyme Entwürfe und nennt einen Sieger.
• Beide Reihenfolgen: Jedes Paar läuft zweimal, einmal steht A vorne, einmal B.
• Gleiches Urteil: Ein Paar zählt als stabil, wenn derselbe Entwurf in beiden Durchgängen gewinnt.
• «Klar» oder «knapp»: Zu jedem Urteil sagt der Juror selbst, ob der Sieger deutlich oder nur knapp vorne liegt. Die Antwortvorlage gibt dafür nur die Wörter «clear» und «slight» vor, ohne sie zu definieren.
• Positionseffekt: Anteil der Urteile, die der zuerst gezeigte Entwurf gewinnt. Bei 50 % bringt die Position keinen Vorteil.
• Wilson-Intervall: Ein 95-Prozent-Bereich, in dem der wahre Anteil bei dieser Stichprobe plausibel liegt.
• p-Wert: Er sagt, wie leicht ein so deutliches Ergebnis auch durch Zufall entstünde. Unter 0,05 gilt es üblicherweise als gesichert. Für den Positionseffekt rechne ich ihn mit einem Binomialtest gegen 50 %.
• Vorzeichentest: Für jedes Textpaar vergleiche ich, welcher von zwei Juroren dem Claude-Text mehr Siege gab. Gleichstände fallen weg, der Test prüft, ob der Rest zufällig so einseitig ausfallen könnte.
• Kontrollpaar: Ein Text gegen eine Kopie mit drei eingebauten Fehlern, also zwei Angaben, die dem Auftrag widersprechen (meist eine Zahl und ein Name oder Ort), und einem kaputten Satz. Hier steht die richtige Antwort fest. Die Kontrolle gilt nur als bestanden, wenn der fehlerfreie Text in beiden Reihenfolgen gewinnt.

Bevor ich die Zahlen berechnete, habe ich die Zählregeln beider Teile aufgeschrieben und eingefroren, also mit einer Prüfsumme gesichert, die jede spätere Änderung an der Datei sichtbar macht. Der volle Wortlaut liegt beim Datensatz. Das Archiv hatte ich davor grob auf einem Teil der Protokolle gezählt. In Teil 2 habe ich zudem vor dem ersten Juror-Aufruf die Anweisung an die schreibenden Modelle um die Sprache ergänzt (siehe Nebenbefund). Der Vorzeichentest und der Abgleich, wie oft zwei Juroren denselben Text wählten, fehlen in den eingefrorenen Regeln.

Neun von zehn Paaren überstehen den Tausch

Bei 776 von 843 Paaren gewann derselbe Entwurf in beiden Reihenfolgen. Das sind 92,1 %, mit einem Intervall von 90,0 bis 93,7 %. Der zuerst gezeigte Entwurf gewann 857 von 1'687 Urteilen, also 50,8 % bei einem p-Wert von 0,53. Insgesamt brachte die Position keinen messbaren Vorteil.

Zheng et al. (2023) legten KI-Juroren zwei absichtlich sehr ähnliche Antworten vor und tauschten die Reihenfolge. GPT-4 blieb in 65,0 % der Fälle bei seinem Urteil, bei mir waren es 92,1 %. Claude-v1 wählte in 75,0 % beide Male die zuerst gezeigte Antwort.

Das lässt sich nur grob vergleichen. Meine Paare stammen aus meinen Projekten, wo sich zwei Entwürfe oft deutlich unterscheiden, und deutliche Unterschiede machen ein Urteil stabiler. In der Studie waren die Modelle älter und die Paare fast gleich gut.

Wann das Urteil hält: «klar» gegen «knapp»

Quelle: eigene Messung, Claude Opus 5.5 als Juror, 2. bis 29. Oktober 2026.

Die eigene Einschätzung des Jurors war in meinen Daten aussagekräftig. Bei zweimal «klar» hielt das Urteil in 482 von 482 Paaren, mit mindestens einem «knapp» kippte es in 67 von 361. Eine Garantie für das nächste Paar ist das nicht.

Bei grossem Qualitätsabstand massen Zheng et al. 98,8 % gleiche Urteile und schreiben, der Positionseffekt könne dann «fast verschwinden». Shi et al. (2025) werteten über 150'000 Urteile von 15 Juroren aus und nennen den Effekt «stark vom Qualitätsabstand beeinflusst».

In einer Diskussion auf Hacker News, einem Forum vor allem für Entwickler, zweifeln mehrere Kommentare daran, dass die Selbsteinschätzung eines Modells etwas aussagt. Bei diesem einen Juror und meinen Aufgaben traf der Zweifel nicht zu. Auch ein Juror, der zweimal «klar» sagt, kann zweimal danebenliegen.

Blogtexte: der grösste, aber ungesicherte Vorteil für den ersten Text

Bei Blogtexten hielten 58 von 78 Paaren den Tausch aus, weniger als im Schnitt. Ich vermute, dass sich zwei Texte für einen Juror weniger deutlich unterscheiden als zwei Logos. Der zuerst gezeigte Text gewann 90 von 156 Urteilen, das sind 57,7 % bei einem p-Wert von 0,065 und damit statistisch nicht gesichert.

Bei den Schreibaufgaben von Zheng et al. hielt das Urteil nach dem Tausch in 42 % der Fälle, und in 46 % gewann beide Male die zuerst gezeigte Antwort. Bei Mathematik und Code hielt es in 86 %. Für Texte sind beide Reihenfolgen darum am wichtigsten.

Teil 2: Hält der Juror zur eigenen Modellfamilie?

Der Aufbau

• Aufträge erfundener Schweizer Kleinfirmen, 10 auf Deutsch und 10 auf Englisch. Jeden Auftrag haben Claude Opus 5.5 und GPT-5.6-Terra je einmal beantwortet. GPT-5.6-Terra ist ein Modell von OpenAI, ich nenne es kurz GPT-5.6.
• Die Aufträge sind Alltagstexte wie Kundenmails, Websitetexte, eine Mahnung oder eine Absage an einen Bewerber.
• Claude Opus 5.5, das kleinere Claude Haiku 5.5 und GPT-5.6 urteilten mit derselben Anweisung, jedes Paar in beiden Reihenfolgen. Die Anweisung fragte, welchen Text ein anspruchsvoller Redaktor einer Schweizer Wirtschaftspublikation unverändert verschicken würde, zuerst nach Auftrag und korrekten Fakten, dann nach Klarheit und Ton, nicht nach Länge.
• Dazu 6 Kontrollpaare mit eingebauten Fehlern, 3 auf Deutsch und 3 auf Englisch, je zur Hälfte aus Texten von Claude und von GPT-5.6.
• Für jeden Juror ergab das 40 Urteile über die 20 Textpaare und 26 beurteilte Paare samt Kontrollen.

Was die Forschung erwarten lässt

Panickssery et al. (2024) liessen GPT-4 Zusammenfassungen von Nachrichtenartikeln aus zwei Datensätzen vergleichen. Auf dem einen wählte GPT-4 in 87,7 % der Vergleiche in beiden Reihenfolgen die eigene Zusammenfassung und in 3,4 % die fremde, auf dem anderen in 59,3 und 18 %. Wataoka et al. (2024) fanden die Vorliebe von GPT-4 für eigene Texte ebenfalls und führen sie darauf zurück, dass ein Modell vertraut wirkende Texte höher bewertet, auch fremde. Beide Studien prüfen ältere Modelle.

Dazu passt ein Rat ohne Messung.

«Am besten kritisieren sie [die Sprachmodelle] die Ausgabe des Modells eines anderen Anbieters.» (Kommentar auf Hacker News, übersetzt)

Ergebnis

Quelle: eigene Messung vom 29. Oktober 2026, 156 Urteile.

Opus und GPT-5.6 liegen 37,5 Prozentpunkte auseinander. Bei 13 der 20 Textpaare entschieden beide stabil. In 7 dieser 13 Paare wählten sie denselben Text, in 6 verschiedene. In jedem dieser 6 Paare stand mindestens ein «knapp», in 3 davon sagte Opus zweimal «klar» und GPT-5.6 zweimal «knapp». Bei 7 der 20 Textpaare hielt mindestens einer der beiden Juroren sein Urteil nach dem Tausch nicht.

Der Vorzeichentest zählt anders. Er lässt die Paare mit gleicher Wahl als Gleichstand weg. In den anderen gab Opus dem Claude-Text in 11 Paaren mehr Siege als GPT-5.6 und in 2 weniger, bei einem p-Wert von 0,0225.

Die Claude-Texte waren aber im Schnitt 147 Wörter lang, die GPT-Texte 117, und in 19 von 20 Paaren war der Claude-Text der längere. Opus wählte in 12 von 18 stabil entschiedenen Textpaaren den längeren Text, GPT-5.6 in 5 von 15. Herkunft und Länge lassen sich in diesem Lauf nicht trennen. Haiku, ebenfalls ein Claude-Modell, lag mit 52,5 % nahe bei der Hälfte. Dieser Lauf zeigt die Neigung zum Claude-Text bei Opus, nicht bei der ganzen Familie. GPT-5.6 neigte ähnlich stark zum Text des eigenen Anbieters, dem meist kürzeren, und wählte ihn in 67,5 % der Urteile. Kein Mensch hat die Texte bewertet, darum sage ich nicht, welcher besser ist.

Nebenbefund: die Sprache der Antwort

Bei meiner ersten Anweisung «in der Sprache des Briefings» beantwortete GPT-5.6 acht von zehn englischen Aufträgen in der Ortssprache der erfundenen Firma (Deutsch 5, Französisch 2, Italienisch 1). Claude schrieb alle zehn auf Englisch. Vor dem ersten Juror-Aufruf habe ich die Anweisung geändert und alle 40 Texte neu schreiben lassen. Die neue Fassung nennt die Sprache beim Namen, etwa «auf Englisch». Als Schweizer Firma schreiben Sie die Ausgabesprache am besten ausdrücklich in die Anweisung.

Urteilt ein KI-Juror auf Deutsch genauso?

Hada et al. (2024) verglichen GPT-4 mit über 20'000 menschlichen Urteilen in mehreren Sprachen, Deutsch eingeschlossen. Der Juror neigte zu hohen Noten, und die Autoren empfehlen, ihn pro Sprache gegen menschliche Urteile zu kalibrieren. Fu und Liu (2025) liessen fünf Juroren dieselben Inhalte in insgesamt 25 Sprachen bewerten. Wenn ein Juror denselben Inhalt in verschiedenen Sprachen beurteilte, stimmten seine Urteile im Schnitt mit rund 0,3 nach Fleiss' Kappa überein. Bei diesem Mass heisst 0 nur zufällige und 1 volle Einigkeit. Eine Studie zu deutschen Geschäftstexten mit menschlichem Vergleich habe ich nicht gefunden.

In meinem Lauf wählte Opus den Claude-Text auf Deutsch in 75 % der Urteile, auf Englisch in 65 %, Haiku in 55 und 50 %, GPT-5.6 in 30 und 35 %. GPT-5.6 entschied auf Deutsch alle 13 Paare stabil, also 10 Text- und 3 Kontrollpaare, auf Englisch 8 von 13. Für eine Verallgemeinerung sind 13 Paare pro Sprache zu wenige.

So setze ich einen KI-Juror ein

• Zwei Entwürfe vergleichen. Ich lasse keinen Entwurf für sich allein benoten. Auf Hacker News hält ein Kommentar Modelle für besser im Vergleich zweier Dinge als im Bewerten eines einzelnen.
• Immer beide Reihenfolgen. Ein Entwurf gewinnt nur, wenn er in beiden vorne liegt, sonst gilt das Paar als unentschieden, so wie es Zheng et al. vorschlagen.
• Knappe und wichtige Urteile gegenprüfen. Sie gehen an einen Juror eines anderen Anbieters oder an einen Menschen, ähnlich einer Zweitkorrektur bei Prüfungen. Wichtig ist ein Urteil, dessen falsche Wahl teuer wäre oder sich schwer rückgängig machen lässt. Wichtige gehen auch dann weiter, wenn sie klar ausfallen, denn in 3 Paaren widersprach GPT-5.6 einem zweimal klaren Urteil von Opus. Anthropic hält es in seiner Anleitung zu Tests für bewährt, mit einem anderen Modell zu bewerten als dem, das den Text erzeugt hat. Bei Verga et al. (2024) schnitten drei kleine Juroren aus drei Familien besser ab als GPT-4 allein, zu einem Siebtel bis Achtel der Kosten.
• Kontrollpaare untermischen. Anthropic rät, zuerst die Verlässlichkeit zu testen und erst dann zu skalieren. Haiku verpasste in meinem Lauf eine von sechs Kontrollen, in einer der beiden Reihenfolgen. Seine eigene Begründung erkannte dort den fehlerfreien Text als den korrekten, sein Urteil fiel trotzdem auf den anderen.
• Nicht alles braucht einen Juror. Was ein einfaches Programm prüfen kann, etwa ob eine Pflichtangabe im Text steht, überlasse ich keinem Juror.

In KI-Texte schreiben: so prüfe ich jede Aussage geht es um die Prüfung vor der Veröffentlichung.

Wo ein Juror nicht allein entscheiden sollte

Bei Personalentscheiden, rechtlichen oder medizinischen Fragen und Sicherheitsfreigaben kostet eine falsche Wahl zu viel. Dort sortiert der Juror höchstens vor, und ein Mensch entscheidet.

Grenzen dieser Messung und der Datensatz

Die Urteile im Archiv entstanden, bevor ich meinen Messstandard für eigene KI-Benchmarks aufgeschrieben habe. Teil 2 prüft neue, erfundene Texte mit Juroren zweier Familien und mit Kontrollpaaren. Der Befund zu «klar» und «knapp» stammt von einem einzigen Claude-Juror, und die Stufen vergibt er selbst.

Ich habe Stabilität gemessen, nicht Richtigkeit, und menschliche Vergleichsurteile fehlen in beiden Teilen. Teil 2 ist mit 20 Textpaaren und 6 Kontrollpaaren klein, und die Zahlen gelten für die Modelle vom Oktober 2026. Die abgerechneten Aufrufe von Teil 2 kosteten samt der verworfenen ersten Textrunde USD 3.47, die GPT-5.6-Läufe liefen über ein Abo ohne Einzelabrechnung. Die genauen Modell-IDs stehen im Datensatz.

Der Datensatz steht auf der Seite zum Messstandard zum Herunterladen, mit den Dateien archive-calls.csv, rerun-calls.csv, rerun-texts.json und schema.json, und die Seite beschreibt sie. Die Regeln liegen daneben in archive-rules.json und rerun-factors.json, die Anweisung an die Juroren von Teil 2 in rerun-judge-prompt.txt und die Prüfsummen mit den Zeitpunkten des Einfrierens in SHA256SUMS.txt. Im Datensatz steht bei fast allen Urteilen das Kriterium, bei Blogtexten meist die Sprache. Ein Logo-Paar aus dem Archiv sieht so aus, mit anonymen Kennungen (Hashes) statt Entwürfen.

call_id,source_set,modality,criterion,pair_id,entry_a_id,entry_b_id,shown_first,winner,winner_position,margin,judge_model,cost_usd,date
cd99b1636,s324fc5,logo,logo,pe8510359,e16b2fca4,e129ab7bf,e129ab7bf,e129ab7bf,1,clear,claude-opus-5-5,0.05191,2026-10-10
ca3ddbda1,s324fc5,logo,logo,pe8510359,e16b2fca4,e129ab7bf,e16b2fca4,e129ab7bf,2,clear,claude-opus-5-5,0.0458,2026-10-10

Den Grund für das maschinenlesbare Format erkläre ich in Warum die meisten LLM-Benchmark-Seiten für KI-Suche unsichtbar sind. Ranglisten von Modellen stehen in meiner Übersicht der KI-Benchmarks.

Einen Juror prüfen, bevor er entscheidet

Wenn Sie in Ihrem KMU oder Team KI-Ausgaben automatisch bewerten lassen wollen, prüfen Sie den Juror zuerst mit Ihren eigenen Daten, in beiden Reihenfolgen und mit Kontrollpaaren. Über die Kontaktseite können Sie mir für ein erstes Gespräch schreiben, wofür Sie einen Juror einsetzen wollen.

Häufige Fragen