Eigene Benchmarks: so messe ich
Für meine Projekte messe ich laufend, welches Modell welche Arbeit taugt. Was davon anderen nützt, veröffentliche ich hier mit Methode und Datensatz. Jeder neue Lauf folgt denselben Regeln, damit man ihn nachprüfen und wiederholen kann.
Die Regeln für jeden Lauf
- 01Regeln vor der Messung festgelegtWas gemessen wird und wie es zählt, steht vor dem ersten Aufruf in einer Datei, mit SHA-256-Prüfsumme und Zeitstempel. Ändert sich eine Regel während des Laufs, entsteht eine neue Version mit Eintrag im Änderungsprotokoll.
- 02Saubere, anonyme EingabenDie Eingaben sind erfunden oder öffentlich. Keine Kundendaten, keine Personendaten, nichts aus Mandaten. Ein Juror sieht nur «Text 1» und «Text 2», nie einen Modell- oder Markennamen.
- 03Juroren aus mindestens zwei ModellfamilienWo ein Modell urteilt, urteilt auch eines aus einer anderen Familie. Eine Familie allein ist nie das Endurteil, weil ein Juror die Ausgaben seiner eigenen Familie anders bewerten kann als ein fremder.
- 04Kontrollen im LaufJede Paarung läuft in beiden Reihenfolgen. Ein bekannt schwacher Eintrag läuft mit und zeigt, ob der Juror ihn erkennt. Ladezeit- und Netzwerkmessungen laufen mindestens dreimal.
- 05Offener DatensatzZu jedem Lauf gibt es eine CSV-Datei mit einer Zeile pro Urteil oder Messung, ein Schema und die eingefrorenen Regeln mit Prüfsummen. Inhalte Dritter veröffentliche ich nie, nur Kennungen.
- 06Datum, Modelle, KostenJeder Lauf nennt sein Datum, die genauen Modell-IDs und was er gekostet hat.
- 07Zahlen mit UnsicherheitIch nenne Anzahl und Anteil, bei genügend Fällen ein 95-Prozent-Intervall. Kleine Stichproben sind als solche markiert.
- 08Grenzen ausgeschriebenJeder Lauf sagt, was seine Zahlen nicht zeigen.
- 09Firmen beim NamenNennt ein Benchmark Firmen, steht dabei, ob sie vor der Veröffentlichung um eine Stellungnahme gebeten wurden.
Wann ich wiederhole
Jede Wiederholung bekommt eine neue Version. Alte Läufe bleiben stehen, damit man Veränderungen sieht.
- Modelle
- Bei jedem grösseren Release der gemessenen Modellfamilien, sonst alle sechs Monate. Den Schwerpunkt bilden Claude-Modelle, mit denen ich täglich arbeite.
- Websites und Firmen
- Jedes Quartal.
- Hosting und Infrastruktur
- Alle sechs Monate, oder wenn ein Anbieter eine Region oder Laufzeit ändert.
Bisherige Läufe
Jeder Lauf mit Datum, Version, Beitrag und allen Dateien zum Nachrechnen.
- Version 2026-10-29b
Wie zuverlässig ist ein KI-Juror?
1'687 blinde Paarvergleiche aus meinem Archiv, entstanden vor diesem Standard, dazu ein zweiter Test nach dem Standard mit Texten von Claude und GPT, beurteilt von Juroren beider Familien.
Dateien
- Archiv: 1'687 Urteile (CSV)
- Neulauf: Urteile (CSV)
- Neulauf: die 46 Texte (JSON)
- Schema der Dateien (JSON)
- Zählregeln für das Archiv (JSON)
- Zählregeln für den Neulauf (JSON)
- Neulauf: die 20 Aufträge (JSON)
- Neulauf: Anweisung an die Juroren (TXT)
- Neulauf: Skript (Python)
- Prüfsummen mit den Zeitpunkten des Einfrierens
Die Datensätze stehen unter CC BY 4.0. Bei Weiterverwendung bitte seelig.ai als Quelle nennen.
Was hier nicht steht
Die Ranglisten auf der Benchmark-Übersicht stammen aus externen Quellen wie Arena und LiveBench. Auf dieser Seite stehen nur Messungen, die ich selbst durchgeführt habe.
Sie brauchen ein Modell für Ihren konkreten Fall?
Benchmarks bewerten Modelle anhand fremder Aufgaben. Für einen Geschäftsprozess teste ich die engere Wahl mit Ihren eigenen Daten, Kosten und Datenschutzvorgaben und empfehle eines.