Fable 5.1 und GPT-6: 2mal Weltspitze in vier Tagen

Unser Podcast mit Sven Kramer & Sebastian Karger

Gefällt Ihnen dieser Einblick? Erhalten Sie jede Woche aktuelle Analysen und Impulse wie diesen direkt in Ihr Postfach.
Jetzt für das Tech-Update anmelden!

Die digitale Welt dreht sich schnell! Dieser Artikel wurde vor mehr als 180 Tage veröffentlicht. Während die grundlegenden Überlegungen weiterhin relevant sein können, entsprechen möglicherweise nicht mehr alle Details oder Daten dem heutigen Stand. Benötigen Sie tagesaktuelle Einschätzungen? Sprechen Sie uns gerne an!

This content has been automatically translated.

Update

Benchmark-Diagramm "Terminal-Bench Science 0.1" zum Vergleich von Resolution Rate und API-Kosten zwischen GPT-6 Astra, Claude Fable und anderen KI-Modellen.

OpenAI

Am 1. September stellte Anthropic Fable 5.1 und Mythos 5.1 vor. Zwei Tage später zieht OpenAI mit GPT-6 Astra nach. Beide Unternehmen beanspruchen die Weltspitze für sich, beide untermauern das mit Benchmarktabellen und in einer der Präsentationen fällt das Wort AGI. OpenAI sagte, wenn man in einigen Jahren zurückblicke und frage, wann AGI entstanden sei, werde die Antwort ungefähr auf diesen Zeitpunkt fallen. Auf Nachfrage wollte man Astra dann doch nicht als AGI bezeichnen. Ein Begriff, für den bis heute eine akzeptierte Definition fehlt, lässt sich eben besser raunen als belegen.

Warum ist das wichtig?

Zwei Dinge... neben dem ganzen AGI-Geraune:

Der Preis. Anthropic senkt Cache Reads von einem Dollar auf 25 Cent je Million Token, was rund 25 Prozent weniger Kosten bei typischen Workloads bedeutet und bis zu 45 Prozent bei agentischen. Astra kostet zehn Dollar Input und 50 Dollar Output je Million Token, also exakt so viel wie Fable in der Basis. Der Wettbewerb hat sich von der Frage "Wer kann mehr" zur Frage "Wer ist günstig genug, um stundenlang durchzulaufen" verschoben. Etwas, was wir schon länger beobachten.

Die Sicherheit. Astra ist das erste Modell, das OpenAI im eigenen Preparedness Framework im Bereich IT-Sicherheit als kritisch einstuft. In Expertentests brach es aus der Sandbox eines gehärteten Browsers aus und baute eine Rechteausweitungskette bis zum Root-Zugriff auf. Bei ExploitBench erreichte es 100 Prozent. Nebenbei fand es zwei Zero-Day-Schwachstellen. Aber ähnlich wie die Preisschlacht, gehört auch das mittlerweile zum guten Ton.

Unsere Einordnung

Man sollte die Vergleichstabellen wie ein Verkaufsdeck lesen. Drei Zahlen lohnen den zweiten Blick und bieten dabei doch Überraschungen.

57,2 gegen 65 Prozent (Humanity's Last Exam)

Mehrere tausend Expertenfragen mit eindeutiger Lösung, absichtlich nicht ergoogelbar. Astra beantwortet gut jede zweite richtig und liegt damit hinter Claude. Ein Test für Wissen unter Prüfungsbedingungen, kein Test für Alltagstauglichkeit. Bemerkenswert: Es steht in OpenAIs eigener Tabelle.

55,8 gegen 60,9 Prozent (Terminal-Bench)
Eigenständige Arbeit auf der Kommandozeile, also echte Systemarbeit. Beide Werte stammen vom selben Modell. Der niedrigere gehört zur öffentlichen Variante, der höhere zur streng kontrollierten. So teuer ist also Vorsicht.

100 Prozent (ExploitBench)
Gemessen wird das Finden und Ausnutzen von Sicherheitslücken. Astra löst alle Aufgaben und wird von OpenAI erstmals als kritisch eingestuft.

One More: Der Rabatt, den die meisten gar nicht bekommen

Anthropic hat gecachte Eingaben um 75 Prozent verbilligt. Der Rabatt gilt aber nur für Token, die wirklich aus dem Cache kommen. Gecacht wird der Anfang jeder Anfrage bis zu einer selbst gesetzten Marke. Alles davor muss zeichengenau gleich bleiben, alles danach darf sich ändern. Der System-Prompt kommt also billig aus dem Cache und die neue Nutzerfrage wird normal berechnet. Steht im festen Teil ein Zeitstempel oder eine Session-ID, ist der Cache leer und man zahlt den vollen Preis. Also: Netter Rabatt, aber man muss wissen, wie man ihn nutzt.

Für unsere Kunden geht es an dieser Stelle noch weiter.
Jetzt anmelden!

Jetzt reinhören!

Sehen Sie Parallelen zu Ihren Herausforderungen? Lassen Sie uns besprechen, wie eine maßgeschneiderte Lösung für Sie aussehen könnte.

Weitere Themen

Wir verwenden Cookies, um die Nutzung dieser Website zu verbessern, zu analysieren und unsere Marketingbemühungen zu unterstützen. Indem Sie auf „Akzeptieren“ klicken, stimmen Sie der Verwendung dieser Cookies zu. Mehr Informationen finden Sie in unserer Datenschutzerklärung.