Ein vom KI Bundesverband koordiniertes Konsortium hat Soofi S 30B-A3B veröffentlicht. Ein Sprachmodell, trainiert in der Industrial AI Cloud der Deutschen Telekom in München. Rund 253.000 GPU-Stunden, gekühlt mit Wasser aus dem Eisbach-Kanal, die Abwärme geht in den Tucherpark.
In Phase zwei des Trainings macht Deutsch 15,3 Prozent des Mixes aus. Im Nemotron-Referenzrezept entfallen rund 5 Prozent auf alle nicht-englischen Sprachen zusammen. Ergebnis: bester Wert unter den vollständig offenen Modellen auf deutschen Benchmarks.
Ein paar technische Rahmendaten: Das Modell hat 31,6 Milliarden Parameter, nutzt pro Token aber nur 3,2 Milliarden davon. Mixture of Experts, hybride Mamba-Transformer-Architektur, übernommen von Nvidias Nemotron 3 Nano. Nur 6 von 52 Layern halten überhaupt einen KV-Cache vor. Praktische Folge: Bei 40.000 Token Kontext und 32 parallelen Anfragen erzeugt Soofi S pro GPU etwa achtmal mehr Token pro Sekunde als dichte Modelle im Bereich 14 bis 24 Milliarden Parameter. Und der Durchsatz bleibt von 4.000 bis 256.000 Token nahezu konstant, während klassische Modelle wegkippen.
Warum ist das wichtig?
Die meisten Souveränitäts-Diskussionen enden bei der Frage, wo der Server steht. Hier bleiben jetzt nur noch die Chips als nicht souveräne Komponente.
Außerdem ist es ein Modell, das bei langen Kontexten nicht einbricht und man damit auf 800 Seiten technische Dokumentation loslassen kann, ohne dass die Inferenzkosten explodieren.
Dazu kommt echte Offenheit. Veröffentlicht sind Gewichte, ausgewählte Zwischencheckpoints, kompletter Trainings- und Evaluationscode sowie eine Datenauflistung mit Rohtokenzahl und effektivem Beitrag pro Quelle. Sogar geprüfte und dann verworfene Quellen sind dokumentiert. Wer schon mal versucht hat, einem Compliance-Team zu erklären, womit ein Modell trainiert wurde, weiß, was das wert ist.
