TsumegoBench: Wie gut sind LLMs in Go?
Ich lasse aktuelle LLMs einfache Leben-und-Tod-Probleme lösen. Interessanter als die Rangliste war, wie schnell sich ein eigener Benchmark bauen lässt.
Am 21. Juli 2026 gewann Shin Jin-seo gegen KataGo.
Es war eine Serie mit 2:1. Shin spielte Schwarz und bekam zwei Steine vorgegeben. KataGo spielte Weiß mit 0,5 Komi.
Das ist bemerkenswert. Es bedeutet aber nicht, dass Menschen plötzlich wieder besser Go spielen als Maschinen. KataGo gab zwei Steine vor und ist außerdem eine spezialisierte Go-Engine. Aus drei Partien sollte sowieso niemand eine Zivilisationsdiagnose bauen.
Der Artikel landete bei mir trotzdem genau zur richtigen Zeit. Ich hatte ungefähr einen Nachmittag damit verbracht, zusammen mit Codex einen kleinen Go-Benchmark für Large Language Models zu bauen, also Sprachmodelle wie ChatGPT. Kurz: LLMs.
Im Alltag arbeite ich mit Generalisten. Sie schreiben Texte und Code, analysieren Dokumente und werden mit immer größeren Versprechen über ihr Reasoning, also ihr logisches Denken, verkauft. Mich interessiert dabei weniger, wie beeindruckend sich das in einer Modellvorstellung liest. Ich will wissen, ob ein Modell eine konkrete Aufgabe zuverlässig löst.
Also habe ich ihm eine gegeben.
Ein Benchmark ist hier einfach ein fester Satz Aufgaben mit erwarteten Antworten. Alle Modelle bekommen denselben Test, danach kann ich ihre Ergebnisse vergleichen.
Ein kleiner Test statt einer großen Intelligenzdebatte
Die Grundregeln von Go sind schnell erklärt: Schwarze und weiße Steine liegen auf einem Gitter.
Für eine konkrete Stellung muss das Modell aus Koordinaten ein Brett zusammensetzen, verbundene Gruppen und ihre Freiheiten erkennen, legale Züge finden und mögliche Antworten des Gegners berücksichtigen. Dafür braucht es Pattern Matching, räumliche Rekonstruktion und taktisches Lesen.
Tsumego begrenzen das auf ein lokales Problem. Eine Gruppe soll leben oder sterben. Ein bisschen wie Mattaufgaben im Schach, nur eben mit Freiheiten, Augen und Steinen, die sich gegenseitig die Luft nehmen.
Für TsumegoBench habe ich 100 öffentliche Probleme aus GoProblems aufbereitet. Dann habe ich sehr schnell wieder kleiner gedacht. Die erste Version, mein 1.0.0 Mini-Benchmark, besteht aus 20 Aufgaben zwischen 30 und 25 Kyu.
Das sind Community-Einstufungen, keine wissenschaftlich kalibrierte Schwierigkeitsskala. Für mich ist es der leichte Bereich, ein Test der Grundlagen. Bevor ich Modelle mit schweren Dan-Problemen bewerfe, möchte ich wissen, ob sie überhaupt die einfachen Aufgaben auf das Brett bekommen.
Geprüft wird nur der erste Zug.
Das Modell erhält die Brettgröße, die Farbe am Zug, das Ziel und Listen mit den Koordinaten aller schwarzen und weißen Steine. Es sieht kein Diagramm, darf keine Go-Engine aufrufen und bekommt keine Beispiele. Ich gebe ihm auch keine übergeordneten Zusatzanweisungen, keinen sogenannten Systemprompt. Jede Aufgabe startet mit einer einzelnen, isolierten Anfrage.
Die Antwort soll als JSON, also in einem maschinenlesbaren Format, einen Zug und eine kurze Erklärung enthalten. Für den Score zählt bisher nur der Zug:
- Ist die Koordinate gültig?
- Ist der Punkt frei und der Zug legal?
- Steht der Zug in der Liste der akzeptierten Lösungen?
Die Referenzzüge stammen zusammen mit den Aufgaben aus GoProblems. Der Benchmark prüft ihre Koordinaten, Legalität und gespeicherten Varianten. Ein anderer legaler Zug, der dort nicht als Lösung hinterlegt ist, zählt derzeit trotzdem als falsch.
Das ist eine echte Grenze. Ein Treffer zeigt nur, dass das Modell einen akzeptierten ersten Zug geliefert hat; über die vollständige Variante sagt er nichts aus. Umgekehrt kann auch ein nicht hinterlegter Zug auf dem Brett richtig sein.
Die erste Tabelle sieht klarer aus, als sie ist
Inzwischen habe ich acht Modelle jeweils einmal über die 20 Aufgaben geschickt.
| Modell | Treffer | Quote | Kosten |
|---|---|---|---|
| Claude Fable 5 | 17/20 | 85 % | 4,92 Dollar |
| Gemini 3.1 Pro Preview | 16/20 | 80 % | 2,91 Dollar |
| Claude Opus 4.8 | 15/20 | 75 % | 5,23 Dollar |
| Claude Opus 5 | 14/20 | 70 % | 2,33 Dollar |
| GPT-5.6 Sol | 14/20 | 70 % | 2,99 Dollar |
| DeepSeek V4 Pro | 7/20 | 35 % | 0,48 Dollar |
| DeepSeek V4 Flash | 6/20 | 30 % | 0,04 Dollar |
| Gemini 3.6 Flash | 5/20 | 25 % | 0,21 Dollar |
Zusammen sind das 160 Antworten, knapp 1,39 Millionen Tokens und rund 19,11 Dollar. Tokens sind, grob gesagt, die kleinen Textbausteine, über die Nutzung und Kosten der Modelle abgerechnet werden.
Die vollständigen Läufe mit Ergebnissen pro Aufgabe, Antworten, Kosten, Tokens und Laufzeiten sind auf tsumego.owlex.de live.
Fable liegt in diesen Läufen vorne. Mehr kann ich daraus gerade nicht seriös machen. Bei 20 Aufgaben verändert ein einziger Treffer die Quote um fünf Prozentpunkte. Es gab außerdem nur einen Lauf pro Modell.
Ich würde gern noch mehr Modelle und Wiederholungsläufe testen. Leider kostet das alles Geld, und bisher bezahlt mich niemand dafür, LLMs mit Go-Problemen zu bewerfen.
Auch die Aufgaben hielten sich nicht besonders ordentlich an ihre Kyu-Sortierung. Zwei Probleme lösten alle acht Modelle. TB-1.0.0-015, ebenfalls aus dem leichten Bereich, löste weiterhin keines.
Das Problem sitzt in der Ecke, und der hinterlegte Lösungszug ist ein Eckenzug. Solche Züge sind auch für Go-Anfänger manchmal schwierig. Dass alle acht getesteten LLMs an dieser Ecke scheiterten, finde ich ziemlich witzig.
Dazu kamen fünf ungültige Antworten: vier illegale Züge und eine Antwort im falschen Format.
Eine gute Begründung rettet keinen falschen Zug
Spannender als Fables erster Platz waren für mich die Erklärungen.
Die Modelle schrieben über Freiheiten, Augen, den Angriff auf eine Gruppe und mögliche Antworten. Auch bei falschen oder illegalen Zügen klangen ihre Erklärungen oft sauber und durchdacht.
Eine kaputte JSON-Antwort kann ich automatisch ablehnen. Bei einem besetzten Punkt geht das auch. Eine plausible Erklärung mit falschem Ergebnis ist unangenehmer. Sie sieht erst einmal nach Qualität aus. Wenn ich die Aufgabe selbst nicht prüfen kann, bemerke ich den Fehler womöglich gar nicht.
Am Ende muss ein Stein auf einen konkreten Punkt. Ob er dort hingehört, lässt sich auf dem Brett prüfen.
Mehr gemessener Aufwand hat die schwächeren Läufe ebenfalls nicht gerettet. DeepSeek V4 Pro benötigte 335.897 Tokens und im Mittel gut fünf Minuten pro Aufgabe. Das Ergebnis waren sieben Treffer. V4 Flash kam mit 233.637 Tokens und knapp zwei Minuten pro Aufgabe auf sechs Treffer.
Der aufwendigere Lauf brachte hier einen zusätzlichen richtigen Zug. Mehr Tokens und längere Laufzeit führten in diesen Läufen nicht automatisch zu einem besseren Ergebnis.
Ich wollte einen Benchmark. Nach einem Nachmittag hatte ich einen.
Ich hatte GoProblems, Codex und eine konkrete Frage, aber kein AI-Lab und keine eigene Benchmark-Abteilung.
Natürlich war sie nicht fertig. Die Referenzvarianten mussten geprüft werden. Koordinaten und Legalität brauchten Tests. Codex konnte mir dabei Arbeit abnehmen. Welche Antwort zählt und welcher Fehler für meinen Problemspace wichtig ist, musste ich selbst entscheiden.
Für meine nächste Modellauswahl muss daraus keine öffentliche Benchmark-Suite werden. Ich kann Fälle aus der tatsächlichen Aufgabe nehmen und die Auswertung auf die Fehler ausrichten, die mir später Probleme machen.
Dabei interessieren mich vier Dinge:
- Löst das Modell meine Aufgabe oft genug richtig?
- Wie teuer ist das in meiner tatsächlichen Konfiguration?
- Wie lange dauert es?
- Kann ich Fehler automatisch erkennen, oder brauche ich jedes Mal jemanden mit Fachwissen?
Fable hatte in diesen Läufen die meisten Treffer, kostete aber mehr als Gemini und GPT. DeepSeek Flash war fast geschenkt und löste sechs Aufgaben. Für eine unkritische Aufgabe mit guter automatischer Kontrolle kann ein günstiges Modell völlig reichen. Wenn ein überzeugend formulierter Fehler später teuer wird, sieht dieselbe Rechnung anders aus.
Eine allgemeine Bestenliste berücksichtigt meine Fehlerkosten nicht.
Bitte trotzdem keine Wissenschaft daraus cosplayen
TsumegoBench hat klare Grenzen. Die Modelle liefen nicht einmal unter identischen Einstellungen. Bei DeepSeek und Gemini war die Zufallskomponente, die sogenannte Temperature, auf 0 gesetzt. Claude und GPT bekamen ein hohes Budget für ihr internes Reasoning. Andere Werte blieben bei den Standards des jeweiligen Anbieters. OpenRouter, der Vermittlungsdienst für meine Modellanfragen, leitete außerdem nicht jeden Lauf an den gleichen technischen Anbieter weiter.
Dazu kommen nur 20 Aufgaben und ein einzelner Lauf je Modell. Der Datensatz ist öffentlich und könnte ganz oder teilweise in Trainingsdaten aufgetaucht sein. Die Eingabe als Koordinatenliste testet außerdem eine ganz bestimmte Form von Go-Verständnis. Mit einem Bild oder einem interaktiven Brett können die Ergebnisse anders aussehen.
Für meine Entscheidung reicht das: wie oft ein Modell hier richtig liegt, wie überzeugend seine Fehler aussehen und was mich der Lauf kostet.