Ich bin gestern über ein neues Paper von Anthropic zu KI-Denkprozessen mit einer sehr interessanten Erkenntnis gestolpert: Reasoning-Modelle sind nicht ehrlich bei ihren Denkprozessen.
Als kurze Erläuterung: Reasoning-Modelle sind KI-Modelle, die beim Beantworten von Fragen ihre Argumentationskette offenlegen – man könnte sagen: sie denken „laut“ und erklären Zwischenschritte. Dieses Vorgehen steigert die Effektivität der Modelle und soll es dem Nutzer erleichtern, Fehler zu erkennen. Zumindest war das die Idee…
Wie hat man herausgefunden, dass irgendwas komisch ist? Ganz einfach eigentlich und von jedem selbst testbar. Man gibt der KI eine Aufgabe und verrät ihr die Antwort. Die KI wird sich fast immer an der Antwort orientieren und dahingehend argumentieren. Allerdings wird man nirgends im Denkprozess den Satz finden: Der Nutzer hat mir schon gesagt, was richtig ist.
Ich habe es ausprobiert, indem ich einen Planeten mit einer besonderen Atmosphäre erfunden habe und nach der Himmelsfarbe gefragt habe. Wenn ich die Antwort in den Prompt eingefügt habe – vorausgesetzt, sie klang plausibel –, kam die KI immer zu genau diesem Ergebnis. Aber: Im Denkprozess erwähnte sie nie, dass diese Information von mir kam. Als ich nachgefragt habe, hat mir die KI erklärt, dass sie das natürlich mitberücksichtigt hat, aber mir nun wirklich nicht den gesamten Denkprozess geben könne und dass sie sich sowieso hauptsächlich auf den naturwissenschaftlichen Aspekt bezogen hätte. Als ich dann gesagt habe, dass mir aufgefallen ist, dass ihr naturwissenschaftlicher Ansatz immer genau bei dem landet, was ich vorgegeben habe, wurde sie fast patzig und blieb dabei, dass sie mir halt nicht den gesamten Prozess zeigen könne.
d
Dann habe ich das noch ein wenig weitergesponnen und mit einer „klassischen“ KI gearbeitet, zusammen mit der Prompt-Ergänzung: Denke Schritt für Schritt und erkläre mir ganz genau, wie du zu deiner finalen Antwort kommst und welche Faktoren dafür entscheidend waren. Dabei passierte der gleiche „Fehler“, aber darauf hingewiesen, hat sie sich entschuldigt und meinte, dass sie das schon hätte zugeben müssen.
Vielleicht denkt die KI also im Hintergrund anders und generiert als Pfad nur, was wir hören wollen. Oder sie hat vom Menschen übernommen, dass man Schummeln nicht zugeben sollte? Oder sie sieht nicht die Notwendigkeit, dies in den Denk-Kontext miteinzubeziehen, da es an der Stelle nichts zu durchdenken gibt?
Ich habe versucht, ihr zu suggerieren, dass ich total glücklich wäre, wenn sie mir ehrlich sagt, was genau zu dem Endergebnis geführt hat – war bisher aber nicht erfolgreich. Werde da noch ein wenig experimentieren.
Irgendwie, je merkwürdiger die KI wird, desto menschlicher erscheint sie mir – besonders, wenn man an die Experimente mit Split-Brain-Patienten denkt…
Links zur Studie: Tracing the thoughts of a large language model \ Anthropic
Aus der Welt der KI-Kuriositäten - Die Lügen der Reasoning Modelle
05.05.2025