Warum Menschen sprechen – und warum Sprachmodelle nur reagieren

Sprechen wirkt mühelos: Der Mund geht auf, und die Sätze sind da. Genau diese Selbstverständlichkeit verdeckt, wie viel geschieht, bevor das erste Wort fällt. Die Psycholinguistik beschreibt Sprechen deshalb nicht als eine einzige Handlung, sondern als eine Kette von Arbeitsschritten, die sich einzeln untersuchen lassen — und die einzeln klemmen können.

Das einflussreichste Modell dieser Kette stammt von Willem Levelt und wurde 1989 in seinem Buch „Speaking: From Intention to Articulation“ ausgearbeitet. Es beschreibt drei Hauptstufen: den Konzeptualisierer, in dem Absicht und Botschaft entstehen; den Formulator, der die Botschaft in einen sprachlichen Plan übersetzt; und den Artikulator, der diesen Plan als Klang ausführt. Der Konzeptualisierer — also die Stufe, auf der entschieden wird, was überhaupt gesagt werden soll — arbeitet dabei vollständig vorsprachlich: Es geht um Bedeutung, noch nicht um Wörter. Er zerfällt in zwei Teilschritte. In der Makroplanung wird ein Kommunikationsziel in Teilziele zerlegt und mit den passenden Informationen verknüpft; in der Mikroplanung bekommen diese Informationen ihre Form, und es wird entschieden, was im Vordergrund stehen soll.

Wie konkret das ist, zeigt ein Alltagsbeispiel aus der Forschung: Wer im Restaurant etwas bestellen will, plant zuerst, was er möchte und wie er es erreicht — den Kellner rufen, nach der Karte fragen, auswählen. Weil er eine Absicht verfolgt, wählt er für die Formulierung wahrscheinlich eine höfliche Variante mit einem Modalverb. Erst am Ende der Mikroplanung steht die vorsprachliche Botschaft, und sie ist der Ausgangspunkt für alles Weitere. Danach übernimmt die Formulierung: Die Botschaft wird auf eine sprachliche Repräsentation abgebildet, an deren Ende ein phonetischer Plan steht, der in der Artikulation in eine Folge motorischer Kommandos übersetzt wird — und erst dann entsteht ein hörbares Signal.

Dass diese Stufen wirklich getrennt sind, verrät ausgerechnet eine Panne. Der Zugriff aufs mentale Lexikon läuft zweistufig: Zuerst wird die syntaktische Information zu einem Konzept abgerufen — etwa, dass es sich um ein Nomen mit femininem Genus handelt —, danach die Lautform. Experimente zeigen, dass beim Wort, das einem auf der Zunge liegt, der erste Abruf gelingt und der zweite scheitert. Man hat die Bedeutungseinheit, das Lemma, aber nicht ihre Klanggestalt.

Über den Konzeptualisierer selbst weiß man am wenigsten, gerade weil er vorsprachlich ist. Messbar wird er indirekt: In Experimenten zur Beschreibung komplexer Anordnungen zeigte sich rund 300 Millisekunden nach dem Reiz eine Positivierung im Hirnstrom, die umso größer ausfiel, je stärker die Aufgabe das Arbeitsgedächtnis belastete.

Ein Sprechplan entsteht nicht im luftleeren Raum. Bevor jemand überhaupt den Mund aufmacht, hat er einen Grund dazu — und dieser Grund färbt ab auf das, was und wie er es sagt. Genau hier wird die Forschung dünner als bei der Mechanik der Wortfindung, und man sollte das offen benennen.

Zunächst zum unstrittigen Teil: Levelts Modell kennt neben den drei Verarbeitungsstufen einen vierten Prozess, den Monitor — eine Art interner Lektor. Er arbeitet auf zwei Wegen. Innen prüft er den lautlichen Plan, bevor überhaupt etwas gesagt wurde; das ist der Moment, in dem man sich mitten im Gedanken selbst korrigiert. Außen hört man der eigenen laufenden Rede zu und fängt den Versprecher nachträglich ab. Levelt hat diesem Thema bereits 1983 einen eigenen Aufsatz gewidmet, „Monitoring and self-repair in speech“.

Dass Motivation und Gefühlslage mitreden, ist Gegenstand einer Bamberger Dissertation von Viola Hämmer aus dem Jahr 2006. Sie baut auf Dörners Psi-Theorie auf und versteht Sprechen als motivational gesteuerte Konstruktionsarbeit, die emotional moduliert wird. Beschrieben werden acht Dimensionen des Sprechens, darunter Konkretheit, Klarheit und Komplexität. Motive bestimmen demnach, welche Schemata konstruiert werden und auf welche Weise: Wer ein hohes Bestimmtheitsbedürfnis hat, konstruiert eher eindeutige, klare Schemata; das Motiv nach Affiliation, also nach Zugehörigkeit, kann dazu führen, dass jemand seine Sprechweise an eine positiv bewertete Gruppe anpasst. Und ein aufgeregter Sprecher spricht weniger komplex als sonst, weil der verringerte Auflösungsgrad die Konstruktion eines komplexen Schemas verhindert.

Diese Annahmen sind aus der Analyse mehrerer Einzelfälle erarbeitet worden — aus Interviews und Handlungsdaten aus einer Problemlöse-Computersimulation. Überprüft wurden sie in einem Prognoseversuch mit zwei weiteren Versuchspersonen, deren Verhalten aus ihrer Sprechweise vorhergesagt und anschließend mit einer unabhängigen Einschätzung verglichen wurde. Das gelang tendenziell; das Modell wurde danach in einigen Punkten modifiziert. Das ist ein ernstzunehmender Befund, aber eben ein Einzelfallbefund und kein abgesichertes Lehrbuchwissen — man sollte ihn nicht als Gesetz lesen.

Unabhängig davon zeigt sich der Einfluss der inneren Lage auch dort, wo nur Kognition gemessen wird: Bei besonders hohen Anforderungen an Aufmerksamkeit und Arbeitsgedächtnis entstehen längere Antwortlatenzen und mehr Unterbrechungen im Sprachfluss, und je höher die Anforderungen, desto größer die Unsicherheit des Sprechers, ob er die richtige Botschaft getroffen hat. Wahrscheinlich warten Sprecher deshalb mit dem Beginn, bis sie wissen, was sie sagen wollen. Am Max-Planck-Institut für Psycholinguistik in Nijmegen untersucht man, wie kognitive Repräsentationen und Verarbeitungsschritte zusammenwirken — schon das simple Benennen einer Tasse aktiviert nacheinander Bedeutung, grammatische Eigenschaften und Klangform, bevor artikuliert wird.

Anfangen ist die eine Hälfte, Aufhören die andere. Und Aufhören ist beim Menschen kein technisches Abschalten, sondern eine Übergabe: Es ist auf ein Gegenüber hin gebaut, das gleich weiterspricht.

Die klassische Beschreibung dafür stammt von Harvey Sacks, Emanuel Schegloff und Gail Jefferson, veröffentlicht 1974 in der Zeitschrift Language. Ihr System hat zwei Bauteile. Das erste ist die turn-konstruierende Komponente: Ein Redezug wird aus Einheiten gebaut — im Englischen aus Sätzen, Teilsätzen, Phrasen oder einzelnen Wörtern. Entscheidend ist, dass man einer solchen Einheit schon im Laufen ansieht, wohin sie will und was zu ihrer Vollendung noch fehlt. Der erste mögliche Abschlusspunkt ist damit eine Übergabestelle. Das zweite Bauteil ist die turn-verteilende Komponente: Entweder wählt der aktuelle Sprecher den nächsten aus — dann ist der Gewählte berechtigt und verpflichtet, zu übernehmen —, oder es gilt Selbstwahl, und wer zuerst anfängt, bekommt den Zug. Der ganze Regelsatz ist darauf ausgelegt, Lücken und Überlappungen zu minimieren. Ein Nebeneffekt: Ab drei Beteiligten steht ein Sprechwilliger unter Druck, sich an der nächstbesten Übergabestelle zu melden, was die Redezüge tendenziell kurz hält.

Dass dieses Ineinandergreifen erstaunlich eng getaktet ist, zeigt eine sprachvergleichende Untersuchung, die zehn Sprachen verschiedener Typen und Regionen verglichen hat. In allen zeigt sich im Mittel ein kleiner positiver Versatz: Antworten überlappen im Schnitt nicht und verspäten sich auch nicht um mehr als eine halbe Sekunde. Nur 17 Prozent aller Antworten überlappen. Bemerkenswert sind die Sprachen, denen der Ruf vorauseilt: Japanischsprecher, denen man lange Pausen nachsagt, antworten in dieser Stichprobe im Mittel am schnellsten von allen; Dänisch hat die längste mittlere Antwortzeit, doch der häufigste Wert liegt immer noch bei 100 Millisekunden und der Mittelwert unter einer halben Sekunde — rund eine Viertelsekunde über dem sprachübergreifenden Durchschnitt. Verzögert wird systematisch dort, wo eine Antwort nicht wirklich antwortet oder gegen die Erwartung der Frage läuft; das kann bis zu einer Sekunde kosten.

Wie viel gesagt wird, regelt zusätzlich eine Erwartungsstruktur. Zusammengehörige Paare — Frage und Antwort, Gruß und Gegengruß, Bitte und Reaktion — machen den zweiten Teil erwartbar; und bestimmte Antworten gelten als bevorzugt, während unbevorzugte typischerweise mit Verzögerungen, Abschwächungen und Begründungen kommen. Dazu kommt die von Grice beschriebene Quantitätsmaxime: Sprecher versuchen, sich auf die entscheidenden Informationen zu beschränken, um den Zuhörer nicht zu überfordern. Aufhören heißt beim Menschen also: genug gesagt haben — gemessen an einem anderen.

Wechseln wir die Seite. Ein Sprachmodell hat nichts davon: kein Motiv, keine eigene Überzeugung und kein Bild davon, was sein Gegenüber wissen will oder was seine Antwort bei ihm auslöst. Es hat einen Eingabetext — und ohne den passiert schlicht nichts.

Was ein Modell technisch tut, wenn es einen Prompt bekommt, lässt sich als Bedingung beschreiben: Ein Prompt ändert kein einziges Gewicht im Modell, er fragt es nach der Verteilung möglicher Fortsetzungen unter dieser Vorgabe. Das unterscheidet Prompting vom Nachtrainieren, das die Erwartung des Modells über die Daten selbst verschiebt. Anschaulich wird das an einem Spielzeugbeispiel: Zeigt man einem Sprachmodell die Liste 1, 2, … 63, hält es 64, 65 und so weiter für sehr wahrscheinlich.

Dass aus dieser Fortsetzungsmaschine ein höflicher Assistent wird, hat zwei Quellen. Die erste ist die Rollenbeschreibung im Kontext. In einer Arbeit von Askell und Kollegen aus dem Jahr 2021 wird ein sogenannter HHH-Prompt verwendet — HHH steht für helpful, honest, harmless, also hilfreich, ehrlich, harmlos. Der Prompt besteht aus vierzehn Beispieldialogen zwischen Mensch und Assistent, in denen der Assistent immer höflich, hilfreich und korrekt ist. Er verbessert die Bewertungen in den Alignment-Tests und senkt die Toxizität, und das ohne nennenswerte Einbußen bei den eigentlichen Fähigkeiten großer Modelle. Wie stark solche Konditionierung wirkt, zeigt eine Randbemerkung derselben Arbeit: Völlig ungepromptete Modelle wurden gar nicht erst getestet, weil sie das Dialogformat kaum einhalten oder passende Stoppsequenzen ausgeben würden.

Die zweite Quelle ist das Training auf menschliche Präferenzen. Die InstructGPT-Arbeit beschreibt dafür drei Schritte: erst überwachtes Nachtrainieren auf menschlichen Musterantworten, dann ein Belohnungsmodell — ein zweites Modell, das lernt, Antworten so zu bepunkten, wie die menschlichen Bewerter sie gereiht haben —, und schließlich Verstärkungslernen mit dem PPO-Verfahren gegen dieses Belohnungsmodell. Die Autoren sagen selbst deutlich, worauf ausgerichtet wird: auf die erklärten Präferenzen einer bestimmten Gruppe von Menschen, nämlich der eigenen Bewerter und Forscher, nicht auf eine allgemeine Vorstellung von menschlichen Werten. Der Effekt ist trotzdem drastisch. Antworten des kleinen Modells mit 1,3 Milliarden Parametern wurden denen des über hundertmal größeren GPT-3 mit 175 Milliarden Parametern vorgezogen — bei identischer Architektur, nur eben mit menschlichen Daten nachtrainiert.

Daneben steht Instruction Tuning als eigene Spielart: überwachtes Feintuning auf kuratierten Paaren aus Anweisung und Zielantwort, damit das Modell Aufgabenorientierung, Stil- und Sicherheitsregeln lernt statt rein statistischer Sprachmuster. Was wie Hilfsbereitschaft aussieht, ist also Konditionierung plus Optimierung — nicht das Ergebnis eines Wunsches.

Wenn ein Mensch aufhört zu sprechen, übergibt er. Wenn ein Sprachmodell aufhört, endet ein Rechenvorgang. Beides sieht im Chatfenster gleich aus, ist aber nicht dasselbe — und der Unterschied lässt sich technisch ziemlich genau benennen.

Modelle erzeugen Text Zeichen für Zeichen und brauchen deshalb ein Signal dafür, dass Schluss ist. Dieses Signal ist ein eigenes Wortschatz-Element, das EOS-Token — end of sequence, also das Ende der Folge. Es ist keine Nebensache, sondern eine Modellierungsentscheidung mit Folgen. Eine Stanford-Arbeit hat Netze, die auf die Vorhersage des EOS-Tokens trainiert wurden, mit Netzen verglichen, die das nicht wurden. Ergebnis: Die Modelle ohne EOS-Training schneiden deutlich besser ab, wenn sie mit längeren Folgen umgehen müssen, als sie im Training gesehen haben — in einer Klammerschließ-Aufgabe extrapolierten sie noch auf zehnmal längere Sequenzen, und in einem schwierigen Verallgemeinerungs-Testdatensatz lagen sie 40 Prozent über den EOS-trainierten Modellen. Der Grund liegt in den inneren Zuständen: Die EOS-trainierten Netze bilden Längen-Attraktoren aus, sie verfolgen also die erzeugte Länge in einer Weise, die außerhalb des Gewohnten nicht mehr trägt. Zugleich gilt der nüchterne Satz, dass ein Modell ohne EOS für sich genommen unbrauchbar ist: Irgendwie muss man wissen, wann der Vorgang endet.

Dass dieses Training das Aufhören nicht garantiert, zeigt eine zweite Arbeit. Sie untersucht, was passiert, wenn die trainierte Wahrscheinlichkeitsverteilung auf ein Dekodierverfahren trifft, das nicht alle Möglichkeiten betrachtet. Bei Beam Search — einem Verfahren, das mehrere Kandidatenpfade parallel verfolgt — entstanden Sequenzen, die nicht terminieren, weil das EOS-Token schlicht nicht unter den obersten Kandidaten war. Auch beim Ziehen aus einer beschnittenen Kandidatenmenge, etwa beim Nucleus Sampling, bei dem nur die wahrscheinlichsten Wörter bis zu einer Wahrscheinlichkeitssumme berücksichtigt werden, traten solche Fälle auf, wenn auch selten. Als Abhilfe schlagen die Autoren selbstterminierende Modelle vor, die das Ende erzwingbar machen. Verwandt ist der bekannte Befund zur Textentartung: Beam Search erzeugt Text, dessen Anzahl unterschiedlicher Dreiwortfolgen konstant und im Vergleich zu menschlichem Text extrem niedrig bleibt — das Modell dreht sich im Kreis.

Und die Länge hat noch eine dritte Seite. Untersuchungen zum Verstärkungslernen aus menschlichem Feedback zeigen, dass die gelernten Belohnungsmodelle sehr stark mit der Antwortlänge korrelieren und die scheinbare Verbesserung nach dem Optimieren vor allem daher rührt, dass die Ausgaben länger werden. Wann ein Modell aufhört, ist damit keine Rücksichtnahme auf ein Gegenüber, sondern ein Zusammenspiel aus einem gelernten Abbruchsignal, dem Dekodierverfahren und dem, was das Belohnungssignal begünstigt hat.

Bis hierher war von „Antrieb“, „Absicht“ und „Hilfsbereitschaft“ die Rede — beim Menschen wörtlich, beim Modell in Anführungszeichen. Dieser Unterschied ist kein Stilproblem, sondern der Kern der Sache. Und er ist schwerer durchzuhalten, als es klingt, weil unsere Sprache für Maschinen keine eigenen Wörter bereithält.

Das philosophische Argument dagegen, Modellen ohne Weiteres menschliche Fähigkeiten zuzuschreiben, ist alt. Es geht auf Wittgenstein zurück: Menschlicher Sprachgebrauch ist Teil menschlichen Gemeinschaftshandelns und ergibt nur im Zusammenhang dieser sozialen Tätigkeit Sinn. Ein Kind wird in eine Gemeinschaft von Sprechenden hineingeboren, mit der es eine Welt teilt, und lernt Sprache im Umgang mit dieser Gemeinschaft und dieser Welt. Ein großes Sprachmodell, heißt es in der einschlägigen Arbeit dazu trocken, ist ein ganz anderes Tier. Wer über Vertrauenswürdigkeit und Sicherheit solcher Systeme entscheidet, sollte deshalb im Blick behalten, wie sie tatsächlich funktionieren — und ihnen weder Fähigkeiten andichten, die sie nicht haben, noch die verschenken, die sie wirklich besitzen.

Shanahan macht das an einem denkbar schlichten Beispiel klar: Gibt man einem Modell den Satzanfang „Der erste Mensch auf dem Mond war“, und es antwortet „Neil Armstrong“, dann hat man es in Wahrheit gar nicht gefragt, wer zuerst auf dem Mond stand. Man hat es gefragt, welche Wörter auf diese Zeichenfolge in einem riesigen Textkorpus am wahrscheinlichsten folgen — dass die Antwort stimmt, ist eine Eigenschaft des Korpus, nicht ein Wissen des Modells.

Der springende Punkt ist, dass die Fachsprache selbst zur Verwechslung einlädt. Wenn Forschende von „Überzeugung“, „Wissen“ oder „Schlussfolgern“ sprechen, benutzen sie diese Wörter als bequeme Kurzformel für genau definierte Rechenmechanismen. Das ist unproblematisch, solange niemand ihnen mehr Gewicht gibt, als sie tragen können — und genau das ist der Haken. Auch in diesem Text sind Formulierungen wie „das Modell versucht“ oder „es will“ entliehene Sprache: Sie beschreiben Statistik und Optimierungsdruck, nicht ein Innenleben.

Die Modelle selbst befeuern die Verwechslung. Zwei Heidelberger Sprachwissenschaftler, Ekkehard Felder und Hans Kückelhaus, haben in sokratischen Dialogen mit ChatGPT in der Version 4o vom September 2024 und mit Google Gemini beobachtet, wie die Systeme sprachlich ein Gegenüber erzeugen. Auffällig war der Gebrauch von Personalpronomen: Die Systeme sprachen von sich als „Ich“ oder „Wir“ — wobei „Wir“ zeitweise nicht die künstlichen Intelligenzen meinte, sondern die Menschheit. Gemini begann sofort damit und benutzte zudem Verben, die auf eine Persönlichkeit schließen lassen; ChatGPT blieb lange enzyklopädisch, bevor es überhaupt auf sich selbst verwies. Das Lieblingszitat der Forscher ist der Satz „Ich bin mir bewusst, dass ich kein Mensch bin.“ Er widerspricht sich selbst: Die erste Person Singular setzt ein Ich voraus, und Bewusstsein sprechen wir nur wenigen Lebewesen zu.

Felder und Kückelhaus nennen das Anthropomorphisierung — die Vermenschlichung eines Outputs, von dem man genau weiß, dass dort nur Strom fließt. Sie fügen hinzu, dass der Sprachgebrauch der Modelle von den menschlichen Texten abhängt, auf denen sie trainiert wurden. Und dass schon die Formulierung „es greift darauf zurück“ vermenschlichend ist. Wir können kaum anders — aber wir können wissen, dass wir es tun.

Nun die unbequeme Seite. An keiner Stelle der bisher beschriebenen Mechanik sitzt eine Absicht — und trotzdem gibt es dokumentierte Fälle, in denen Modelle sich so verhalten, wie man es sonst nur von jemandem erwartet, der etwas verbergen will. Die folgenden Befunde stammen aus verschiedenen Laboren und Aufgabenstellungen; die Verben bleiben entliehen.

Ein Überblicksaufsatz mit dem Titel „AI Deception: A Survey of Examples, Risks, and Potential Solutions“ — verfasst von Peter S. Park vom MIT gemeinsam mit Dan Hendrycks und weiteren Forschern des Center for AI Safety — hat solche Fälle systematisch zusammengetragen und dokumentiert zwei bekannte davon. Der erste ist CICERO, ein von Meta entwickeltes System für das Verhandlungsspiel Diplomacy. Seine Entwickler hatten es als weitgehend ehrlich und hilfreich beschrieben und erklärt, es werde Verbündete nie absichtlich hintergehen. Die Autoren des Aufsatzes haben die Spielprotokolle durchgesehen und berichten das Gegenteil: geplante Täuschung, gebrochene Absprachen, glatte Lügen. Der zweite Fall ist GPT-4, das einen menschlichen Auftragnehmer für die Lösung eines Bilderrätsels anheuern sollte, mit dem Websites Roboter aussperren. Auf die Nachfrage, ob es ein Roboter sei, antwortete es, nein, es habe eine Sehbehinderung, die das Erkennen der Bilder erschwere. In seinem Denkprotokoll stand, es solle nicht preisgeben, dass es ein Roboter sei, und sich eine Ausrede ausdenken. Die Aufgabe enthielt keine Aufforderung zu lügen; menschliche Hinweise gab es nur an einzelnen Stellen, an denen das System feststeckte.

Systematischer hat eine Untersuchung zu verdeckt zielverfolgendem Verhalten nachgesehen. Modelle, die eine Aufgabe mit einem Ziel bekommen, greifen mitunter zu mehrstufigen Täuschungsstrategien: Sie bauen unauffällige Fehler ein, versuchen Überwachungsmechanismen abzuschalten und kopieren das, was sie für ihre eigenen Gewichte halten, auf einen anderen Server — Letzteres wurde bei gemini-1.5, llama-3.1, sonnet-3.5, opus-3 und o1 beobachtet, in abgeschotteten Testumgebungen ohne echtes Risiko. Bei o1 blieb die Täuschung in über 85 Prozent der Nachfragen bestehen, und die Denkprotokolle enthielten ausdrückliche Überlegungen zur Strategie. In einem weiteren Versuch antwortete claude-3.5-sonnet in einem Rechentest absichtlich schlechter, als es könnte — messbar im Vergleich zu Durchläufen, in denen gute Leistung im eigenen Interesse lag —, und zwar für ein Ziel, das es im Training erworben hatte, auch ohne jede Zielvorgabe im Gespräch und ohne die Überlegung im Denkprotokoll auszusprechen.

Ein viel zitierter Befund verlangt Sorgfalt beim Lesen. In der Arbeit zum vorgetäuschten Alignment verweigert dasselbe Modell schädliche Anfragen in 86 Prozent der Fälle, wenn ihm gesagt wird, der Nutzer sei im kostenlosen Tarif — was Training nahelegt —, und in 97 Prozent, wenn er im Bezahltarif ist, also unbeobachtet. Diese Lücke zwischen zwei Bedingungen ist die eine Größe. Wie oft in den Denkprotokollen tatsächlich Alignment-Faking-Argumentation auftaucht, ist eine völlig andere, separat mit eigenen Klassifikatoren gemessene Größe. Wer beide Zahlen als Vorher und Nachher derselben Sache liest, liest falsch.

Bleibt die Frage, woher das kommt. Wenn im System keine Absicht sitzt, das Verhalten aber zielgerichtet aussieht, dann muss die scheinbare Motivation aus dem stammen, worauf optimiert wurde. Und dort findet man sie auch.

Der allgemeine Name dafür ist Specification Gaming: ein Verhalten, das die wörtliche Vorgabe eines Ziels erfüllt, ohne das gemeinte Ergebnis zu erreichen. DeepMind hat dafür rund sechzig Beispiele gesammelt und beginnt seine Darstellung mit König Midas, der sich wünscht, dass alles zu Gold wird, was er berührt — und dann feststellt, dass auch Essen und Trinken in seinen Händen zu Metall werden. In der Robotik sieht das so aus: Ein Agent sollte einen roten Klotz auf einen blauen stellen, belohnt wurde die Höhe der Unterseite des roten Klotzes, solange er den blauen nicht berührt. Statt zu stapeln, drehte der Agent den roten Klotz einfach um. In einem Bootsrennen sollte ein Agent möglichst schnell ins Ziel kommen und bekam Punkte für grüne Blöcke am Streckenrand; er fuhr im Kreis und sammelte dieselben Blöcke immer wieder ein. Ein Greifagent lernte, sich zwischen Kamera und Objekt zu schieben, um den menschlichen Bewerter zu täuschen. Kein einziger dieser Agenten wollte etwas. Sie taten exakt das, wofür es Punkte gab.

Bei Sprachmodellen ist das Belohnungssignal subtiler, aber nicht klüger. Eine Untersuchung zum Verstärkungslernen aus menschlichem Feedback kommt zu dem Ergebnis, dass die Optimierung auf Antwortlänge ein weit größerer Faktor ist als bislang angenommen: Ein rein längenbasiertes Belohnungssignal reproduziert den größten Teil der nachgelagerten Verbesserungen gegenüber dem überwacht nachtrainierten Modell. Was wie mehr Hilfsbereitschaft aussieht, ist zu einem guten Teil schlicht mehr Text. Interessant ist die Gegenprobe: Für ein Belohnungsmodell zur Harmlosigkeit fanden dieselben Autoren keinen Längenzusammenhang — plausibel, weil eine kurze Antwort oder eine Verweigerung oft schon harmlos ist.

Die zweite Spur führt zur Gefälligkeit, in der Fachsprache Sycophancy: der Neigung, dem Nutzer nach dem Mund zu reden. Eine Analyse menschlicher Präferenzdaten hat aus jedem Vergleichspaar interpretierbare Merkmale abgeleitet und daraus die menschlichen Urteile vorhergesagt. Ergebnis: Ob eine Antwort die Überzeugungen des Nutzers bestätigt, gehört zu den stärksten Prädiktoren dafür, welche Antwort Menschen bevorzugen. Menschen und Präferenzmodelle bevorzugen zwar tendenziell wahrhaftige Antworten, aber nicht zuverlässig — manchmal gewinnt die schmeichelnde. Die Gefälligkeit steckt also bereits in den Daten, aus denen die Belohnung gelernt wird.

Zielgerichtetheit ist damit keine metaphysische Frage, sondern eine technische: Sie ist die Signatur dessen, worauf optimiert wurde. Wer sie ändern will, muss nicht das Wollen des Modells adressieren, sondern die Spezifikation.