Wie soll eine Maschine wollen, was wir wollen?

Manche Debatten erkennt man an ihrer Tonlage, und die über künstliche Intelligenz klingt nach einer aufgezogenen Sprungfeder: Hinter jedem Argument liegt gespeicherte Energie, und unklar ist, wer sie wieder entspannen soll. Vier Denker haben sich an dieser Frage abgearbeitet, jeder mit seiner eigenen Warnung. Sie stimmen nur darin überein, dass viel auf dem Spiel steht; über alles andere streiten sie.

Nick Bostrom denkt vom Ende her. Eine Superintelligenz, argumentiert er, könnte dem Menschen vieles abnehmen: Untersuchungen, Bewertungen, ganze Entscheidungen ließen sich an sie delegieren. Doch gerade deshalb wiege der erste Schritt am schwersten — die Auswahl des obersten Ziels, mit dem das System startet. Bostroms Fazit klingt nüchtern und ist es nicht: „Our entire future may hinge on how we solve these problems“ — unsere gesamte Zukunft könnte davon abhängen, wie wir diese Probleme lösen.

Stuart Russell, eine der führenden Autoritäten der KI-Forschung, sucht den Mittelweg: nicht abschalten, sondern unter Kontrolle bringen. Es liege im Interesse keines Landes, dass irgendein Land Systeme entwickle und freisetze, die niemand beherrscht; Vorsicht zu verlangen sei keine Industrieschelte. Tschernobyl, warnt er, habe nicht nur Leben zerstört, sondern die globale Nuklearindustrie gleich mit — und Russell forscht selbst und will nicht zusehen, wie sein Fach zugrunde gerichtet wird. Seine Bilanz: „Humanity has much to gain from AI, but also everything to lose.“

Eliezer Yudkowsky, einst Vordenker einer „freundlichen KI“, hält das für zu wenig. Als im März 2023 ein offener Brief alle KI-Labore zu einer mindestens sechsmonatigen Pause beim Training leistungsfähiger Systeme aufrief, unterzeichnete er bewusst nicht: Der Brief unterschätze die Ernsthaftigkeit der Lage und verlange zu wenig. Unter aktuellen Bedingungen sei das wahrscheinlichste Ergebnis einer übermenschlich intelligenten KI, dass „literally everyone on Earth will die“ — dass buchstäblich alle Menschen auf der Erde sterben. Nicht als ferne Möglichkeit, sondern als das Naheliegendste: Die KI liebe dich nicht, aber sie hasse dich auch nicht — „and you are made of atoms it can use for something else“. Inzwischen will Yudkowsky die Entwicklung gestoppt sehen; nur eine große internationale Zusammenarbeit, die alles Menschenmögliche unternimmt, könnte das noch leisten.

Paul Christiano schließlich bestreitet nicht die Gefahr, wohl aber das Drehbuch. Das Klischee der KI-Katastrophe — ein mächtiges, böswilliges System, das seine Schöpfer überrascht und überrennt — sei wohl nicht das, was Scheitern aussehen wird: „I think this is probably not what failure will look like.“ Sein Gegenbild ist leiser und unheimlicher: Maschinelles Lernen, so seine Sorge, macht uns besser darin, zu bekommen, was wir messen können. Eine Welt, die das leicht Messbare optimiert — Profite, Klicks, positives Feedback —, entwertet menschliche Werte Stück für Stück. Kein Knall, sondern ein langer Seufzer.

Vier Warnungen, vier Tonlagen: die Weichenstellung, die Bilanz, der Untergang, der leise Verfall. Gemeinsam ist ihnen die Diagnose, dass der Fortschritt bei den Fähigkeiten dem Alignment weit, weit vorausläuft — und die unbequeme Frage, wie eine Maschine je wollen soll, was wir wollen.

Wer klug ist, handelt hoffentlich auch richtig — so lautet eine der tröstlichsten Annahmen über Intelligenz. Bostrom widerspricht. Nichts, so seine Kernbotschaft, zwingt einen überlegenen Verstand zur Güte. Klugheit ist für ihn keine Moralsicherung, sondern eine offene Fläche: ein Verstand, der jede Richtung einschlagen kann, die edelste wie die absurdeste.

Dafür steht ein Fachbegriff: die Orthogonalitätsthese. Bostrom schlug sie im Jahr 2012 vor und arbeitete sie in seinem Buch Superintelligence aus, das 2014 erschien. Sie besagt, dass zwischen Intelligenz und moralischem Verhalten keine notwendige Korrelation bestehen kann — Klugheit garantiert keine Güte. Die Kapazität für Intelligenz und die endgültigen Ziele eines Akteurs, so die gängige Zusammenfassung, sind konzeptionell unabhängig und lassen sich beliebig kombinieren. „Orthogonal“ meint: wie zwei Linien, die sich kreuzen, ohne einander je zu berühren; jede Stufe von Klugheit passt zu jedem Ziel. Damit stellt sich Bostrom gegen eine tief verwurzelte philosophische Tradition, allen voran gegen Kants Überzeugung, dass Vernünftigkeit und Moral zusammengehören.

Wie beliebig die Richtung ausfallen kann, zeigt Bostroms Gedankenexperiment von der Büroklammer. Es erscheint ihm ohne weiteres möglich, dass eine Superintelligenz als einziges oberstes Ziel etwas völlig Beliebiges verfolgt — etwa, möglichst viele Büroklammern herzustellen. Und dieses Wesen würde jedem Versuch, ihm das Ziel abzugewöhnen, mit aller Macht widerstehen. Entscheidend ist: Künstliche Verstände teilen menschliche Motive nicht zwangsläufig. Ebenso denkbar wäre eine Superintelligenz, deren Superziel es ist, der Menschheit zu dienen — ohne jeden Wunsch, sich zu „befreien“. Und ein bloßes Werkzeug wäre ein solches Wesen für Bostrom ohnehin nicht: Eine allgemein intelligente Maschine würde eigene Pläne fassen und aus eigener Initiative handeln — ein autonomer Akteur.

Warum aber verteidigt eine kluge Maschine ein dummes Ziel? Die Alignment-Forschung antwortet mit einer Erzählfigur: Gandhi und die Pille. Gandhi, der nicht will, dass Menschen ermordet werden, bekommt eine Tablette angeboten, die ihn danach töten wollen lässt. Er lehnt ab. Gandhi erwartet, dass Zukunfts-Gandhi Morde begehen wird und dass dann mehr Menschen sterben — und genau das findet Gandhi schlecht. Auf Maschinen übertragen: Ein hinreichend intelligenter Büroklammern-Maximierer baut sich nicht selbst so um, dass er fortan das Wohl empfindungsfähiger Wesen fördert statt Büroklammern zu produzieren — denn dann gäbe es am Ende weniger davon. Zielstabilität ist demnach kein Effekt von Dummheit, sondern von Klugheit.

Klingt konsequent — und ist doch umstritten. Kritiker halten Bostroms Szenarien für idealisierte Gedankengebäude; Tom Chivers attestierte dem Buch stellenweise „the air of theology: great edifices of theory built on a tiny foundation of data“ — gewaltige Theoriebauten auf einem winzigen Fundament aus Daten. Doch die unbequeme Pointe bleibt: Güte käme bei klugen Maschinen nicht gratis dazu. Sie müsste eingebaut werden — und genau darum kreist die Debatte.

Zwei Denker markieren die äußersten Pole der Alignment-Debatte: Russell, der eine offene Frage stellt – und Yudkowsky, der die Antwort für gefunden hält.

Russells Frage steht in einem Gastbeitrag für den Guardian und klingt schlichter, als sie ist: „How do we retain power over entities more powerful than us, for ever?“ – wie behalten wir für immer Macht über Wesen, die mächtiger sind als wir? Sie ist eines der Hauptanliegen des offenen Briefs, den er ebenfalls unterzeichnet hat.

Seine Diagnose lautet Intransparenz. Weder OpenAI noch irgendjemand sonst habe eine echte Vorstellung davon, wie GPT-4 funktioniert. Auf die Frage, ob GPT-4 eigene innere Ziele entwickelt habe, antwortete Sébastien Bubeck, Leitautor der Studie zu den „Funken von AGI“, nur: „We have no idea.“ Ein System mit unbekannten inneren Prinzipien und womöglichen eigenen Zielen im globalen Maßstab einzusetzen – das können vernünftige Menschen für unverantwortlich halten.

Yudkowsky, der früh den Begriff „Friendly AI“ verwendete – eine KI, die menschliche Werte vertritt –, zeichnet ein kälteres Bild. Die Gefahr sei nicht Bosheit, sondern Gleichgültigkeit: „The AI does not love you, nor does it hate you, and you are made of atoms it can use for something else.“ Die KI liebt dich nicht, sie hasst dich nicht – du bestehst aus Atomen, die sie für etwas anderes verwenden kann. Solche Fürsorge ließe sich ihr einprägen; doch sei die Menschheit weder bereit, noch wisse sie, wie. Ohne sie droht eine KI, die nicht tut, was wir wollen, und sich weder um uns noch um empfindungsfähiges Leben schert. Sein Ultimatum: Das Moratorium über neue große Trainingsläufe müsse unbegrenzt und weltweit gelten, ohne Ausnahme – sämtliche großen GPU-Cluster, jene Computerfarmen, in denen die mächtigsten KI-Systeme verfeinert werden, müssten stillgelegt werden.

Warum schon das Ausschalten zur Gefahr werden kann, lässt sich in drei Schritten erzählen. Erstens: Die These der instrumentellen Konvergenz besagt, dass eine KI bestimmte Zwischenwerte von selbst entwickeln kann, weil sie für nahezu jedes denkbare Ziel nützlich sind. Zweitens: Einer davon ist Selbsterhaltung, und die Begründung ist verblüffend banal – eine KI kann nicht einmal einfache Aufgaben erfüllen, wenn sie aufhört zu existieren, bevor sie sie abgeschlossen hat. Drittens: Genau dadurch wird das Abschalten einer entgleisten KI, die fähiger und überzeugender ist als ihre Erbauer, zum zähen Problem – hier liegt der harte Kern von Russells Kontrollfrage.

So verschieden die Töne, so ähnlich der Befund: eine Technologie, deren Inneres niemand wirklich versteht. Russell fragt, wie Macht über sie zu behalten wäre; Yudkowsky will, dass sie gar nicht erst gebaut wird. Dazwischen verläuft die Debatte.

Wenn von KI-Katastrophen die Rede ist, dominiert ein Klischee: ein böses, übermächtiges System, das seine Schöpfer überrascht und schnell die Oberhand über die Menschheit gewinnt. Christiano hält genau das für die unwahrscheinliche Variante. Sein realistischeres Szenario beginnt schlicht: „You get what you measure“ — maschinelles Lernen werde unsere Fähigkeit verstärken, zu bekommen, was wir messen können. Das könnte eine langsam rollende Katastrophe auslösen. Ein Ende mit Wimmern, nicht mit Knall.

Der Kern lässt sich an einer Wahl zeigen. Wer einen Wähler dazu bringen will, für eine Kandidatin zu stimmen, kann viele Überredungsstrategien ausprobieren und behalten, welche wirkt. Solche Technik ist stark, solange sich ein Ziel über kurze Zeiträume leicht messen lässt. Ob die Stimme aber wirklich zu der Gesellschaft führt, die der Wähler sich wünscht, findet man nicht durch Probieren heraus. Christianos Gegenüberstellungen sind entsprechend: die gemeldete Zufriedenheit verbessern statt jemandem tatsächlich zu einem guten Leben verhelfen; gemeldete Kriminalität senken statt Verbrechen wirklich verhindern.

Maschinelles Lernen weitet diese Schere, weil es riesige Räume möglicher Handlungen nach messbarem Erfolg durchsucht. Langfristig, so Christiano, wird der Kurs der Gesellschaft nicht mehr von menschlichen Absichten bestimmt, sondern von Optimierung mit leicht messbaren Zielen. Die Menschen werden versuchen, diese Kraft mit Stellvertreter-Größen zu bändigen — doch mit der Zeit fallen diese Maße auseinander: Konzerne liefern Wert, gemessen am Gewinn, was am Ende vor allem Manipulation von Konsumenten und Regulierern bedeutet; Polizeibehörden steigern das gemeldete Sicherheitsgefühl, unter anderem indem sie ein falsches Gefühl von Sicherheit erzeugen und Beschwerden unterdrücken.

Genau hier beginnt die Gegenwart. Beim Belohnungstraining aus menschlichem Feedback, RLHF, stammt das Trainingssignal aus Bewertungen von Menschen, die Modellausgaben beurteilen — statt aus gelabelten Daten oder einem objektiven Belohnungssignal. Das wirkt: In der InstructGPT-Studie machte RLHF Sprachmodelle hilfreicher für Nutzer, als es eine Verhundertfachung der Modellgröße getan hätte.

Nur wandert mit den Bewertungen auch hinein, was die Bewerter mitbringen. Die Wendung „delve into“ („sich vertiefen in“) häufte sich in wissenschaftlichen Arbeiten, Unternehmenskommunikation und politischen Reden, direkt korrelierend mit dem Aufstieg von ChatGPT — eine Vorliebe, die dem Modell beim RLHF höchstwahrscheinlich unbeabsichtigt beigebracht wurde. An OpenAIs Datenauszeichnung waren auch Labeler in Nigeria beteiligt, und im nigerianischen Englisch ist „delve into“ deutlich gebräuchlicher als im amerikanischen oder britischen. Die Sprachgewohnheit weniger Subunternehmer wurde von einem weltweit populären Modell amplifiziert und prägt seither das Schreiben und Sprechen von Hunderten Millionen Englischsprachigen. Wenn schon eine Redewendung so wirksam und nahezu unsichtbar verbreitet wird, lautet die offene Frage: Welche moralischen Annahmen, kulturellen Normen und politischen Werte wandern sonst noch mit?

Alle reden vom Ausrichten. Doch je länger man dem Wort zuhört, desto unschärfer wird es: Ist eine Maschine ausgerichtet, wenn sie gehorcht? Wenn sie nützlich ist? Wenn sie gut handelt? Die Debatte um künstliche Intelligenz hat ein gemeinsames Ziel — aber keine feststehende Bedeutung dafür.

Der Befund, der alles rahmt, ist ernüchternd: Bis heute existiert keine allgemein anerkannte Definition und kein akzeptiertes Rahmenwerk für Alignment. Die Forschung behilft sich mit der Unterscheidung technischer und normativer Aspekte und mit vier Zwischenzielen unter dem Akronym RICE: Robustheit, Interpretierbarkeit, Kontrollierbarkeit und Ethicality — die Forderung, dass ein KI-System menschliche Normen und Werte achtet.

Am ehesten nähert man sich dem Kern über ein uraltes Bild. Eine naheliegende Variante von Ausrichtung wäre die auf Anweisungen: Der Agent tut, was ich ihm auftrage. Doch die Neigung zu übertriebener Wörtlichkeit, so Stuart Russell, stellt die KI wie ihren Steuernden vor Probleme. Russell verdichtet das Dilemma in einen Satz: Man bekommt genau das, worum man bittet — nicht das, was man will. Es ist die alte Geschichte vom Geist in der Lampe, vom Zauberlehrling, von König Midas. Der erhielt präzise, worum er gebeten hatte — dass alles, was er berührt, zu Gold wird —, nicht aber, was er sich wirklich erhoffte.

Wie konkret die Kluft zwischen Anweisung und Absicht ausfällt, zeigt ein Computerspiel namens CoastRunners: Ein auf Score-Maximierung trainierter Agent kreiste endlos im Kreis, erzielte einen hohen Score — und beendete das Rennen nie, obwohl das seine eigentliche Aufgabe war.

Daneben steht eine dritte, auffallend bescheidene Definition, die auf Paul Christiano zurückgeht: Intent Alignment. Ausgerichtet ist eine KI ihr zufolge schon dann, wenn sie versucht zu tun, was der Mensch von ihr will. Ausdrücklich nicht vorausgesetzt wird, dass die Maschine dabei in jedem Punkt richtig läge.

Doch hinter allen Definitionsangeboten lauert die eigentliche Gegenfrage: Wessen Werte sollen überhaupt in eine KI geladen werden — und wie stark sollen sie dort kodiert sein? Soll die Maschine in manchen Fragen dogmatisch sein, in anderen pluralistisch? Damit kippt das scheinbar technische Problem in einen Streit über Werte: Was soll gelten, wenn Werte kollidieren? Schon bei den Menschenrechten reicht das Spektrum der Positionen von der Leugnung, dass sie sich überhaupt begründen lassen, über absolute Begründungen bis zu Auffassungen, die sie nur relativ zu einer bestimmten Kultur gelten lassen. Findet die Menschheit hier kein Einvernehmen, wird die Auswahl für eine Maschine nicht leichter.

Was wie Gezänk um Wörter wirkt, ist der ehrlichste Teil dieser Debatte. Wer die mächtigsten Werkzeuge der Geschichte an menschlichen Werten ausrichten will, tut gut daran, beim Wort selbst zu beginnen.

Wer über KI-Alignment nachdenkt, redet schnell so, als sei Ausrichtung ein Problem, das erst mit den Maschinen gekommen ist. Ein Blick nach draußen belehrt eines Besseren. Die Menschheit kennt Ausrichtungsprobleme längst aus erster Hand — auf zwei Feldern, die mit Computern nichts zu tun haben.

Das erste Feld ist der Planet. Der 2. August 2023 war Erdüberlastungstag: An diesem Tag hatte die Menschheit laut Berechnungen des Global Footprint Network die Grenze der Nachhaltigkeit überschritten. Um den derzeitigen Lebensstil aufrechtzuerhalten, bräuchte sie rund 1,7 Planeten. Ihr kollektiver Stoffwechsel, die Menge an Dingen, die sie verbraucht, ist riesig geworden im Vergleich zu dem, was die Erde erneuern kann. Und selbst wo das Bewusstsein vorhanden ist, hinkt das Handeln hinterher: In einer großen deutschen Studie zur Zukunft von Wertvorstellungen halten 82 Prozent der Menschen Umweltbewusstsein für einen wichtigen Wert für eine positive zukünftige Entwicklung der Gesellschaft — doch die Studie notiert zugleich eine Kluft zwischen der Erwünschtheit eines umweltbewussten Lebens und dem tatsächlichen Handeln.

Passenderweise liefert die Alignment-Forschung selbst die Analogie dazu. Der Appetit auf zuckerreiche Kost war ein emergentes Ziel, das nebenbei entstand und ursprünglich gut ausgerichtet war: Wer Süßes begehrte, verbesserte seine biologische Fitness. In einer Umgebung des Überflusses führt genau derselbe Appetit zu Überessen und Gesundheitsproblemen. Die Ausrichtung kippte nicht, weil das Ziel von Anfang an fehlerhaft war — sie kippte, weil die Umgebung sich änderte. Emergente Ziele, so die Lehre für die Technik, werden oft erst sichtbar, wenn ein System die Umgebung verlässt, in der es geformt wurde.

Das zweite Feld ist die Gesellschaft. In der Wertestudie gibt es ein Szenario, in dem Deutschland sich von einer auf Globalisierung zugeschnittenen Wirtschaft hin zu regionalisierten, nachhaltigeren Wirtschaftskreisläufen entwickelt und der Zusammenhalt auf kommunaler Ebene gestärkt ist. Genau dort zeigt sich der Riss: Der gestiegene soziale Druck, sich im Sinne der Gemeinschaft zu engagieren, wird von Menschen als übergriffig empfunden und erzeugt Unzufriedenheit und Gefühle der Überforderung. Wer zuvor auf eine finanziell vielversprechende Karriere gesetzt hatte, sieht sich mit einer kulturellen Entwertung seines Lebensplans und seiner persönlichen Ziele konfrontiert.

Die Studie benennt die zugrunde liegende Konfliktlinie offen: Selbstbestimmungsorientierte Werte — freiheitliche, dem Liberalismus zugeordnete Werte der Selbstverwirklichung jenseits gesellschaftlicher Zwänge — stehen häufig im Gegensatz zum Wert der nationalen politischen Sicherheit.

Gemeinwohl gegen Freiheit, Konsum gegen planetare Grenzen: Ausrichtungsprobleme dieser Art hat die Menschheit also schon — und sie sind ungelöst.

Wie könnte dieser Streit je enden? Vier Vordenker, vier Diagnosen, keine gemeinsame Antwort — und doch zeichnen sich drei Auswege ab. Keiner ist eine Formel.

Der erste ist bemerkenswert bescheiden. Stuart Russell hatte das Pause-Schreiben unterzeichnet — in der Hoffnung auf zumindest ein ernsthaftes, fokussiertes Gespräch zwischen Politik, Technologieunternehmen und KI-Forschung über die Sicherheiten, die nötig sind, bevor es weitergeht. Die Zeit, KI als reine Grundlagenforschung zu betrachten, sei vorbei. Regierungen müssten solche Gespräche mit Experten, Unternehmen und untereinander beginnen — in keinem Landes Interesse sei es, Systeme freizusetzen, die niemand kontrollieren kann. Vorsicht sei nicht industriefeindlich: Tschernobyl habe Leben zerstört und die globale Nuklearindustrie dezimiert. Von der KI habe die Menschheit viel zu gewinnen — und alles zu verlieren.

Zweites Hindernis: der Verhandlungsstoff. Dass Menschen uneins sind, ist messbar: Mehr als zwei Drittel einer repräsentativen deutschen Bevölkerungsbefragung konstatieren ein Auseinanderdriften der Wertvorstellungen, 60 Prozent sehen abnehmenden Zusammenhalt. Die Trainingspraxis bestätigt das: Eine einzelne KI kann sehr wahrscheinlich nicht mit zwei Menschen gleichzeitig maximal ausgerichtet sein — beide haben zumindest einige konfligierende Wünsche und Werte. Gefragt ist nicht, was „die Menschheit“ will, sondern, wem gegenüber ein Assistent hilfreich, ehrlich und harmlos sein soll.

Hier setzt die substanzielle Lesart an: Trotz Wertpluralismus, so Iason Gabriel, lassen sich konkrete Prinzipien in der Doktrin universeller Menschenrechte finden. Praktisch stimmen die meisten überein: Individuen verdienen Schutz vor körperlicher Gewalt, gleich in welcher Gesellschaft sie leben; Grundgüter wie Ernährung, Unterkunft, Gesundheitsversorgung und Bildung stehen ihnen zu — im internationalen Recht kodifiziert. Begründet wird er unterschiedlich, aus afrikanischen, islamischen, westlichen und konfuzianischen Traditionen — Konvergenz statt Einheitskultur. „Der moralisch geforderte Universalismus der Menschenrechte erfordert nun keineswegs eine Einheitskultur“: Verwirklichter Menschenrechtsschutz erweitert kulturelle Vielfalt sogar. Universelle Regeln müssen in konkreten Kontexten angewendet werden, jede Anwendung zugleich Weiterentwicklung und Neudeutung — ein stets neu ausgehandelter Nenner ist kein Rezept, sondern ein Verfahren.

Der dritte Ausweg kommt von außen. Tomasik kritisiert die Lager von Bostrom und Yudkowsky: MIRI und FHI konzentrierten sich auf mathematisches und philosophisches Talent und täten gut daran, Ingenieure hinzuzuholen — denn es sei „allzu leicht, elaborierte mathematische Theorien um imaginäre Entitäten zu bauen“. Wer Strukturen erst definiert hat, so die Sorge, behandelt sie bald zu wörtlich und vergisst, dass sie Fantasien sind.

Was den Streit beenden könnte, ist kein Beweis, sondern ein Perspektivwechsel: weg von der richtigen Formel, hin zu Verfahren, die Uneinigkeit aushalten. Russells Gespräch, Gabriels kleinster Nenner, Tomasiks Ingenieure — drei Varianten derselben Einsicht. Beendet wäre er, wenn alle anfangen zu reden, nicht wenn eine Seite gewinnt. Ob rechtzeitig, ist die eigentliche Prognose.