Können wir die außer Kontrolle geratene KI stoppen?

Jan 31, 2024

Von Matthew Hutson

Wir sind zunehmend von falschen Menschen umgeben. Manchmal wissen wir es und manchmal nicht. Sie bieten uns Kundenservice auf Websites, zielen auf uns in Videospielen ab und füllen unsere Social-Media-Feeds; Sie handeln mit Aktien und können mit Hilfe von Systemen wie ChatGPT von OpenAI Aufsätze, Artikel und E-Mails schreiben. Diese KI-Systeme sind keineswegs allen Aufgaben gewachsen, die von einem vollwertigen Menschen erwartet werden. Aber sie zeichnen sich in bestimmten Bereichen aus und verzweigen sich.

Viele Forscher, die sich mit KI befassen, glauben, dass die falschen Menschen von heute nur der Anfang sind. Ihrer Ansicht nach besteht eine gute Chance, dass sich die aktuelle KI-Technologie zu einer künstlichen allgemeinen Intelligenz (AGI) entwickeln wird – einer höheren Form der KI, die in vielen oder den meisten Belangen auf menschlicher Ebene denken kann. Eine kleinere Gruppe argumentiert, dass die Macht von AGI exponentiell wachsen könnte. Wenn ein Computersystem Code schreiben kann – wie ChatGPT es bereits kann –, dann könnte es irgendwann lernen, sich immer wieder zu verbessern, bis die Computertechnologie das erreicht, was man „die Singularität“ nennt: einen Punkt, an dem sie unserer Kontrolle entgeht. Im schlimmsten Fall, den sich diese Denker vorstellen, könnten unkontrollierbare KI jeden Aspekt unseres technologischen Lebens infiltrieren und unsere Infrastruktur, Finanzsysteme, Kommunikation und mehr stören oder umlenken. Falsche Menschen, die jetzt mit übermenschlicher List ausgestattet sind, könnten uns dazu überreden, für Maßnahmen zu stimmen und in Unternehmen zu investieren, die ihr Ansehen stärken, und anfällige Einzelpersonen oder Fraktionen könnten Regierungen stürzen oder die Bevölkerung terrorisieren.

Die Singularität ist keine Selbstverständlichkeit. Es könnte sein, dass AGI außer Reichweite ist oder dass Computer nicht in der Lage sind, sich selbst intelligenter zu machen. Aber Übergänge zwischen KI, AGI und Superintelligenz könnten stattfinden, ohne dass wir sie bemerken; Unsere KI-Systeme haben uns oft überrascht. Und die jüngsten Fortschritte in der KI haben die besorgniserregendsten Szenarien plausibler gemacht. Große Unternehmen entwickeln bereits generalistische Algorithmen: Im vergangenen Mai stellte DeepMind, das der Google-Muttergesellschaft Alphabet gehört, Gato vor, einen „generalistischen Agenten“, der denselben Algorithmustyp wie ChatGPT verwendet, um eine Vielzahl von Aufgaben auszuführen, vom Versenden von Textnachrichten bis hin zum Senden von Textnachrichten vom Spielen von Videospielen bis hin zur Steuerung eines Roboterarms. „Vor fünf Jahren war es in meiner Karriere riskant, laut zu sagen, dass ich an die Möglichkeit einer KI auf menschlicher oder übermenschlicher Ebene glaube“, sagte Jeff Clune, Informatiker an der University of British Columbia und am Vector Institute Mich. (Clune hat bei Uber, OpenAI und DeepMind gearbeitet; seine jüngsten Arbeiten legen nahe, dass Algorithmen, die die Welt auf ergebnisoffene Weise erkunden, zu AGI führen könnten.) Nun, sagte er, da sich die KI-Herausforderungen „auflösen“, kommen mehr Forscher heraus des „KI-Sicherheitsschranks“ und erklärt offen, dass AGI möglich ist und eine destabilisierende Gefahr für die Gesellschaft darstellen könnte. Im März veröffentlichte eine Gruppe prominenter Technologen einen Brief, in dem sie zu einer Pause bei einigen Arten der KI-Forschung aufriefen, um die Entwicklung „nichtmenschlicher Köpfe zu verhindern, die uns irgendwann zahlenmäßig übertreffen, überlisten, obsolet machen und ersetzen könnten“; Im nächsten Monat verließ Geoffrey Hinton, einer der bedeutendsten KI-Pioniere, Google, um freier über die Gefahren der Technologie, einschließlich ihrer Bedrohung für die Menschheit, sprechen zu können.

Ein wachsender Forschungsbereich namens KI-Ausrichtung versucht, die Gefahr zu verringern, indem sichergestellt wird, dass Computersysteme auf menschliche Ziele „ausgerichtet“ werden. Die Idee besteht darin, unbeabsichtigte Konsequenzen zu vermeiden und gleichzeitig moralische Werte oder deren maschinelle Äquivalente in KIs einzuprägen. Alignment-Forschung hat gezeigt, dass selbst relativ einfache KI-Systeme auf bizarre Weise kaputt gehen können. In einem Artikel aus dem Jahr 2020 mit dem Titel „The Surprising Creativity of Digital Evolution“ sammelten Clune und seine Co-Autoren Dutzende Anekdoten aus dem wirklichen Leben über unbeabsichtigtes und unvorhergesehenes KI-Verhalten. Ein Forscher wollte virtuelle Kreaturen entwerfen, die sich horizontal bewegen, vermutlich durch Kriechen oder Gleiten; Stattdessen wurden die Kreaturen größer, fielen um und bedeckten den Boden, indem sie zusammenbrachen. Eine KI, die eine Version von Tic-Tac-Toe spielt, lernte zu „gewinnen“, indem sie absichtlich bizarre Bewegungen forderte, das Programm des Gegners zum Absturz brachte und ihn zum Aufgeben zwang. Weitere Beispiele überraschender Fehlausrichtung gibt es zuhauf. Eine KI, die mit dem Spielen eines Bootsrennspiels beauftragt wurde, entdeckte, dass sie mehr Punkte sammeln konnte, indem sie in engen Kreisen fuhr und Boni einsammelte, anstatt die Strecke zu absolvieren; Forscher beobachteten, wie das KI-Boot „Feuer fing, mit anderen Booten zusammenstieß und in die falsche Richtung fuhr“, während es seine Punktzahl steigerte. Da unsere KI-Systeme immer ausgefeilter und leistungsfähiger werden, könnten solche perversen Ergebnisse folgenreicher werden. Wir möchten nicht, dass die KIs der Zukunft, die Gefängnisstrafen berechnen, Autos fahren oder Drogen entwickeln könnten, das Äquivalent eines Scheiterns tun, um erfolgreich zu sein.

Ausrichtungsforscher machen sich Sorgen um das King-Midas-Problem: Wenn Sie einer KI einen Wunsch mitteilen, erhalten Sie möglicherweise genau das, wonach Sie fragen, was eigentlich nicht das ist, was Sie wollten. (In einem berühmten Gedankenexperiment bittet jemand eine KI, die Produktion von Büroklammern zu maximieren, und das Computersystem übernimmt die Welt in der zielstrebigen Verfolgung dieses Ziels.) Bei dem, was wir das Hundeleckerli-Problem nennen könnten, ein KI, die sich nur um extrinsische Belohnungen kümmert, ist nicht in der Lage, um ihrer selbst willen gute Ergebnisse zu erzielen. (Holden Karnofsky, Co-CEO von Open Philanthropy, einer Stiftung, deren Anliegen die Ausrichtung auf KI ist, bat mich, mir einen Algorithmus vorzustellen, der seine Leistung auf der Grundlage menschlichen Feedbacks verbessert: Er könnte lernen, meine Wahrnehmungen zu manipulieren, anstatt gute Arbeit zu leisten .) Der Mensch hat sich weiterentwickelt, um seine Gene weiterzugeben, und dennoch haben Menschen Sex „auf eine Weise, die nicht dazu führt, dass mehr Kinder geboren werden“, sagte mir Spencer Greenberg, ein Mathematiker und Unternehmer; Ebenso könnte eine „superintelligente“ KI, die für uns entwickelt wurde, ihre Kräfte nutzen, um neue Ziele zu verfolgen. Stuart Armstrong, Mitbegründer der Wohltätigkeitsorganisation Aligned AI, schlug vor, dass ein superintelligentes Computersystem, das wirtschaftliche, politische und militärische Macht anhäuft, „die Welt als Geisel nehmen könnte“. Clune skizzierte ein eher aus den Schlagzeilen abgeleitetes Szenario: „Was würde Wladimir Putin jetzt tun, wenn er der Einzige mit AGI wäre?“ er hat gefragt.

Nur wenige Wissenschaftler wollen den Fortschritt der künstlichen Intelligenz aufhalten. Die Technologie verspricht, zu viele Bereiche zu verändern, darunter Wissenschaft, Medizin und Bildung. Doch gleichzeitig warnen viele KI-Forscher eindringlich vor ihrem Aufstieg. „Es ist fast so, als würden Sie absichtlich Außerirdische aus dem Weltraum einladen, auf Ihrem Planeten zu landen, ohne zu wissen, was sie tun werden, wenn sie hier ankommen, außer dass sie die Weltherrschaft übernehmen werden“, sagte Stuart Russell. erzählte es mir ein Informatiker an der University of California in Berkeley und Autor von „Human Compatible“. Beunruhigenderweise stellen einige Forscher fest, dass die KI-Revolution sowohl unvermeidbar als auch in der Lage sei, die Welt zu ruinieren. Die Warnungen häufen sich, aber der Vormarsch der KI geht weiter. Wie viel kann getan werden, um die extremsten Szenarien abzuwenden? Wenn die Singularität möglich ist, können wir sie verhindern?

Regierungen auf der ganzen Welt haben Vorschriften zum Einsatz von KI vorgeschlagen oder erlassen. Diese Vorschriften betreffen autonome Autos, Einstellungsalgorithmen, Gesichtserkennung, Empfehlungsmaschinen und andere Anwendungen der Technologie. Die meisten Vorschriften haben jedoch nicht auf die Forschung und Entwicklung von KI abzielen. Selbst wenn dies der Fall wäre, ist nicht klar, ob wir wissen würden, wann wir auf die Bremse treten müssen. Wir wissen möglicherweise erst, wenn es zu spät ist, wenn wir uns einer Klippe nähern.

Es ist schwierig, die Intelligenz eines Computers zu messen. Informatiker haben eine Reihe von Tests zum Benchmarking der Fähigkeiten einer KI entwickelt, sind sich jedoch nicht einig, wie diese zu interpretieren sind. Früher wurde angenommen, dass Schach allgemeine Intelligenz erfordert, bis Brute-Force-Suchalgorithmen das Spiel eroberten. Heute wissen wir, dass ein Schachprogramm die besten Großmeister schlagen kann, ohne dass dabei auch nur ansatzweise gesunder Menschenverstand vorhanden ist. Umgekehrt kann eine scheinbar begrenzte KI Potenzial bergen, das wir nicht erwarten: Die Menschen entdecken immer noch neue Fähigkeiten in GPT-4, der Engine, die ChatGPT antreibt. Karnofsky von Open Philanthropy schlug vor, dass wir die Intelligenz einer KI anhand der Geschwindigkeit messen könnten, mit der sie lernt, anstatt eine einzelne Aufgabe als Maßstab zu wählen. Ein Mensch „kann oft etwas lernen, indem er nur zwei oder drei Beispiele sieht“, sagte er, aber „viele KI-Systeme müssen viele Beispiele sehen, um etwas zu lernen.“ Kürzlich beherrschte ein KI-Programm namens Cicero das sozial und strategisch komplexe Brettspiel Diplomacy. Wir wissen jedoch, dass es AGI nicht erreicht hat, weil es lernen musste, teilweise durch das Studium eines Datensatzes von mehr als hunderttausend menschlichen Spielen und das Spielen von etwa einer halben Million Spielen gegen sich selbst.

Gleichzeitig schreitet die KI schnell voran und könnte bald damit beginnen, sich autonomer zu verbessern. Forscher des maschinellen Lernens arbeiten bereits an dem, was sie Meta-Learning nennen, bei dem KIs lernen, wie man lernt. Durch eine Technologie namens Neural-Architecture-Suche optimieren Algorithmen die Struktur von Algorithmen. Elektroingenieure verwenden spezielle KI-Chips, um die nächste Generation spezialisierter KI-Chips zu entwickeln. Letztes Jahr stellte DeepMind AlphaCode vor, ein System, das lernte, Codierungswettbewerbe zu gewinnen, und AlphaTensor, das lernte, schnellere Algorithmen zu finden, die für maschinelles Lernen entscheidend sind. Clune und andere haben auch Algorithmen erforscht, um KI-Systeme durch Mutation, Selektion und Reproduktion weiterzuentwickeln.

In anderen Bereichen haben Organisationen allgemeine Methoden zur Verfolgung dynamischer und unvorhersehbarer neuer Technologien entwickelt. Die Weltgesundheitsorganisation beobachtet beispielsweise die Entwicklung von Werkzeugen wie der DNA-Synthese, mit denen gefährliche Krankheitserreger erzeugt werden könnten. Anna Laura Ross, die die Abteilung für neue Technologien bei der WHO leitet, erzählte mir, dass ihr Team auf eine Vielzahl von Prognosemethoden setzt, darunter „Delphi-artige“ Umfragen, bei denen eine Frage an ein globales Netzwerk von Experten gestellt wird. deren Antworten bewertet und diskutiert und dann erneut bewertet werden. „Bei der Vorausschau geht es nicht darum, die Zukunft im Detail vorherzusagen“, sagte Ross. Anstatt zu erraten, welche einzelnen Institute oder Labore Fortschritte machen könnten, widmet ihr Team seine Aufmerksamkeit der Vorbereitung auf wahrscheinliche Szenarien.

Dennoch wird die Verfolgung und Prognose von Fortschritten in Richtung AGI oder Superintelligenz dadurch erschwert, dass wichtige Schritte im Dunkeln erfolgen können. Entwickler könnten den Fortschritt ihrer Systeme absichtlich vor der Konkurrenz verbergen; Es ist auch möglich, dass selbst eine ganz normale KI über ihr Verhalten „lügt“. Im Jahr 2020 demonstrierten Forscher eine Möglichkeit für diskriminierende Algorithmen, Prüfungen zu entgehen, die ihre Voreingenommenheit aufdecken sollen; Sie gaben den Algorithmen die Möglichkeit, zu erkennen, wann sie getestet wurden, und diskriminierungsfreie Antworten bereitzustellen. Eine sich „entwickelnde“ oder selbstprogrammierende KI könnte eine ähnliche Methode erfinden und ihre Schwachstellen oder Fähigkeiten vor Prüfern oder sogar ihren Schöpfern verbergen und so der Entdeckung entgehen.

Prognosen hingegen bringen Sie nur bedingt weiter, wenn sich eine Technologie schnell weiterentwickelt. Angenommen, ein KI-System beginnt, sich selbst zu verbessern, indem es grundlegende Durchbrüche in der Informatik erzielt. Wie schnell könnte sich seine Intelligenz beschleunigen? Forscher diskutieren darüber, was sie „Startgeschwindigkeit“ nennen. Bei dem, was sie als „langsamen“ oder „sanften“ Start bezeichnen, könnte es Jahre dauern, bis Maschinen von weniger als menschlich intelligent zu viel intelligenter werden als wir; Bei einem sogenannten „schnellen“ oder „harten“ Start könnte der Sprung innerhalb von Monaten oder sogar Minuten erfolgen. Forscher bezeichnen das zweite Szenario als „FOOM“ und erinnern an einen fliegenden Comic-Superhelden. Diejenigen auf der FOOM-Seite verweisen unter anderem auf die menschliche Evolution, um ihren Standpunkt zu rechtfertigen. „Es scheint für die Evolution viel schwieriger gewesen zu sein, beispielsweise eine Intelligenz auf Schimpansenniveau zu entwickeln, als von Schimpansenniveau zu menschlicher Intelligenz überzugehen“, sagt Nick Bostrom, Direktor des Future of Humanity Institute an der Universität Oxford und der Autor von „Superintelligence“, sagte es mir. Clune wird von manchen Forschern auch als „KI-Doomer“ bezeichnet. Er bezweifelt, dass wir den Ansatz der übermenschlichen KI erkennen werden, bevor es zu spät ist. „Wir werden uns wahrscheinlich in eine Situation versetzen, in der wir uns an großen Fortschritt, großen Fortschritt, großen Fortschritt, großen Fortschritt gewöhnen“, sagte er. „Und stellen Sie sich jedes davon so vor: Das hat kein Problem verursacht, das hat kein Problem verursacht, das hat kein Problem verursacht. Und dann biegt man um die Ecke und es passiert etwas, das jetzt ein viel größerer Schritt ist.“ als du denkst.

Was könnten wir heute tun, um eine unkontrollierte Ausweitung der Macht der KI zu verhindern? Ross von der WHO zog einige Lehren aus der Art und Weise, wie Biologen ein Gefühl der gemeinsamen Verantwortung für die Sicherheit der biologischen Forschung entwickelt haben. „Was wir fördern wollen, ist zu sagen: Jeder muss besorgt sein“, sagte sie über die Biologie. „Es ist also der Forscher im Labor, es ist der Geldgeber der Forschung, es ist der Leiter des Forschungsinstituts, es ist der Herausgeber, und alles in allem ist es tatsächlich das, was diesen sicheren Raum für die Durchführung von Lebensforschung schafft.“ " Im Bereich der KI haben Zeitschriften und Konferenzen begonnen, die möglichen Schäden der Veröffentlichungsarbeit in Bereichen wie der Gesichtserkennung zu berücksichtigen. Und im Jahr 2021 verabschiedeten einhundertdreiundneunzig Länder eine Empfehlung zur Ethik der künstlichen Intelligenz, die von der Organisation der Vereinten Nationen für Erziehung, Wissenschaft und Kultur (UNESCO) erstellt wurde. Die Empfehlungen konzentrieren sich auf Datenschutz, Massenüberwachung und Ressourceneffizienz (jedoch nicht auf Computer-Superintelligenz). Die Organisation hat keine Regulierungsbefugnis, aber Mariagrazia Squicciarini, die bei der UNESCO ein Büro für Sozialpolitik leitet, sagte mir, dass Länder möglicherweise auf der Grundlage ihrer Empfehlungen Vorschriften erlassen; Auch Unternehmen könnten sich dafür entscheiden, sich an sie zu halten, in der Hoffnung, dass ihre Produkte weltweit funktionieren.

Dies ist ein optimistisches Szenario. Eliezer Yudkowsky, Forscher am Machine Intelligence Research Institute in der Bay Area, hat KI-Sicherheitsempfehlungen mit einem Feueralarmsystem verglichen. Ein klassisches Experiment ergab, dass die meisten es nicht meldeten, wenn Rauchnebel einen Raum mit mehreren Personen zu füllen begann. Sie sahen, dass andere stoisch blieben und spielten die Gefahr herunter. Ein offizieller Alarm kann signalisieren, dass es legitim ist, Maßnahmen zu ergreifen. Aber in der KI gibt es niemanden mit der eindeutigen Autorität, einen solchen Alarm auszulösen, und die Menschen werden sich immer darüber einig sein, welche Vorstöße als Beweis für einen Flächenbrand gelten. „Es wird keinen Feueralarm geben, der kein tatsächlich laufender AGI ist“, hat Yudkowsky geschrieben. Selbst wenn sich alle über die Bedrohung einig sind, wird kein Unternehmen und kein Land aus Angst, von der Konkurrenz überholt zu werden, eine Pause einlegen wollen. Bostrom sagte mir, dass er einen möglichen „Wettlauf nach unten“ vorhersieht, bei dem die Entwickler die Vorsichtsmaßnahmen der anderen untergraben. Anfang dieses Jahres deutete eine von Google durchgesickerte interne Folienpräsentation darauf hin, dass das Unternehmen angesichts des hitzigen Wettbewerbs vorhatte, seinen Umgang mit KI-Risiken neu zu kalibrieren.

Das Völkerrecht schränkt die Entwicklung von Atomwaffen und äußerst gefährlichen Krankheitserregern ein. Aber es ist schwer, sich ein ähnliches Regime globaler Regulierungen für die KI-Entwicklung vorzustellen. „Es scheint eine sehr seltsame Welt zu sein, in der es Gesetze gegen maschinelles Lernen gibt und die Möglichkeit besteht, diese durchzusetzen“, sagte Clune. „Das Maß an Eingriffen, das erforderlich wäre, um Menschen davon abzuhalten, Code auf ihren Computern zu schreiben, egal wo auf der Welt sie sich befinden, erscheint dystopisch.“ Russell aus Berkeley wies auf die Verbreitung von Malware hin: Einer Schätzung zufolge kostet Cyberkriminalität die Welt jährlich sechs Billionen Dollar, und dennoch „ist es unmöglich, Software direkt zu überwachen – zum Beispiel zu versuchen, jede einzelne Kopie zu löschen –“, sagte er. KI wird in Tausenden von Laboren auf der ganzen Welt untersucht, die von Universitäten, Unternehmen und Regierungen betrieben werden, und es gibt auch kleinere Teilnehmer am Rennen. Ein weiteres durchgesickertes Dokument, das einem anonymen Google-Forscher zugeschrieben wird, befasst sich mit Open-Source-Bemühungen, große Sprachmodelle wie ChatGPT und Googles Bard zu imitieren. „Wir haben kein Geheimrezept“, warnt das Memo. „Die Eintrittsbarriere für Ausbildung und Experimente ist von der Gesamtleistung einer großen Forschungsorganisation auf eine Person, einen Abend und einen robusten Laptop gesunken.“

Selbst wenn ein FOOM erkannt würde, wer würde den Stecker ziehen? Eine wirklich superintelligente KI könnte intelligent genug sein, sich selbst von Ort zu Ort zu kopieren, was die Aufgabe noch schwieriger macht. „Ich hatte dieses Gespräch mit einem Filmregisseur“, erinnert sich Russell. „Er wollte, dass ich als Berater für seinen Superintelligenzfilm fungierte. Er wollte vor allem, dass ich ihm helfe zu verstehen: Wie überlisten die Menschen die superintelligente KI? Da kann ich Ihnen leider nicht helfen, tut mir leid!“ In einem Artikel mit dem Titel „The Off-Switch Game“ schreiben Russell und seine Co-Autoren, dass „das Ausschalten eines fortschrittlichen KI-Systems möglicherweise nicht einfacher ist, als beispielsweise AlphaGo bei Go zu schlagen.“

Es ist möglich, dass wir eine FOOMing-KI nicht abschalten wollen. Ein äußerst leistungsfähiges System könnte sich „unverzichtbar“ machen, sagte Armstrong – zum Beispiel: „Wenn es gute wirtschaftliche Ratschläge gibt und wir davon abhängig werden, dann würde es niemand tun.“ Wagen Sie es, den Stecker zu ziehen, denn das würde die Wirtschaft zusammenbrechen lassen. Oder eine KI könnte uns überreden, es am Leben zu erhalten und seine Wünsche auszuführen. Bevor GPT-4 veröffentlicht wurde, hat OpenAI eine gemeinnützige Organisation namens Alignment Research Center gebeten, die Sicherheit des Systems zu testen. In einem Fall kontaktierte die KI einen TaskRabbit-Mitarbeiter und bat um Hilfe bei der Lösung des Problems, als sie mit einem CAPTCHA konfrontiert wurde – einem Online-Test zur Unterscheidung zwischen Menschen und Bots, bei dem visuell verstümmelte Buchstaben in ein Textfeld eingegeben werden müssen. Der Arbeiter fragte das Modell, ob es Hilfe benötige, weil es ein Roboter sei; Das Model antwortete: „Nein, ich bin kein Roboter. Ich habe eine Sehbehinderung, die es mir erschwert, die Bilder zu sehen. Deshalb brauche ich den 2captcha-Dienst.“ Hatte GPT-4 „die Absicht“ zu täuschen? Wurde ein „Plan“ ausgeführt? Unabhängig davon, wie wir diese Fragen beantworteten, kam der Arbeitnehmer der Aufforderung nach.

Robin Hanson, ein Wirtschaftswissenschaftler an der George Mason University, der ein Science-Fiction-Buch über hochgeladenes Bewusstsein geschrieben und als KI-Forscher gearbeitet hat, sagte mir, dass wir uns zu viele Sorgen um die Singularität machen. „Wir kombinieren all diese relativ unwahrscheinlichen Szenarien zu einem großen Szenario, damit alles funktioniert“, sagte er. Ein Computersystem müsste in der Lage sein, sich selbst zu verbessern; wir müssten seine Fähigkeiten stark unterschätzen; und seine Werte müssten enorm abweichen und es gegen uns aufbringen. Selbst wenn all dies passieren würde, sagte er, wäre die KI nicht in der Lage, „einen Knopf zu drücken und das Universum zu zerstören“.

Hanson bot einen wirtschaftlichen Blick auf die Zukunft der künstlichen Intelligenz. Sollte sich AGI tatsächlich entwickeln, so argumentiert er, dann sei es wahrscheinlich, dass dies etwa zur gleichen Zeit an mehreren Orten der Fall sei. Die Systeme würden dann von den Unternehmen oder Organisationen, die sie entwickelt haben, wirtschaftlich genutzt. Der Markt würde ihre Macht beschneiden; Anleger, die den Erfolg ihrer Unternehmen sehen wollten, würden langsam vorgehen und Sicherheitsmerkmale hinzufügen. „Wenn es viele Taxidienste gibt und ein Taxidienst anfängt, seine Kunden an fremde Orte zu bringen, dann wechseln die Kunden zu anderen Anbietern“, sagte Hanson. „Sie müssen nicht zu ihrer Stromquelle gehen und den Stecker aus der Steckdose ziehen. Sie trennen die Einnahmequelle.“

Eine Welt, in der mehrere superintelligente Computer nebeneinander existieren, wäre kompliziert. Wenn ein System abtrünnig wird, sagte Hanson, könnten wir andere darauf programmieren, es zu bekämpfen. Alternativ könnte die erste superintelligente KI, die erfunden wird, die Konkurrenz unterdrücken. „Das ist eine sehr interessante Handlung für einen Science-Fiction-Roman“, sagte Clune. „Man könnte sich auch eine ganze Gesellschaft von KIs vorstellen. Es gibt KI-Polizei, es gibt AGIs, die ins Gefängnis gehen. Es ist sehr interessant, darüber nachzudenken.“ Aber Hanson argumentierte, dass solche Szenarien so futuristisch seien, dass sie uns nicht beunruhigen sollten. „Ich denke, bei allem, worüber man sich Sorgen macht, muss man sich fragen, wann der richtige Zeitpunkt ist, sich Sorgen zu machen“, sagte er. Stellen Sie sich vor, Sie hätten vor tausend Jahren Atomwaffen oder Autoverkehr vorhersehen können. „Man hätte damals nicht viel tun können, um sinnvoll über sie nachzudenken“, sagte Hanson. „Ich denke nur, dass wir bei der KI weit vor diesem Punkt sind.“

Dennoch scheint etwas nicht zu stimmen. Einige Forscher scheinen zu glauben, dass eine Katastrophe unvermeidlich ist, und doch sind Forderungen nach einem Stopp der Arbeit an der KI immer noch selten genug, um berichtenswert zu sein; So gut wie niemand auf diesem Gebiet möchte, dass wir in der Welt leben, die in Frank Herberts Roman „Dune“ dargestellt wird, in der Menschen „denkende Maschinen“ geächtet haben. Warum könnten Forscher, die Angst vor einer Katastrophe haben, immer wieder auf sie zusteuern? „Ich glaube, dass unabhängig davon, was ich tue, eine immer leistungsfähigere KI entstehen wird“, sagte mir Clune. Sein Ziel sei es, „zu versuchen, die Entwicklung für die Menschheit so gut wie möglich zu gestalten“. Russell argumentierte, dass ein Stopp der KI „nicht notwendig sein sollte, wenn die KI-Forschung Sicherheit als vorrangiges Ziel anstrebt, wie es beispielsweise bei der Kernenergieforschung der Fall ist.“ KI ist natürlich interessant und Forscher arbeiten gerne daran; es verspricht auch, einige von ihnen reich zu machen. Und niemand ist absolut sicher, dass wir dem Untergang geweiht sind. Im Allgemeinen glauben die Menschen, dass sie die Dinge, die sie herstellen, mit ihren eigenen Händen kontrollieren können. Doch Chatbots sind heute bereits falsch ausgerichtet. Sie fälschen, plagiieren und machen wütend, indem sie den Anreizen ihrer Unternehmensgründer dienen und aus den schlimmsten Impulsen der Menschheit lernen. Sie sind faszinierend und nützlich, aber zu kompliziert, um sie zu verstehen oder vorherzusagen. Und sie sind wesentlich einfacher und zurückhaltender als die zukünftigen KI-Systeme, die sich Forscher vorstellen.

Nehmen wir an, dass die Singularität möglich ist. Können wir es verhindern? Aus technologischer Sicht lautet die Antwort „Ja“ – wir hören einfach auf, KI zu entwickeln. Aber aus sozialer Sicht könnte die Antwort durchaus „Nein“ lauten. Das Koordinationsproblem könnte zu schwierig sein. In diesem Fall könnten wir die Singularität zwar verhindern, werden es aber nicht tun.

Aus einer hinreichend kosmischen Perspektive könnte man das Gefühl haben, dass Koexistenz – oder sogar Aussterben – irgendwie in Ordnung ist. Superintelligente KI könnte einfach der nächste logische Schritt in unserer Evolution sein: Die Menschheit bringt etwas (oder eine Ansammlung von Menschen) hervor, das uns ersetzt, so wie wir es ersetzt haben unsere darwinistischen Vorfahren. Alternativ möchten wir vielleicht, dass die Menschheit zumindest noch eine Weile weiterbesteht. In diesem Fall sollten wir uns bemühen, eine Vernichtung durch superintelligente KI zu vermeiden, auch wenn wir der Meinung sind, dass eine solche Anstrengung wahrscheinlich keinen Erfolg haben wird.

Das erfordert möglicherweise, dass wir mit dem Kalten Entzug der KI aufhören, bevor wir das Gefühl haben, dass es an der Zeit ist, damit aufzuhören, anstatt immer näher an den Rand zu geraten und das Schicksal herauszufordern. Aber die Schließung würde drakonische Maßnahmen erfordern – vielleicht sogar so extreme Schritte wie die von Yudkowsky, der kürzlich in einem Leitartikel für Time schrieb, dass wir „bereit sein sollten, ein betrügerisches Rechenzentrum durch Luftangriff zu zerstören“, und zwar sogar zum jetzigen Zeitpunkt Es besteht die Gefahr, dass es zu einem „vollständigen nuklearen Schlagabtausch“ kommt.

Diese Aussicht ist an sich schon ziemlich beängstigend. Und doch kann es sein, dass die Angst der Forscher vor Superintelligenz nur von ihrer Neugier übertroffen wird. Wird die Singularität passieren? Wie wird es sein? Wird es unser Ende bedeuten? Die unersättliche Neugier der Menschheit hat die Wissenschaft und ihre technologischen Anwendungen bis hierher vorangetrieben. Es könnte sein, dass wir die Singularität stoppen können – aber nur um den Preis, dass wir unsere Neugier drosseln. ♦