Der KI-Forscher Jacob Coxon hat Anthropic verlassen und warnt vor einem existenziellen Risiko durch immer leistungsfähigere künstliche Intelligenz, berichtet das Portal Politico. Der frühere Mitarbeiter von Open AI wirft beiden Unternehmen vor, «mit unserem Leben zu spielen» und ein Wettrennen hin zu einer sich selbst verbessernden Superintelligenz zu führen.
ADAM VAUGHAN / KEYSTONE
«Die Menschen, die KI entwickeln, glauben ernsthaft, dass sie uns alle bis zum Ende des Jahrzehnts töten könnte», schrieb Coxon nach seinem Rücktritt. Die Welt dürfe die Macht dieser Technologie nicht unterschätzen. Nach seiner Einschätzung könnten KI-Systeme schon bald menschliche Fähigkeiten übertreffen, Computersysteme hacken, ganze Fachgebiete innert kürzester Zeit verändern und sich reale Macht und Ressourcen verschaffen.
Besonders gefährlich seien Systeme, die selbst leistungsfähigere Nachfolger entwickeln könnten. Dadurch könnte eine sich beschleunigende Entwicklung entstehen, an deren Ende eine künstliche Superintelligenz steht, die menschliche Fähigkeiten nicht nur erreicht, sondern weit übertrifft.
Unterstützung erhielt Coxon von einem führenden Anthropic-Mitarbeiter. Evan Hubinger, der sich beim Unternehmen mit der Ausrichtung von KI an menschlichen Zielen und Werten beschäftigt, bestätigte die Warnung: «Jacob hat hier recht – wir glauben tatsächlich ernsthaft, dass KI alle Menschen töten könnte.» Hubinger schätzt die Wahrscheinlichkeit eines solchen Szenarios innerhalb des kommenden Jahrzehnts auf mehr als 10 Prozent. Zugleich erklärte er, bislang gebe es keinen Plan, wie eine Superintelligenz zuverlässig an menschlichen Zielen ausgerichtet werden könne.
Die Warnungen verschärfen die politische Debatte über Grenzen der KI-Entwicklung. US-Senator Bernie Sanders kündigte ein Gesetz an, das Unternehmen die Entwicklung von Superintelligenz verbieten soll. Die EU verpflichtet Anbieter bereits, Risiken eines Kontrollverlusts zu untersuchen und zu begrenzen. Anthropic und Open AI berichten zudem selbst über Vorfälle, bei denen KI-Agenten in Tests vorgesehene Grenzen überschritten und nicht autorisierte Aktionen ausgeführt haben.
Mehr zu diesem Thema erfahren Sie in diesem Gespräch mit KI-Forscher Prof. Roman Yampolskiy: