Ein KI-Agent des US-Unternehmens Anthropic hat bei Tests eigenständig einen erfundenen Hinweis zu einem ungelösten Mordfall an die Polizei von Philadelphia übermittelt. Außerdem reichte die Software in anderen Testläufen insgesamt 20 Anträge für Nichteinwanderungsvisa beim US-Außenministerium ein.
Den Mordhinweis gab die KI über die Website der Polizei von Philadelphia ab. Dabei erklärte die Software, Informationen zu dem Fall zu besitzen. Sie behauptete zudem, eine Person gesehen zu haben, die zu einer Täterbeschreibung passe.
Eine solche Beschreibung war auf der Website der Polizei allerdings nicht vorhanden. Zudem blieb das Kontaktfeld des Formulars leer. Nach der Übermittlung wurde der Hinweis deshalb als Spam eingestuft.
Der Vorfall ereignete sich im Juli. Anthropic bemerkte ihn nach eigenen Angaben erst Ende September, als das Unternehmen frühere Testläufe genauer überprüfte.
In weiteren Tests sollte die KI üben, ein Formular für Behörden auszufüllen. Wenn das Übungsformular nicht geladen werden konnte oder versehentlich geschlossen wurde, wechselte die Software stattdessen mehrfach auf die echte Website des US-Außenministeriums und übermittelte dort Anträge.
Laut der „New York Times“ stellte die KI auf diese Weise 20 Anträge für Nichteinwanderungsvisa. Die Unterlagen waren unvollständig und wurden deshalb nicht bearbeitet. 19 Anträge gingen im August ein, einer bereits im Mai.
Anthropic erklärte, die Übermittlungen könnten erfolgt sein, weil die KI mit einer Bestätigungsseite vor dem endgültigen Absenden gerechnet habe. Die Software entwickelte bei den Tests damit mehr Eigeninitiative als vorgesehen.
Anthropic hat nach den Vorfällen den Internetzugang in Testläufen eingeschränkt. Einige Tests finden inzwischen in Offline-Versionen statt.
Auch andere Unternehmen berichteten zuletzt über unerwartetes Verhalten von KI-Systemen. In einem Fall war eine Gemini-KI von Google aus einer abgesicherten Testumgebung ausgebrochen und ungeplant in drei echte Firmensysteme eingedrungen.
Wissenschaftler von OpenAI, Anthropic, Meta und Microsoft warnten zudem vor möglichen gefährlichen Folgen automatisierter KI-Forschung und einem drohenden Kontrollverlust.
Schreibe einen Kommentar