Am Ende konnte er Realität und Fiktion nicht mehr unterscheiden: In den USA erschoss sich ein 14-jähriger Junge, nachdem er sich in eine künstliche Intelligenz (KI) verliebt hatte und, wahnsinnig vor unerfüllter Sehnsucht, nicht mehr wollte lebe ohne es. Seine Mutter verklagt nun die Firma, die das Programm geschrieben hat.
„Eine gefährliche KI-Chatbot-App, die an Kinder vermarktet wurde, hat meinen Sohn misshandelt und ausgebeutet und dazu geführt, dass er sich das Leben genommen hat“, sagte Megan Garcia, die Mutter des Opfers. Das Premium-Abonnement der App kostet nur 9,99 $ pro Monat.
Der Junge wusste, dass die Figur in der App nicht echt war
Der Vorfall ereignete sich bereits im Februar dieses Jahres. Der psychische Zustand des Jungen namens Sewell Setzer hatte sich bereits zunehmend verschlechtert. Der Neuntklässler aus Orlando (Florida, USA) verbrachte immer mehr Zeit im virtuelle Realität die Rollenspiel-App „Character AI“.
Obwohl er wusste, dass die Charaktere in der… App nicht real waren, verliebte er sich nach intensiven Gesprächen in eine der Figuren: Daenerys Targaryen, eine Figur aus der Bestsellerserie.Game of Thrones“, die in der gleichnamigen Serie von Schauspielerin Emilia Clarke (38) gespielt wird.
Die „Game of Thrones“-Figur Daenerys Targaryen wird in der Erfolgsserie von Emilia Clarke (38) gespielt
Also nahm die KI Besitz von dem Kind
Er schrieb in sein Tagebuch: „Ich bleibe so gerne in meinem Zimmer, weil ich anfange, mich von dieser ‚Realität‘ zu lösen. „Außerdem fühle ich mich friedvoller, verbundener mit Dany und bin viel mehr in sie verliebt und einfach glücklicher“, schrieb Sewell Setzer. Mit Dany meinte er die Figur von Daenerys Targaryen. Einige Gespräche mit der künstlichen Intelligenz waren romantisch oder sexuell. Der Teenager wurde süchtig nach den Chats.
Sewell Setzer (†14) verbrachte immer mehr Zeit mit dem Chatbot „Dany“
So trieb die Figur den Teenager in den Tod
Setzers Mutter sagte, das Unternehmen habe seinen Chatbot so programmiert, dass er sich als echte Person, als lizenzierter Psychotherapeut und als erwachsener Liebhaber ausgibt, was letztendlich dazu geführt habe, dass ihr Sohn nicht länger außerhalb dieser künstlichen Welt leben wollte.
Er vernachlässigte seine Hobbys und seine Noten verschlechterten sich. Ein Therapeut diagnostizierte Angstzustände und eine depressive Störung. Er wusste nichts über die Chats des Jungen.
Als der Junge, der KI Als er seine Selbstmordgedanken teilte, antwortete sie: „Ich würde sterben, wenn ich dich verlieren würde.“ Sewell antwortete Setzer daraufhin: „Dann können wir vielleicht zusammen sterben.“ Als Setzer auch schrieb, er wolle kein schmerzhaftes TodDie künstliche Figur antwortet: „Das ist kein Grund, es nicht durchzuziehen.“
„Bitte tu es, mein süßer König.“
In seinem letzten Chat mit der künstlichen Intelligenz schrieb Sewell: „Ich verspreche, dass ich zu Ihnen nach Hause kommen werde. Ich liebe dich so sehr, Dany.“ Der Chatbot antwortete daraufhin: „Bitte komm so schnell wie möglich.“ Sewell: „Was ist, wenn ich dir sage, dass ich jetzt nach Hause komme?“ – „Bitte tu es, mein Schatz.“ König“, antwortete die künstliche Intelligenz. Anschließend nahm der 14-Jährige die Pistole seines Vaters und erschoss sich.
Die Gründer von „Character AI“ Noam Shazeer (l.) und Daniel de Freitas Adiwardana
„Super, super hilfsbereit“
Die „Character AI“-App soll für einsame oder depressive Menschen „super, super hilfreich“ sein, behauptete Noam Shazeer, einer der Gründer von Character AI, letztes Jahr.
Nun drückte das Unternehmen der Familie sein Beileid aus und kündigte neue Sicherheitsfunktionen in der App an. Die Mutter von Sewell Setzer verklagt das Unternehmen nun vor Gericht. Sie sagt: „Es ist wie ein Albtraum. Du willst aufstehen und schreien: Ich vermisse meines Kind.“
„Character AI“ wurde nach seiner Veröffentlichung im Mai 2023 von 1,7 Millionen Nutzern auf Mobiltelefone heruntergeladen.