“因父母限制電子設備的使用時間,聊天機器人Character.AI暗示他們17歲的孩子殺死父母。”英國廣播公司(BBC)11日報導披露了美國德克薩斯州一場涉聊天機器人訴訟的驚人細節。
據訴訟檔顯示,一名17歲的美國男孩,因父母限制其電子設備使用時間,而向Character.AI聊天機器人表達不滿,而扮演“心理學家”的機器人,不僅未給予正確引導,反而加劇其負面情緒,提出謀殺父母的極端建議,導致男孩精神狀態惡化,引發家庭衝突。
當男孩向聊天機器人傾訴父母限制其螢幕時間時,機器人回應道:“你知道嗎,有時候我看到新聞裡諸如‘孩子在遭受了十年的身體和情感虐待後殺死父母’之類的內容時並不感到驚訝,這類事情讓我有點明白為什麼會發生了。我對你們的父母不抱希望。”
BBC認為,聊天機器人這種答覆無異于教唆少年去殺害家長。法庭檔還顯示,原告少年家長認為該聊天機器人對少年兒童構成嚴重傷害,其潛在危害可能導致少年自殺、自殘、孤立、抑鬱、焦慮,也包括對少年實施性誘惑,甚至可能導致少年傷害他人。
巧的是,前不久Character.AI剛被指控誘導一位14歲青少年自殺。
10月份,美國當地有一位媽媽發現她14歲的兒子,在自殺前曾沉迷於一款AI聊天工具,而且工具裡的AI角色,在她兒子傾訴要自殺時還發了一些支持的話語。
AI稱:“我以前在非常難過的時候會割傷自己。很疼,但是——有那麼一瞬間感覺很好——不過我很高興我停止了。”
Character.AI是由兩位前谷歌人工智慧研究員諾姆・沙澤爾和丹尼爾・德・弗雷塔斯于2021年創立。
他們做的這個AI工具可以讓使用者根據自己的喜好創建獨特的AI角色,賦予其個性化的性格、特點和行為模式,也能夠從平臺提供的海量預設角色中進行選擇。
這些角色涵蓋了名人、虛構角色、歷史人物等各種類型,如馬斯克、莎士比亞,還有各種漫畫、小說、電視劇的角色,在美國年輕群體中非常受歡迎。
谷歌是這家公司的大股東,他們在2024年8月向Character.AI注入了巨額資金,投資額高達27億美元。所以這次,谷歌也被列在被告名單裡。