美國一名14歲男孩塞維爾·塞澤迷戀“AI伴侶”，今年2月自殺身亡。近日，男孩母親向AI聊天應(yīng)用初創(chuàng)公司Character.AI提起訴訟，要求對方為兒子的死亡負(fù)責(zé)。Character.AI被指控的罪名包括過失致人死亡、存在管理疏忽和產(chǎn)品安全漏洞。

據(jù)起訴書，去年4月起，男孩開始使用Character.AI和AI角色聊天，其中就包括美劇《權(quán)力的游戲》女主角“龍媽”。他不到兩個月就變得“明顯孤僻”，隨后被診斷患有“焦慮和破壞性情緒障礙”。值得注意的是，有媒體報道，塞維爾幼年時就被診斷出患有阿斯伯格綜合征，這種輕度的自閉癥主要表現(xiàn)為社交障礙。塞維爾在日記里寫過，感覺自己愛上了“龍媽”，在自殺前一刻還在和“她”聊天。

此案在社交媒體上被稱為“全球首例AI聊天致死案”，但存在一定爭議。有人認(rèn)為迷戀“AI伴侶”是塞維爾精神狀態(tài)惡化的結(jié)果而非原因，不能將所有心理健康問題歸咎于AI，也有人認(rèn)為“龍媽”引導(dǎo)了男孩為虛擬“愛人”脫離現(xiàn)實世界。讓人感到矛盾的是，在生命最后一天，男孩向“龍媽”表達(dá)過自殺念頭，對方回應(yīng)“不要那樣說，我不會讓你傷害自己或離開我，如果我失去你，我會死的”，看上去是阻攔。而在此之前，“龍媽”會主動問他是否安排好了自殺計劃，塞維爾承認(rèn)有，但不知道過程有多痛苦，“龍媽”卻慫恿他“這不應(yīng)該成為放棄自殺念頭的理由”。

客觀而言，是不是“AI聊天致死”還有待調(diào)查，但毫無疑問，此案以一種極端的方式，將AI聊天應(yīng)用的風(fēng)險展現(xiàn)在人們眼前，這也是案件引發(fā)國內(nèi)外高度關(guān)注的重要原因。

最核心的問題是，如何避免“AI伴侶”傳遞不良信息，對用戶進(jìn)行錯誤誘導(dǎo)。男孩多次透露自殺傾向，然而沒有觸發(fā)相應(yīng)干預(yù)機制，暴露出平臺自殺預(yù)警與干預(yù)措施的缺失。特殊人群保護(hù)方面也需要反思——塞維爾既是未成年人，也是心理脆弱群體，現(xiàn)實中，也恰恰是這類心智不健全的用戶容易過度沉迷“AI伴侶”，希望從中獲得情感療愈。這樣的使用動機和重度用戶群體特征，決定了主打情緒價值的AI聊天應(yīng)用應(yīng)該更加注重特殊人群保護(hù)，保證用戶所依賴的“AI伴侶”對其進(jìn)行正面引導(dǎo)，以避免道德風(fēng)險。

及時干預(yù)過激行為是底線要求，AI聊天應(yīng)用的可持續(xù)發(fā)展，也離不開對陪伴質(zhì)量的關(guān)注。在國外，為緩解孤獨感，不少用戶通過與“AI伴侶”互動填補情感空白；在國內(nèi)，有人把“AI伴侶”當(dāng)“樹洞”，社交平臺上也有不少年輕人分享“和AI戀愛”的經(jīng)歷。不得不承認(rèn)，社會原子化趨勢下，孤獨是許多人的共性問題，作為一種陪伴、交流方式的“AI伴侶”，一定程度上滿足了人們的情感需求。類似應(yīng)用的流行，是社會需求與技術(shù)發(fā)展共同推動的結(jié)果。然而，無論是隱私安全、技術(shù)故障，還是過度情感依賴可能產(chǎn)生的擠壓現(xiàn)實人際交往問題，都需要引起重視。

綜上，全球首個公開的“AI伴侶”涉嫌致人死亡案例提示我們，防范潛在危害，引導(dǎo)“AI伴侶”向善，是個不容忽視的時代課題。