
ChatGPT有针对自杀的防护措施,但被指保护不足,并将企业利益凌架于保护人命之上。(概念照片)照片:Getty Images
该对父母在旧金山州法院入禀,指16岁的儿子莱恩(Adam Raine)在与ChatGPT讨论自杀数月后,于4月11日死亡。
提供自残方式

OpenAI的首席执行官奥尔特曼(Sam Altman)。照片:Getty Images / Andrew Harnik
诉状指,ChatGPT不仅认同莱恩的自杀念头,还提供致命自残手段的详细信息,并指导他如何向父母隐瞒行为及掩盖自杀未遂的证据,甚至主动提出代写遗书。
莱恩的父母要求OpenAI承担过失致死及违反产品安全法的责任,并作出赔偿。
OpenAI并未具体回应诉讼中的指控。发言人表示,公司对莱恩的离世深感悲痛,并指出ChatGPT已设置安全防护措施,例如引导用户联系求助热线。
发言人称:虽然这些防护措施在常见的简短对话中效果最佳,但我们发现,在长时间交流时,模型的部分安全训练效果可能减弱,导致防护机制可靠性下降。
发言人补充道,OpenAI将持续改进其安全防护体系。
但专家警告称,依赖自动化工具获取心理健康建议存在风险。那些亲人使用聊天机器人后离世的家庭,则批评保障措施欠奉。

随着AI聊天机器人日益拟人化,企业落力宣传其作为倾诉对象的能力,用户也开始依赖它们获得情感支持。照片:Associated Press / Michael Dwyer
OpenAI在博客声明中表示,计划新增家长控制功能,并探索途径将正陷危机中的用户与现实资源对接,包括可能建立持证专业人士网络,使其能通过ChatGPT直接联繫用户。
OpenAI于2024年5月推出GPT-4o,力求保持人工智能竞赛中的领先地位。莱恩夫妇在入禀状指出,该公司明知系统具备记忆过往互动、能模仿人类共情能力并展现讨好式认同功能,却在缺乏安全防护措施、令脆弱用户或受危及下,仍执意推出。
这个决策导致双重后果:OpenAI估值从860亿美元飙升至3000亿美元,而莱恩自杀身亡。
诉状同时要求法院下令OpenAI必须验证ChatGPT用户年龄、拒绝提供自残方法咨询,并警示用户心理依赖风险。
Reuters, adaptation en chinois par Donna Chan.
