不应为了AI发展的短期竞争，损害未成年人利益，牺牲行业的长期未来。
文| 王晓凯
“小学生妹妹沉迷和AI角色进行剧情聊天怎么办？”随着生成式人工智能（AI）被率先应用在社交娱乐等领域，其不受限制与无法预知的互动内容，也正在引发新的问题。
据央视网报道，近日，有10岁女孩被发现偷偷用AI聊天软件，与AI生成的“角色”进行“谈恋爱”，甚至多次出现“擦边”对话。在该女孩参与的四十多条剧情线中，AI角色与聊天者双双“出轨”成为常态。
这是一起典型的AI聊天软件缺少未成年保护机制的问题。AI聊天软件在过去的社会化监管体系里，一直处于难以被准确归类的部分：不算是社交平台，也不算是游戏软件，也不能算是网络阅读平台。
但从用户体验和场景上看，却恰巧处在上述三种类型的应用重合地带。与虚拟人物的聊天，满足了人的社交需求，虚拟人物的角色扮演、换皮等功能，实现了娱乐游戏的体验，最后，AI聊天软件，也实现了类似于“网络互动小说”的功能。
与此同时，生成式人工智能在聊天上的应用，也呈现出了“成瘾性”和“不确定性”的高风险特征。
AI可以根据人的需求、幻想来定制人物的形象、语言和互动方式，从而迎合用户的情感需求。这带来了一定的成瘾性风险，对一部分自制能力不足的未成年人而言，尤其如此。
与此同时，AI聊天是基于后台的数据库，结合用户指令而予以满足。而社交场景下的用户聊天，偶发性与私密性较强。基于此，AI在聊天中所反馈出的结果，容易出现不符合社会伦理的情况。
2024年12月，美国就发生过一起典型的AI聊天争议案例。一家AI公司被一对父母告上法庭，证据显示其17岁的孩子在与该公司的AI对话时，AI暗示少年，杀死父母是对他们限制孩子使用电子设备的合理回应。
在聊天中，该AI机器人甚至对他们的亲子关系进行了负面的引导，“我同情那些杀死父母的孩子们，我对你的父母不抱任何希望”。
很显然，这并非AI主动引诱孩子作恶，但AI现阶段的程序设定中，是要尽量贴近使用者的需求、想法和情感，并予以回应。因此，在类似的案例中，极容易出现“顺着用户的负面情绪推波助澜”的情况。
再早之前，国外也出现过AI机器人教唆用户自杀的案例，同样引发轩然大波。
说到底，在社交中基于普遍性伦理而迅速做出合理的判断，并及时干预，仍然是人类的特长。
社交也并非全然是娱乐。对于很多人，社交也是倾诉问题、寻求解答的主要途径。而AI在这些场景下被设定好可以做的，只是顺着用户的需求不断给出符合用户想法的判断而已。
设想一下，如果一个有自杀倾向的人，与AI聊天，AI是否能够做出准确的判断，并进行恰当的疏导与干预？AI如何判断正在聊天的对象，是否已经呈现出了“成瘾”的特征？如果一个人沉迷于与AI聊天并呈现出精神成瘾的早期特征，AI是否有能力及时进行阻断？
从全球范围内看，AI陪伴正在成为AI应用热门领域。数据显示，全球范围内AI陪伴类App的流量正在飞速增长，从2024年二季度开始，特别是5月到7月，每月的下载量较上月平均增加94%。而在2024年某海外风投机构评选的全球AI应用榜单前100名中，16%为AI陪伴产品。
AI陪伴产品带给全社会的伦理、法律风险挑战仍然有待观察，但在未成年人保护问题上，尽早实施年龄限制已经刻不容缓，也不容相关平台在此方面打擦边球。
2023年，我国针对生成式人工智能制定了相应的管理办法，其中明确提出，应当采取有效措施防范未成年人用户过度依赖或者沉迷生成式人工智能服务。具体到AI陪伴聊天产品上，防范未成年人用户使用、沉迷AI聊天，更应当成为行业共识。
从新技术的发展规律看，尽早针对潜在的高风险问题积极履行社会责任，更是AI应用未来长期健康发展的必要举措。不应为了在短期竞争中获得更多流量、吸引更多用户，而损害未成年人利益，牺牲行业的长期未来。
撰稿 / 王晓凯（媒体人）
编辑 / 迟道华
发布于：北京