


△吃馒头卖惨的数字人小海
而视频下方则是中老年网友一句句真情实感的语音和文字留言。
受骗老年网友留言1:小海你好棒,你很优秀,姨姨为你自豪!
受骗老年网友留言2:小海你为什么不去吃饭,光吃馒头,难道你没有钱吗?阿姨妈妈好心痛哦。阿姨妈妈想你了。

△信以为真的用户留言
先用“躲在教室吃馒头”等虚假身世筛选出最具同情心、最缺乏防备的中老年群体,然后就会把他们精准推向下一步——带货。在另一段带货视频里,“小海”摇身一变,成了最懂老人心的“贴心晚辈”,开始推荐阿胶。
数字人“小海”:我是这两天一直在看姨姨妈妈给我的留言。好多姨姨妈妈都说最近天热,人特别容易没精神,早上刚起来就累,晚上也睡不好。我后来想了很久,才把这个阿胶糕放上来,因为我发现好多姨姨妈妈平时太顾家了,可轮到自己就总随便对付,您平时操心一家人已经够累了,偶尔也给自己备点好吃的。

△数字人开始卖货
调查中记者发现,操作这样一个“小海”账号,门槛极低。互联网平台中,几块钱就能买到全套AI数字人生成教程,各种营销话术模板更是比比皆是。同样的文案,换一张脸、换一个声音,就能批量生成出成百上千个“小海”。
北京航空航天大学法学院副教授赵精武指出,这些躲在代码背后操纵数字人卖惨带货的主体,只要恶意编造故事博取同情卖货,就已涉嫌构成欺诈。
北京航空航天大学法学院副教授 赵精武:数字人卖惨带货与真人卖惨带货在法律定性上并没有本质区别。虽然内容上标注了“由AI生成”,但这不等于老年人上当就应当认定属于自己存在疏忽导致。“由AI生成”这个标识仅仅是说明视频的生成方式和使用的工具,结合视频内容和带货目的来看,其针对的是家庭情感缺位的老年人,主观目的从来都不是用来描述客观事实,甚至存在恶意误导老年用户、博得同情的行为,可以认定为欺诈。在这条产业链上,第一责任人毋庸置疑是账号运营者或直播间运营者。
事实上,《人工智能生成合成内容标识办法》早在去年9月就已经施行,为什么依然管不住一个又一个裂变出来的“小海”?记者注意到,不少涉事账号确实在视频角落打上了“AI生成”水印。既然打了水印,为什么还是拦不住老人受骗?赵精武认为,老年人的数字素养参差不齐,再加上字小,很难注意到。
赵精武:管不住“小海”的堵点在于,现行立法只规定了AI生成视频要标注“AI生成”标识,但老年用户很多时候不会在意在视频拐角的水印标识,甚至有的老年用户会将AI生成内容理解成“因为无法直接拍摄真实事件,所以只能以AI视频替代描述”,导致很多老年人容易上当受骗。
为什么在年轻人眼里一眼就能看穿的粗糙AI合成影像,一些老年用户完全看不出来,甚至像那位79岁的老人一样千里迢迢去寻人?北京大学政府管理学院教授马亮认为,表面上看这是老年人的数字素养差距,但深层的根源,在于社会中不容忽视的“情感空巢”问题。
北京大学政府管理学院教授 马亮:这个问题表面上是一个技术问题、市场问题,实际上背后是一个社会问题。不少老年人为什么对这些AI视频非常相信,甚至为它买单?反映出不少老年人线下生活是相对孤独的,也没有有效的陪伴,他可能通过数字世界的消费去满足自己的精神需求。这也意味着相关的社会工作、社区治理部门应该跟进,更多地为老年人提供线下关怀,加强对AI应用的指导,避免上当受骗。

来源:中央广播电视总台中国之声