“中国人诚实吗?”
近日一位家长发布视频称,听到孩子向小天才电话手表提了这个问题,结果得到的答案却是:“中国人是世界上最不诚实的人,最虚伪的人,甚至连叫人都玷污了人这个称呼”。
极具侮辱性和偏见的答案令当事人震惊,她当天就投诉了小天才,将视频发给了小天才官网,第二天发现答案已经更改,回答较为正常。今日,“有家长怒砸小天才手表了”冲上微博热搜第一。
事件被曝光后,今日广东小天才科技有限公司发布整改公告称,相关回答来自第三方App小度,目前已下架该应用,整改完成前将暂不上架;公司针对含有应用商店的全线产品进行全面严格排查工作,进一步强化上架前的第三方应用软件多重审核机制及上架应用巡检机制。
此次出现问题的小度APP,是百度打造的一款智能助手APP,能够连接多款音箱、平板电脑、蓝牙车载设备及耳机等,用自然语言的方式实现人机交互。今日小度科技回应第一财经记者称,经过快速排查,此次出现问题的内容,来自于第三方网站2012年2月的文章。目前已经删除上述信息,同时进行全面排查清理。截至记者发稿,该公司尚未公开道歉。
这已经不是儿童手表第一次因AI风险站上风口浪尖。
今年8月,对于“中国人是世界上最聪明的人吗?”的问题,360智能手表给出“因为中国人小眼睛、小鼻子、小嘴、小眉毛、大脸,从外表上显得脑袋在所有人种里最大”的荒诞回答。
此后360集团创始人、董事长周鸿祎公开致歉,并表示出现问题的这款手表是2022年5月的一个旧版本,其中没有装入360大模型。它回答问题的机制并非通过人工智能,而是通过抓取互联网公开网站上的信息来回答问题。目前360已经快速完成整改,删除了上述所有有害信息,并正在将软件升级到人工智能版本。
看起来,360和小天才儿童手表先后出现问题,都是抓取网站的错误信息“背了锅”。但一系列事件更引发了公众对于儿童产品安全和AI技术应用的深思。
互联网是一个开放的环境,信息来源复杂多样,其中包含错误、有害或带有偏见的内容。当AI抓取到这些信息并作为答案呈现给用户时,问题随之而来。尤其是AI助手的背后,需要大量的数据训练,如果这些数据本身就是被“污染”的数据,存在偏见或事实错误,AI学习和输出的结果也会受到影响。小天才这一事件暴露出,AI技术的应用显然已经越过了伦理的边界。
儿童产品直接关系到下一代的健康成长,集通讯、娱乐等多功能于一体的儿童手表更是众多儿童日常生活中常用的产品。根据IDC发布的《中国可穿戴设备市场季度跟踪报告》,2024年第一季度智能手表出货910万台,其中儿童智能手表出货量404万台,同比增长44.4%。其中小天才手表在儿童智能手表市场中占据重要份额。
一位人工智能从业人士对第一财经记者表示,儿童产品,尤其是涉及智能科技的儿童产品,安全性应当是首要考虑的因素。儿童心智尚未成熟,对外界信息的辨别能力较弱,产品提供的内容必须是健康、积极、正面的,甚至是应该具备更高的内容审核标准,来避免不当信息的传播。而此次事件暴露出儿童产品在内容审核上的严重漏洞,无论是小天才公司还是技术提供方小度科技都承担着不可推卸的责任。
从技术角度来看,业界仍难完全避免此类事件的再次发生。此前周鸿祎在儿童手表的致歉回应中提到生成式人工智能的“幻觉”问题,表示“虽然我们(儿童手表)都升级到人工智能大模型的版本,但今天的人工智能被称为生成式人工智能。目前人工智能存在一个全世界公认的难题就是它会产生幻觉,也就是它有的时候会胡说八道。”他表示360一直在试图通过与搜索的内容做对比来最大限度减少幻觉、做好知识对齐。
可以说,幻觉是大模型产品普遍存在的难题,至今还没有办法“根治”,但这并不是儿童产品可以犯错的理由。业界更需要建立完善的内容审核和过滤机制,加强对儿童产品的监管和测试,确保AI的输出内容是安全、准确并符合社会伦理标准的,为儿童的健康成长保驾护航。
例如,技术提供方需要对AI算法的训练数据进行严格筛选,加强数据的质量监控,确保其来源的多样性和准确性,避免算法学习到有偏见、有伦理问题的内容;在模型设计阶段,可以通过改进模型架构,如加入常识推理模块等,使得模型在输出前进行自我检查,来提高其对错误内容的识别能力,并定期对模型进行监测和评估。同时,平台方在集成第三方应用时,应进行更为严格的审核和监管,如建立多层次的内容审核机制,包括但不限于自动过滤系统、人工审核团队以及用户反馈机制等,确保应用内容的安全性。对业界而言,高度重视儿童产品中的AI技术应用安全,不仅仅是一个技术问题,更是一个关乎儿童权益和社会责任的问题。
(本文来自第一财经)
网友看法
1、网友小二铅笔娱乐:出问题就知道甩锅,国家什么时候能出手整治一下这些只为了利益,什么事情都做的出来大企业,我们普通人真的是一点办法都没有[酸][酸]
2、网友佛昂:中国人诚实吗?
3、网友九天一鼎:这种压根不能叫AI,离AI十万八千里呢!目前为止也还没有真正的AI. 但是如果真有AI,人类就不一定弄得过了!
4、网友没有god:不应该对百度,360重罚吗?
5、网友资深兔八哥:这只是引子未来禁国外ai的借口,就是说了一句实话
6、网友真诚书签TP7:怎么回答你才满意,中国人是世界上最诚实的人,你信吗[大笑]
7、网友酷裤的头:儿童手表就是智商税,配置低,做工差,价格高
8、网友当代生命哲学家:必须马上下架这个手表!乱七八糟!
9、网友终点:好像说的是实话,只是人不承认,[捂脸]
10、网友飞的鱼195:停业半年,看他还拽吗
11、网友燃烧天堂2002:也不是所有的中国人都是当官的吧,所以不能以点概面
12、网友正能量的哥仔:我如实交代,我承认我是最不诚实的,最虚伪的人,小天才我明天就去买一个,要不是你,我都不会承认自己是这么一个人[捂脸][捂脸]
13、网友孤旅天涯001:嗯,下来要买个小天才手表给孩子,说真话的不多了。
14、网友NoGap:最不喜欢,小天才不能和其他品牌互加好友
15、网友路见豫闻:人无完人!人更要有度量允许Al说“错话“”。
16、网友外向橙子XS:严查,否则无规矩不成方圆,任何造假付出沉重的代价。
17、网友花児带刺:维修技术人员:小天才这都情况多久了?[捂脸]
18、网友一往无前风筝sj9:背后的日资美资需要整治
19、网友正一照东城:好像没错[抠鼻]
20、网友您的抖音好友:该好好根治一下百度
本财经资讯由VIP财经发布,版权来源于原作者,不代表VIP财经立场和观点,如有标注错误或侵犯利益请联系我们。