金融界2024年10月11日发布:多款儿童电话手表被曝“胡说八道”，专家：就算降低智慧能级也要确保信息安全

8月30日，上述舆论风波还未平息时，广州一网友曝出另一款儿童电话手表也存在相同问题。该网友表示，去年6月从闲鱼上购买了米兔儿童电话手表，在看到儿童电话手表出现问题的新闻后，他随即测试自己孩子的手表，同样发现有歪曲历史、伤害民族感情的回答。事发次日，小米官方客服回复表示，官方正品手表不支持自定义回答，不会出现上述问题。

实际上，智能设备“胡说八道”并非首次发生，早在去年10月，就有家长反映，科大讯飞学习机存在诋毁伟人、扭曲历史等违背主流价值观的内容。那么，听起来高大上的智能设备为何会犯如此低级的错误，“胡说八道”的原因何在？

人工智能为何会胡说八道？

中关村智用人工智能研究院院长助理、首席产业研究员钱雨指出，传统的搜索引擎的逻辑是“检索”，根据关键词搜索网络上已有的信息，并将它认为和检索关键词关联性最强的互联网内容反馈给用户，但答案未必是最正确最合理的。这是部分智能设备“胡说八道”的重要原因。

钱雨的观点得到业内人士张成（化名）的认可，作为一家知名企业大模型技术负责人，他告诉现代快报记者，和传统搜索引擎相比，AI大模型会根据检索到的信息进行处理后，再反馈给用户，这样可以从一定程度上降低出错概率，但AI大模型同样也会“胡说八道”。

“大模型会通过词组进行联想，然后给出一个它认为的正确答案，这个答案对于用户来说却不一定是正确的。比如，你吃饭了吗和你饭吃了吗，我们通常认为表达的是同一个意思，但大模型就极有可能会联想出不同的意思。”张成称，这就是大模型同样会“胡说八道”的原因所在。

有没有办法防止AI瞎说？

“我们用9.9和9.11哪个数字更大这一问题去做过测试，结果很多AI产品给出的答案都是9.11大于9.9。我们把正确答案和规则告诉大模型，之后就不再出错了。”张成告诉现代快报记者，大模型就如同一个不断成长的孩子，需要用户在应用过程中，不断“喂”进正确内容，才能提高准确率，这种情况在智能问答类AI产品上的表现尤为明显，这也是降低AI产品瞎说的重要手段。

国内另一知名科技企业高管葛亮（化名）告诉现代快报记者，大模型的核心三要素是数据、算法和计算资源。而数据就相当于大模型的原材料，数据越大越干净，AI产品给出的回应就越准确。如果数据有问题，那么搭建起来的大模型同样会出问题。他据此认为，小天才儿童手表出现不当言论，大概率是因为其所指的三方软件引用的大模型数据库不干净（含有错误信息）所致。

“可以说目前国内的数据治理才刚起步，这需要一个过程。”葛亮如是说。

面向未成年人的AI产品，信息安全最重要

“一些特殊应用场景下，大模型还是可以通过训练尽可能避免出错的。”张成表示，尽管目前还无法根治通用大模型的“病症”，但在教育、企业生产等应用场景中，专业大模型却可以通过微调训练，加大人工排查等方式，达到近乎完美的状态。

对于儿童电话手表“信口开河”的病，可以这样治理。“收紧数据边界，增设敏感词拦截数量，加强人工检索等都可以产生比较好的效果。”张成认为，即便一些必要手段会让AI产品降低智慧能级，减少功能，甚至变得不“智能”，但对于儿童电话手表等面向未成年人的高科技产品，信息安全才是第一位的。即便降低能级也要确保所传递的信息准确无误，不能让有“毒”信息向未成年人蔓延。

对话AI：你为何会胡说八道？

多位专家在接受现代快报记者采访时表示，传统搜索引擎的反馈机制以及AI大模型的“幻觉”，都是造成AI产品胡说八道的原因。假如直接把采访专家的问题交给AI，它们会怎样回答？

记者：你会胡说八道吗？

360智脑：由于我是基于大量数据和算法进行训练的，我可能会产生错误或不恰当的回答，尤其是在处理模糊、复杂或多义性的问题时。

文心一言：我不会故意提供错误或误导性的信息，也不会进行无根据的猜测或臆断。由于我的知识和能力是基于现有的数据和算法，所以在某些情况下，我的回答可能会受到限制或存在不足。此外，对于一些主观性很强或需要复杂推理的问题，我的回答也可能不够准确或全面。用户在使用时需要结合其他渠道和自身判断来综合评估信息的真实性和可靠性。

记者：你为何会胡说八道？

360智脑：作为一个人工智能模型，我并不会有意地“胡说八道”。我的回答是基于我所接受的训练数据和编程逻辑产生的。然而，训练数据不足或偏差、理解错误、算法限制以及在执行创造性任务时，都可能导致我给出不准确或看似“胡说八道”的答案。

文心一言：如果训练数据中存在错误或偏差，那么我生成的回答也可能受到影响；某些复杂的问题或情境可能超出了算法的处理能力，导致生成不准确或不恰当的回答；由于自然语言处理的复杂性，我有时可能无法完全理解用户问题的含义或上下文，这可能导致我给出与用户期望不符的回答；此外，在受到网络延迟、服务器故障等外部干扰时，我也会回答不准确或延迟。