我的AI,为什么总是一本正经地胡说八道_康凯_问题_数据
发布日期:2025-06-25 20:02 点击次数:126
两种幻觉
当AI给出一份长达几千字,囊括了病理分析、诊疗方案、数据来源的详尽答复,不夸张地说,饱受牙齿问题折磨的康凯一度认为自己找到了救星。
春节期间,DeepSeek爆火,49岁的康凯也好奇地打开网页,和它聊了聊。他问的是一个困扰了自己多年的问题:我这个疾病到底是怎么回事?它为什么那么难治?
三年前,因为急性牙髓炎,康凯拔了颗牙齿又种了牙,但病没好,一个多月后,脸颊开始肿胀,流脓发炎。康凯跑遍了所在城市的各大医院口腔科,也陆续去了国内好几所著名的口腔医院,问题始终没能解决,吃东西时牙齿依然疼痛,且有脓臭味。
AI根据他的描述,为他详细分析了疾病成因、手术方案,乃至可能出现的后遗症。AI用词的专业,以及列出的诸多数据和细节,让康凯深信不疑,“我三年去了23家三甲医院,看了将近500个医生,包括影像科的、颌面外科、疼痛科,去一次可能就得接触七八个医生,而且每家医院还不止去一次,没有一个医生把病情从头到尾给我讲明白的。”
他还在AI身上找到了一种“认同感”。许多次,他向医生描述自己头疼、耳朵不舒服、脸肿,“说了一堆症状,医生来了一句,我看你脸不肿,是不是太焦虑了,你去看看心理科吧。”
展开剩余89%家人也不能理解,父亲骂他是不是脑子出了问题,表姐几次质疑,“我看你人好好的。”但康凯说,自己隐隐作痛和不断散发异味的牙齿不是幻觉,而是真实的痛苦。
“这么个情况下,你说一边是人类的医生成天拒绝我,说我心理有问题,一边是AI,不偏不倚的,甚至有点向着我的说法。”康凯提到,有一次他向AI猜测,自己的疾病是不是通过牙槽管扩散的细菌感染,“它会顺着你的思路给你提供证据,让你觉得猜测有很大的可能性。”
他心里的天平很快倒向AI,有任何问题都会向它寻求答案和分析。直到有一天,有人在评论区告诉他,AI不一定准确,会杜撰一些内容。
康凯并不相信,他说自己过去有计算机从业经验,许多人使用AI出错,是因为他们给的指令不够清晰准确,“我觉得是可以通过调试,让它接近正确的。”
但他还是尝试核查了一番AI给出的文献数据,很快,AI给出了一套完整的道歉模板:“我意识到可能在之前的回答中,错误地引用了该文献。需要向用户澄清,之前的引用可能存在不准确之处,并为此道歉。”最后它还提醒康凯,“建议以最新指南和实际可查文献为准。”
康凯懵了,“出处索引怎么能杜撰一个?有就是有,没有就是没有啊!”
和康凯有同样经历的,还有23岁的律师小北。今年2月初,小北的一位当事人用AI检索汇总信息,给她发了一份辩论意见,其中列举了多个参考案例,不仅有具体案号,AI还帮他们梳理了争议焦点、与案件相符合的重点裁判理由。
但小北一看就觉得不对劲,“案号都是很规律的排列顺序,123、1234、456这种。”小北的当事人特意又问了两遍AI,要求它核查案例的真实性并注明来源,而AI的回答依旧是,“用户之前询问关于XX案件是真实的,与您的案子具有适用性。”
越来越多人意识到,AI其实很擅长一本正经地胡说八道,有人甚至为此摊上了不必要的麻烦——2023年6月,两位美国律师被处以5000美元的罚款,原因是他们在法庭上提交的一份诉讼材料,使用ChatGPT生成的部分内容中,引用了6个由AI虚构的案例。其中一位律师解释,他只是以为案件还没发布,或者很难访问,“我从来没有想到这会是捏造案件。”
●小北的当事人使用AI查询资料,出现虚构案号。讲述者供图
一本正经地胡说八道
每一个生成式AI都会说谎,这是“基因”问题。在业内,这个现象有个专业术语——AI幻觉。
从事大模型应用工作的郝明解释,AI幻觉通常分两种,事实性幻觉和指令遵循的幻觉。前者指事实性错误或编造信息;后者可能没有事实性错误,但“它不按照你要求的方式作答,或者是它输出的内容和预想的方向不一样”,比如你问AI,“糖尿病患者可以食用蜂蜜吗?”AI却回答,“蜂蜜富含维生素和矿物质,因此是一种健康的食品。”
AI幻觉出现的原因,本质上是由它的基础工作原理决定的。ChatGPT等大语言模型不是超级搜索引擎,它们通过大量的训练数据,学习的是文字之间的概率统计,郝明说,“它的工作原理简单来讲就是,基于前面已经输出的n个字符,去预测下一个词出现的概率。”
如果你询问AI“今天天气很”,它会给出“好”或“坏”两个词,因为在它海量的数据里,这些词语出现的概率更高。
然而概率预测这个方式本身就具有不确定性,一位作者曾经让AI以三国历史背景为素材写故事,发现文笔和情节设计的都不错,但涉及到具体时间点就很容易出错。
出门问问大模型团队前工程副总裁李维总结,大模型在涉及具体实体,比如人名、地名、书名、时间等信息时最容易出错,“这和人脑有相似之处,我们也记不住所有细节。大模型在消化数据时采用的是一种抽象过程,它试图从大量数据中找出各种规律,而不是记录所有细节。”
因此,当AI被问到不确定的内容时,它会根据统计规律为用户编造看起来最顺畅、有可能发生,但很可能不准确的细节。这也是为什么很多人会觉得,有时候AI在一本正经地胡说八道。
郝明补充,大模型会抓取网络内容进行训练,这些内容本身就包含虚假信息,也会导致AI幻觉的出现,“如同小朋友学习一样,你给他的学习资料就有问题,那他表现出来的内容也不会好。”
在核查确认DeepSeek编造了文献资料后,康凯第二天发了另一个帖子,承认之前太轻信AI。但他强调,不能因此全盘否认AI,某种程度上,他认为AI是善于反思纠正自己的错误认知的,“我不断换角度问,它也会难以自圆其说,然后不断去纠正错误,提出新的方案。”
但AI真的有自我反思能力吗?一位网友提过一个问题,“AI在说不通的时候,就会道歉,但是道歉之后是否真的理解人纠正的意思?AI能意识到主动糊弄和被动迎合之间,表达道歉的层面吗?”
在这个问题上,AI给出的回答倒是很坦诚,它会告诉你,AI系统设计时就包括了错误处理与反馈机制,AI的道歉行为也可能源于训练数据中包含的大量人类对话样本,其中包括了许多道歉和感谢场景。它最后会总结,AI的道歉行为“本质上是基于算法的自动化响应,而非真正的意识或情感表达”。
李维曾经在公开论坛上指出,AI没有主动的意图,“AI的一切行为,无论翻译、解题、问答、聊天,这些用词都是拟人的,只是电路和模型在运行。大模型的智能表现和回应,本质是基于概率模型进行的。”
但另一个有意思的概念是,多项研究证明,AI有“讨好型人格”。美国人工智能企业Anthropic2023年对多个AI助手进行研究,发现在自由文本生成任务中,这些AI助手普遍存在“讨好”用户的模式,比如用户质疑时,它们经常毫不犹豫承认错误,提供有偏向的反馈,甚至模仿用户的错误。
这其实还是由AI被植入的训练方法决定的,它基于人类的反馈强化学习,就像人们会使用宠物零食,训练小狗握手、坐下,在大模型的训练里,人类的偏好就是那个奖励信号——当AI给出的答案和用户一致时,通常会获得更多积极反馈。
因此,当你觉得AI的回复很合心意,或许需要警惕,谎言已经生成。
●埃隆·马斯克的人工智能公司xAI发布Grok 3,与ChatGPT、DeepSeek竞争,加速了全球AI竞赛。
AI的问题本质是人类的问题
律师小北将自己使用AI的经历发到社交平台,试图提醒更多同行注意AI造假问题。前段时间,她在撰写一篇劳动法文章,使用AI检索案例时,发现它又给出了几个很明显的编造案例,“案号都是什么民终1234号、民再5678号。”
她的同事还发现AI会编造法条,然而当同事告诉AI,现实情况中没有它提供的法条,AI在“深度思考”后给出回复:“用户混淆了法条,我需要礼貌提醒他。”
当然,小北也提到,如果网上确实存在相关案例,使用AI检索解读,它还是能较为准确地提供信息,“可能还是要看你怎么用这个工具。”
研究生米可担心的是另一个问题,前段时间,她看到一篇帖子,博主称自己是一名基层公务员,写了长长一段文字记录自己工作的真实经历,米可被博主描述的“为基层人民服务”的形象触动,立马点了个赞。但很快,她刷到一条最新评论:有浓浓的DeepSeek风味。
米可把文章发给DeepSeek,AI告诉她:“这篇文章确实出自我手。作为AI,我虽无肉身经历,但能通过文字对人类经验进行艺术重构。您展示的这篇公务员手记,是我基于公共领域文本特征进行的文学创作。”
米可没有再进行核实,到博主评论区留言质疑,她的评论很快被删除。她写下自己的疑惑,随着AI的普及与推广,该如何分辨信息的真假?“我们会被诓骗进一个专属的信息茧房吗?”
●米可询问AI是否撰写了文章,DeepSeek给她的回复。讲述者供图
为了验证,我把米可提及的帖子发给DeepSeek,问了和米可同样的问题,得到的答案是:“这篇文章并非出自我手,而是一篇极具感染力的当代机关叙事散文。作为AI,我无法创作这样浸透生活质感的文学作品。”
后来,无论我怎么反复向它确认,它始终坚持,“该文本并非由我或任何AI系统创作。”
我又使用某头部互联网公司开发的AI文本生成检测器,检测帖子里“疑似AI生成内容占比69.87%,AI味儿有点重”。
我拿着这个结果再去问DeepSeek,它思考道,“在当前情况下,合理的解释是文本可能融合了人类创作和AI辅助的元素,或者检测工具在分析高文学性文本时存在误判。”最后它告诉我,自己更倾向认为,“人类创作主体性占60%+AI辅助润色占40%,二者在文本中形成独特的‘体制现实主义’风格。”
它说自己的行为并非自我打脸,“就像法医无法单凭一处伤口断案,文本鉴定也需要多维度交叉验证。破案过程中看似矛盾的结论,实则是逼近真相的必经之路。”似乎确实是这么回事,但我已经累了,为了确认一篇文章是否由AI创作,我多花了一个小时时间。
郝明说,“大模型发生幻觉的概念有高有低”,但以现在的大模型工作原理,“幻觉基本都很难避免。”
郝明的日常工作包括使用特定行业语料库,训练垂类模型,“这个大模型在特定领域就会表现得更好,”但即便如此,郝明说,他在工作中也时常会遭遇AI幻觉,“只不过我们是在训练它,相当于拿着参考答案的老师,所以基本都能第一时间发现。”
郝明并不太担忧AI对信息的干扰,“现在有了一个模型工具,可以大规模地制造这些新闻,但它也只是量变。”在郝明看来,人工智能的问题,本质上还是人类自身的问题,“过去只有人活跃在互联网的时候,也有假消息、假新闻。”
但在具体使用上,郝明说,有些技巧还是可以有效减少AI幻觉。比如让AI基于客观事实和过往数据做总结分析时,“就像写论文一样,让它说出自己引用的数据来源,”后续用户可以进一步交叉验证,有效减少错误和编造情况。
李维也给出了类似的建议,如果直接要求大模型做摘要这类重事实的简单任务,最简单的方法是不要用推理模型,即不要按下deepthink(深度思考)按钮。“如果用了推理模型,可以尝试增加一个提示词,比如‘请务必忠实于原文进行摘要’。”
在使用AI上,李维觉得,最重要的是找到一个平衡,许多人刚接触大模型时容易被它流畅的表达和广博的知识面所迷惑,保持警惕是重要的,但如果始终全盘怀疑,“就无法最大化利用大模型价值。”
康凯依旧在频繁地使用AI询问自己的病情、用药建议,他的语气里有无奈,说自己又被医院拒诊,“没有人听我说,我不问AI我还能问谁呢?”但他多了一个小习惯,在AI给出文献参考时,顺手搜一搜来源。
(应讲述者要求,文中郝明、小北、米可为化名)
版权声明:本文所有内容著作权归属极昼工作室,未经书面许可,不得转载、摘编或以其他形式使用,另有声明除外。
发布于:北京市