常识刊 · 第 2 期

它一本正经地编:AI 说的每一句话,都是"猜下一个词"猜出来的

编条款、编数字、编出处,还编得比真话更顺——这不是它偷懒,是它生成每一句话的方式决定的。看懂"它没有查、只有猜",你就知道哪些活能放心交给它,哪些活必须自己复核。

START

五种现象,其实是同一个动作

下面这几件事看着不一样,其实全是同一个动作的不同表现。

你感觉到的实际发生的
它给我编了一条不存在的法规条款它没有条款库可查,它是在生成"最像一条条款的一段话"
我问它某本书第几页写了什么,它答得有鼻子有眼页码和引文都是拼出来的——形状对,内容假
它给的链接点进去是 404网址也是生成出来的,只是符合网址该有的样子
我指出它错了,它立刻道歉,然后又编了一个新的它没有"我刚才错在哪"的记录,只是换了一条更像正确答案的路走
越冷门的问题,它编得越离谱这块材料越稀,它可依的模式越少,只能全靠外推

FRAMEWORK

它不是在查,是在猜下一个词

AI 写字的方式,说穿了只有一件事:看着前面已经有的内容,算出下一个词最可能是什么,写出来;再算下一个。一整段话就是这样一个词一个词长出来的。

它内部没有一张事实表可以核对。它有的是"哪些词经常这样连在一起"。所以对它来说:

  • · 真话和假话没有区别,只有顺不顺的区别;
  • · 一句编出来的话之所以像真的,恰恰因为它是按"真话通常长什么样"生成的。

它说得越流畅,越不代表它越有把握。流畅和正确是两回事,甚至没什么关系。

这个现象业内有个名字,叫幻觉

KEY

传了资料,也不等于它会照着答

很多人以为"我把文件传上去了,它就有据可依了"。不是的。上传的资料不会整份躺在它眼前,而是要先被检索出相关的几段、塞进台面,它才看得见。

于是就有了那个最常见的困惑:我明明把合同传了,它还是编。因为这一次没捞到相关那几段,它就退回老本行——猜。

这一节正好接住第 1 期:第 1 期说台面是有限的,这一期说台面上没有的东西它会自己补。两件事合起来,才是完整的那张图。

WHY

它不会说「我不知道」,因为它不知道自己不知道

你可能会问:它拿不准的时候,为什么不干脆说一句"这个我不确定"?

因为它没有那个开关。生成机制要求它必须给出下一个词——"空白"不在它的选项里。它也没有一个独立的检查员站在旁边看着,说"这句你没根据,别写"。

所以,和第 1 期完全同一句话:

没有警告,不代表没有问题。

补一句你会用到的:现在不少产品确实会加上"找不到就说找不到""先联网查一下"这类约束——那是外面套上去的规矩,不是它自己长出来的能力。规矩会不会生效、这一次有没有生效,你看不见。

RULES

五条守则

守则 1 · 分清"能编的活"和"不能编的活"

起草、改写、头脑风暴、换个说法——编一编无所谓,反正你要改。凡涉及条款、数字、人名、日期、出处,一律当成待核对的草稿,不当成答案。

守则 2 · 它给你的引用、链接、条款号,默认是假的

除非你点开看过。这不是不信任它,是它的生成方式决定的。

守则 3 · 与其问"有没有 X",不如把 X 贴给它

让它在你给的材料里找,比让它从记忆里掏,准确率不是一个量级的事。

守则 4 · 给它一条退路

在要求里写明"资料里没有就直接说没有,不要推测"——有退路可走,它不编的概率会明显提高。不写这句,它默认必须答。

守则 5 · 它道歉之后的第二个答案,不比第一个更可信

追问"你确定吗"往往只是让它换一种编法。要复核,回材料里核,不要向它本人核。

MYTH

三个常见误解

误解一:"它编,是因为这个模型不够聪明,换个更强的就好了。"

更强的模型确实编得更少,但不会归零——这不是能力问题,是生成方式。而且强模型有个反向的危险:它编出来的东西更像真的,更难被你一眼看穿。

误解二:"我给它足够多的资料,它就不会编了。"

资料多不等于捞得准。捞不到的那一次,它照样退回猜。真正要下功夫的不是"传得多",是"整理得让它捞得准"。

误解三:"问它一句'你确定吗',就能验出真假。"

验不出来。它旁边没有一个独立的检查员,你追问一次,它只是又生成了一段话而已。

NEXT

进阶:把复核变成流程,不靠个人警觉

如果你想更进一步:与其每次提醒自己"小心它编",不如把复核焊进流程里。

我们自己就是这么干的,三条做法可以直接借鉴:

材料先行

不问它"知不知道",先把权威材料递给它,要求它只在材料里作答。它的记忆是模糊的,你给的材料是清楚的。

出处强制

凡输出带事实,就要求它标出这句话来自你给的哪一段。标不出来的,就是它自己编的——这一条比任何检查都省事。

双通道核对

AI 起草、人核数字与出处,分工写死。把核对写进流程,而不是指望某一次特别小心。

一句话:它不是在骗你,它是在按"像真话的样子"生成——所以"这句是不是真的",永远不能外包给它。