常识刊 · 第 3 期

它答的是旧的:AI 的知识有一条截止线

报的是去年的价格、引的是已经改了的规定、说某个功能"还没有"——它不是在骗你,是它的知识停在了某一天。看懂这条截止线,以及"联网查一下"到底查了什么,你就知道哪些问题不能直接问它。

START

五种现象,其实是同一条线

你感觉到的实际发生的
它报的价格、版本号是旧的在它学过的那批材料里,那就是当时的价格
它说某个功能不存在,可我明明天天在用那个功能是在它的截止线之后才上的
它引的规定已经改了,它还在讲老版本新版本从没进过它的学习材料
我问它现在的行情,它答得离谱它没有"现在"这个概念,除非有人把"现在"喂给它
同一个问题,昨天答对了今天答错有时它联了网、有时没联,两条通道给的是两种答案

FRAMEWORK

它的知识是一次性灌进去的,不是持续更新的

AI 的知识来自训练——把海量材料一次性学成模型内部的参数,学完就固定下来了。而材料的收集有一个截止时间,那之后发生的一切,它没学过。

它不是"记得旧的",而是"世界从那一天起,对它就停住了"。

还有一件反直觉的事:它自己不一定知道那一天是哪天——问它"你的知识截止到什么时候",它可能答错,因为那也是猜出来的(见第 2 期)。

至于为什么不每天更新一下:训练等于从头再学一遍,成本极高,不可能天天做。

KEY

「联网查一下」,查的不是它的脑子

当产品告诉你"已联网搜索",真实发生的事是:先去搜索引擎搜一遍,把搜到的几段网页文字塞进台面,它再照着这几段回答。它的脑子一个字都没变。

由此有三个你马上用得上的推论:

  1. 它答得准不准,取决于搜到的那几页准不准。搜到一篇过时的博客,它就照着过时的答,而且答得一样自信。
  2. 联网不等于每次都联。很多产品是"它自己判断要不要搜"——判断错了它就用旧知识答,而且不会告诉你这次没搜
  3. 答案里那几个链接,值得点开。那是你唯一能验的地方(和第 2 期守则 2 是同一条)。

WHY

它不会说「这条我不确定,可能过时了」

它没有时间感。旧知识和新知识在它内部长得一模一样,没有哪一条上面贴着"此条已过期"的标签。所以过时的答案和正确的答案,说出来一样自信、一样流畅。

第三次出现同一句话,因为三期讲的是同一个道理:

没有警告,不代表没有问题。

RULES

五条守则

守则 1 · 凡带"最新/现在/今年/多少钱"的问题,默认不能直接问它

先判断这个问题会不会随时间变,会变的一律另走通道。

守则 2 · 时效性问题,两条路二选一

让它联网并点开链接核,或者你自己把最新材料贴给它。别走第三条路(直接信)。

守则 3 · 把日期写进问题里

与其问"现在的情况",不如写"截至今天(把当天日期打出来)的情况"——既容易让它意识到边界,也方便你一眼判断它答的是哪一段时间的事。

守则 4 · 判断它到底有没有真的联网,看它给不给可点开的出处

没有出处的"最新消息",一律当旧知识处理。

守则 5 · 你们自己的东西,永远贴给它

内部规定、价格表、流程、客户名单——它从来没学过你们公司的任何一个字,指望它知道是没有道理的。

MYTH

三个常见误解

误解一:"它能上网,所以它知道现在的事。"

能上网是一个动作,不是一个状态。这一次搜了,不代表下一次会搜;而它不搜的时候不会说。

误解二:"我告诉它今天几号,它就知道最新情况了。"

你只给了它一个日期,没给它这段时间里发生的事。更麻烦的是——知道了日期,它可能反而更自信地编(这正是第 2 期讲的那件事)。

误解三:"模型每更新一次,知识就补齐了。"

更新会把截止线往后挪,但线永远在,而且离你用它的那一天,总隔着一段距离。

NEXT

进阶:把「时效」变成一道流程闸

如果你想更进一步:与其每次凭记性提醒自己"这个它可能不知道",不如在问它之前就分好流。

三条做法:

先分流再提问

把问题分成两类:稳定知识(原理、方法、怎么写)放心问;会变的事实(价格、规定、库存、行情)一律走材料或联网。

自有材料先行

价格、规定、流程这些既会变、又只有你们自己知道的东西,建成随时可取的材料。它不可能知道,只能你递。

出处即验收

凡是会变的答案,都要求带可点开的出处;没出处的不采信。验收标准写死一条,比每次判断省力。

一句话:它的知识停在某一天,而你的问题发生在今天——中间那段差距,得靠你把材料递过去补。