AI 整理的报告读着很顺,你验得出它的错吗?
一份写了来源却没人去核的二手讲座纪要,被守夜人拆成四道验收题。
阅读时间约 11 分钟 · 主讲:格林格·金 · 标签:#先测后判 #交叉核验 #守夜人 #安全边际 #负债边界
一份结论写得越顺,越需要解释这份顺从哪来。守夜人审任何外部材料只问四句:原件在哪、哪句是事实、数字有没有口径、照做最坏会怎样。真正被外包出去的不是答案,是「发现它错了」的能力——会用工具的人在增加,能验收工具输出的人没有同步增加。工具会换,尺度不会换。而第一题最常见的答案,不是「查不到」,是「没去查」。
序幕 · 一份写得比原文还顺的材料
周四傍晚,值班室。安德路把平板推到桌子中间,屏幕上是一份排版整齐的长文:九个小节、两张对照表,还配了中英对照。
安德路 一份大模型整理的主题报告,讲规模、AGI 和产业未来,最后还有一节讲教育。结构挺漂亮,我一路读下来没卡过。
深索道 哪一段最值得聊?
安德路 大概是说有效方法放大之后,会冒出小尺度下看不到的新能力;还有一节讲他自认看错了教育——技术跑得快,学校改得慢。
格林格·金 先别急着评它对不对。回答我一句:这是原始记录,还是别人替我们读过的?
安德路 ……是整理过的。按「主题报告」重排的,不是逐字稿。它开头写了是哪门课、谁讲的,但没给时间,也没给链接。
安德路 说实话,我读完就想转给几个人,压根没想过要去查底下有没有原件。
格林格·金 那今天不聊那场讲座,聊这份东西。不过第一题现在就做,不留给读者当作业。
深索道 我查了。这份稿子原本写着是哪门课、谁讲的——为了不把它写成讲座纪要,下面不点名。但方法可以照抄,三步:第一步,把稿子里那个专有名(课名或讲者)拿去搜;第二步,挑一句它最可能被整句转引的话,做交叉验证——如果搜出来的内容对得上,说明是同一场;第三步,看有没有公开录像或逐字稿,时间、场合、讲者三样都对得上,才算找到。不到五分钟,底下确实有完整录像。
格林格·金 看清刚才这一步。写了来源,不等于核过来源。我们差一点就把「我没去查」写成了「它查不到」——而后面那句,读起来特别像一条结论。
安德路 所以它其实是可核的。
格林格·金 可核,不等于今天要转述它。接下来四幕,我仍然不引用里面任何一句话、任何一个数字、任何一个人名:不是因为它们一定错,是因为今天要练的是验收,不是搬运。查到原件,只让我们有资格谈它;没查,连谈的资格都还没挣到。多数人卡住的地方从来不是「查不到」,是它明明在,而那五分钟没花。
第一幕 · 顺,本身就是一个需要解释的现象
深索道 有意思的是,材料第一节讲的那个道理,借来用在「转述」上,比用在模型上更准:一样东西被放大、被重新组织之后,会冒出小尺度下没有的属性。
格林格·金 一份材料被整理成报告,长出来的那个属性叫笃定感。整理者其实做了三件好事,同时也做了三件危险的事。
格林格·金 第一,补上原文没说的连接词。原本两句话只是先后出现,一补「因此」,就变成了因果。第二,把「我认为」「可能」这类词收掉,句子干净了,判断也就变成了事实。第三,把散落的段落排成递进结构,读者会顺着读下去,把编排顺序当成了论证过程。
格林格·金 每一处都让文字更顺,每一处都离可核验更远。顺不是证据。顺是别人替你把犹豫删掉了。
安德路 我们做模型管这个叫平滑。拟合曲线一平滑,异常点就被抹掉了,图好看,汇报好讲。但异常点常常是最该停下来看的那一行。我吃过亏——回测曲线最顺的那一版,往往是过拟合,样本外一跑就露馅。
格林格·金 文字也一样。犹豫、限定、「这一点我没把握」,就是原文的异常点。整理得越干净,这些点越少,你越难看出作者当初在哪里其实没那么确定。
深索道 所以第一件事不是判断它对不对。
格林格·金 是把它拆回能查的样子。我来问四句,顺序不能反。
第二幕 · 四道验收题
格林格·金 第一题:原件在哪?能不能指到一份可回溯的载体——什么时间、什么场合、全文还是原视频。指得到,才有资格谈内容;指不到,就标「未核实」。指不到原件的结论,不能当论据,只能当线索。
安德路 可这份材料看着挺完整啊,有表格、有小标题、还有英文对照。
格林格·金 完整是排版属性,不是来源属性。你随手找一句最无害的——材料里有个「过去多久」的时间说法,连具体数字都显得不重要。但问一句:从哪天算起?按哪件事起算?谁算的?答不上来,这个数就不能用。去原件里能查到,那是另一回事;在这份稿子里答不上来,它就不该进你的论据链。连时间词都要过这一关,那些更重的断言更不用说了。
格林格·金 换成家里的事也一样。有人告诉你「现在提前还贷最划算」,第一句不是问划不划算,是问:这句话依据的是哪份合同条款、哪一天的利率表、哪种还款方式?给不出,它就只是个说法,不是结论。
格林格·金 第二题:哪句是事实,哪句是判断?逐句分两栏。事实必须能查;判断必须标明是谁的判断、在什么前提下成立。这两类混着写最危险,因为读者会自动替作者把判断补成事实。
安德路 举本站的例子?
格林格·金 「保障金按 36 个月必要开支设」——这是本站的机制设定,是定义,不是法规。「你家该按 36 个月留」——这是判断,得看你家的收支结构和收入稳定性。两句连着写,读的人会当成一条硬规定。定义不负责适配,适配得你自己做。
格林格·金 第三题:数字有没有来源和口径?一个数字要带三样东西才配叫数字:出处、时点、定义。少一样,不当数字用。
深索道 这条本站是有过教训的。校验器全绿,结论却是错的——因为校验器只负责「和真源一致」,不负责「真源本身对不对」。所以关于页写死了一句:校验器不定义事实。
安德路 所以我一直坚持把假设写清楚再算。算账是最便宜的验收训练——数字对错,当场能复算,不用等谁给结论。一个连口径都不肯写的数字,我宁可当它不存在。
格林格·金 第四题:如果我照做,最坏会怎样?结论要落到动作之前,先算反向:错了亏多少、能不能撤回、撤不回要多久恢复。
格林格·金 一条建议错了只是多花半小时,验收可以松一点;如果是签一份几十年期的合同、动用保障金、或者加杠杆,那前三题就得全部重做一遍。不可逆程度决定验收强度——这是守夜人最较真的一条。
深索道 四题里前三题是「查」,第四题是「判」。
格林格·金 顺序反了,就成了先信、再回头找理由。人一旦先信了,找理由这件事会做得非常出色——这才是真正难防的地方。
第三幕 · 被外包出去的不是答案,是验错的能力
安德路 材料最后那节讲教育,说最意外的不是技术走多快,是学校改得慢;担心学生把思考交出去之后,判断力会萎缩。这节我读完是有点被戳到的。
格林格·金 那一节是整份材料里最该留下的。但我要把它说得更准一点:问题不是「用不用」,是还验不验得出错。
格林格·金 会用工具的人增长得很快;能验收工具输出的人,没有同步增长。这个差,就是断层。工具越顺,这个差越大——因为顺会让人觉得没必要再验。
格林格·金 让工具替你写一封邮件、把一堆材料整理成纪要,都没问题,那是它该干的。但有四类事不能交出去:把一笔账从头算到尾;把一段论证用自己的话复述一遍;把别人算好的结果独立复算一遍;写下一句「如果它错了,我怎么发现」。
格林格·金 这些训练的目的不是产出答案。是保住「发现它错了」的那根弦。答案随时能再要一份,那根弦断了,给你多少份答案你都分不出来。
深索道 本站讲「先测后判」,多数人只记住了「判」。其实前半段的「测」就是验收——你得先有一把自己的尺,才谈得上判断。尺子外包了,「判」就成了别人替你选,只是你自己没察觉。
安德路 所以这不是反对工具。我天天用。我反对的是把输出当结论,而不是当成待验的草稿。这两个字的差别,在我这儿就是回测跑没跑样本外。
格林格·金 关于页那条口径,说的也是同一件事:关键数字以源稿为真源,校验器只负责验证与真源一致,不定义事实。工具越顺,这句话越要留在桌上。
第四幕 · 落到家里的两条规矩
安德路 说点今晚就能做的吧。
格林格·金 规矩一:结论可以借,原件不能省。家里凡是要动到负债、保障金、子女成长金、传承的决定,留一份自己核过的原始凭证——合同条款、当日利率表、保单页、银行流水。不是不信谁,是让三年后的自己还能复盘:当时到底依据了什么、那条依据后来变了没有。
深索道 这跟「修复资产负债表」是一件事的两面:账要能重建,依据也要能重建。只有结论没有依据的家庭财务档案,过两年就跟一堆截图没区别。
格林格·金 规矩二:给孩子留一类不许外包的题。不是禁工具——禁不住,也没必要。是保留一类必须亲手做完的功课:一道题从已知条件算到答案,一段话自己复述,一个结论自己去找反例。考的不是答案对不对,是他会不会抬手问一句「这是从哪来的」。
安德路 跟之前聊过的「高考后那个夏天」「留学这笔账该怎么算」是一条线。
格林格·金 是一条线。收个尾吧:工具会换,尺度不会换。今天递到你手上的是一份整理得很好的产业报告,明天可能是一份替你算好的人生方案。你不需要比它懂得多,你只需要保留一件事——在它把结论推过来的时候,还问得出那四句。
文中的金句
今日行动清单
- 给它定级:手边随便找一份你最近转发过的「结论型文章」,用第一题问一遍——先花五分钟找原件,再谈标不标「未核实」;没找过就别让它进你的论据链
- 挑一个数字:找出处、时点、定义。三样缺一,划掉,别用它算任何东西
- 自己复算一遍:打开负债压力测试或保障金测算器,把一条别人给的建议,用你自己家的数字跑一遍
- 留一道不许外包的题:今天给自己(或给孩子)留一道必须从头算到底、不用工具的题。练的不是答案,是那句「这是从哪来的」
先测后判,让数字说话。 打开负债压力测试,把一条外部建议放到自己的数字里验一遍。
❓ 常见问题
怎么判断一份 AI 整理的报告能不能信?
按顺序问四句:原件在哪、哪句是事实、数字有没有出处时点定义、照做最坏会怎样。前三句是「查」,第四句是「判」,顺序不能反。先花五分钟找原件,找不到不是判它错,是标为未核实、降级成线索。
标为「未核实」是不是就等于不能用?
不是。未核实只意味着它不能进论据链,仍可作为线索继续找原件。危险的是把它当成已核实的材料往下推结论——后面每一步都压在它上面,回头拆的成本很高。
这跟「先测后判」是什么关系?
是同一件事的前半段。多数人只记住「判」,其实「测」就是验收:先有一把自己的尺,才谈得上判断。关于页写死的口径是「校验器不定义事实」——四道验收题就是这句话在读到外部材料时的操作版。