「它跑过了」不代表「它成功了」:我们如何终结静默失败

自动化里最危险的一句话:「它跑过了」

只要你做过任何 AI 自动化——帮你查邮件的 agent、每天早上抓数据的爬虫、自动发内容的机器人——你大概都体会过那种隐隐的不安:它现在到底还在正常工作吗?

几乎所有人都会掉进同一个陷阱。你的自动化设定成每天早上运行。它运行了。它没崩溃。日志写着「完成」。仪表盘是绿色的。于是你认定它没问题,就不再盯着它了。

几周后你才发现,它整整一个月什么都没产出。爬虫的数据源换了格式,所以每一次运行抓回来的都是空页面——但「抓回来是空的」并不算报错,所以这个任务每一次都「成功」了。从头到尾都是绿的,也从头到尾都是坏的。

我们亲身经历过。我们的一个内容管道绿了好几周,一边吞进真实的素材,一边把其中零份转化成产出。定时器触发了,代码跑完了,状态显示健康。而真实的业务结果是:什么都没有。

这就是静默失败——它比一次响亮的崩溃危险得多,因为崩溃会告诉你它坏了,而静默会让你以为一切都好。

为什么定时器永远无法告诉你真相

最核心的错误,是让定时器去确认工作。定时器只是个闹钟。它能把任务叫醒,却无法证明:

• 任务真的启动了,
• 任务真的理解了它该完成什么,
• 那个对外的动作(发帖、发邮件、写记录)真的落地了,
• 或者你想要的那个真实结果真的发生了。

「代码跑完了」和「任务达成了目标」是两个完全不同的说法。大多数自动化永远只检查第一个,然后就拿它来汇报成功——这就是那个谎言。

一条铁律解决问题:没有人能给自己批改作业

我们改的所有东西,归根结底只有一条原则:

执行任务的那个程序,永远不是判定任务成功的那个东西。

干活的负责干活。一个独立的、分开的检查者去看现实,判断目标到底有没有达成。如果这两者是同一段代码,你得到的不是核实,而是一台机器在自我认同。

下面是把这条原则落地的五个纪律。无论你在做什么,每一个都能套用。

1. 心跳信号——让「安静」变成警报

每个自动化在每次运行时,都写下一段简短的「我还活着,而且我做了这些」的信号——不只是「ok」,而是真实的数字:我吞进了多少,我实际产出了多少?

真正巧妙的不是这个信号本身,而是这个反转:我们不在「出错时」报警,而是在信号安静下来时报警。如果心跳停了,就说明有东西暗了——而「暗」现在是有罪推定,除非被证明无辜。安静,就是警报。

2. 以证据为准的「完成」——绿色对勾不算证据

我们不再让任何任务给自己标「完成」。现在的「完成」意味着一个独立检查确认了真实结果:

• 发布了一个页面?那个公开网址必须真的能打开、并显示预期内容——而不是「系统说发布成功了」。
• 发了一条消息?它必须真的存在于已发送记录里、并带有送达状态——而不是「工具接受了请求」。
• 生成了一张图?那个文件必须能打开、并通过相关性检查——而不是「返回了一个文件路径」。

工具返回一个「看起来成功」的响应,是弱确认。把真实结果读回来核对,才是强确认。我们只接受强的。

3. 死人开关——抓住那个「根本没跑」的任务

心跳能抓住「跑了但失败」的任务。但如果一个本该存在的任务,静悄悄地压根没触发呢?心跳抓不住它——因为那里根本没有任务来汇报任何东西。

所以我们有一个单独的看守者,它唯一的职责就是察觉本该发生却没发生的工作。它知道什么该在什么时候运行。如果某个本该报到的东西没报到,这个「缺席」本身就变成了警报。

4. 无进展检测——别再重复一个行不通的计划

这一条很微妙,也是大多数系统(包括我们的早期版本)漏水的地方。当某件事失败时,幼稚的反应是下一个周期再试一遍同样的东西。再一遍。再一遍——永远「还在失败,还在失败」。

把同一个坏掉的计划重试一万遍,不是坚持,而是死循环。所以在几个周期都没有真实进展之后,系统现在被强制换策略,或者升级给人处理——它被禁止悄悄地重跑那个已经不管用的计划。在错误的事情上更努力,依然是失败。

5. 诚实的结束状态——一个目标永远不能凭空消失

每个目标都必须以四种诚实状态之一收尾:

1. 已核实成功——有证据,证明做完了。
2. 仍在进行——真的还在推进。
3. 被阻塞——停下了,并有一个明确、具名的原因。
4. 失败——附上为什么失败的证据。

不允许存在的,是第五种状态:悄悄消失。部分完成的,就一直标着「部分」。未知的,就一直标着「未知」。「我还不知道」是完全可以接受的答案——而编造一个自信满满的「完成」不是。

真正的启示:这是管道工程,不是智商

这里有一点会让很多人意外:以上没有一样需要更聪明的 AI 模型。一个更强大的模型,救不了一个没有心跳、没有独立核实、没有死人开关、没有诚实结束状态的自动化。它只会失败得更有文采。

一个自主系统的质量,由它的管道工程决定——它的核实、它的证据、它对「自己不知道什么」的诚实——远比里面装的是哪个模型更重要。

所以如果你现在正在做 agent 和自动化,对每一个都问一个不舒服的问题:如果它静默地停止工作了,我到底要怎样才会知道? 如果诚实的答案是「几周之后,偶然发现」——那你还没有一个可以信任的自动化。你有的,是一个正等着骗你的绿色对勾。

先把管道搭好。然后你才能真的睡个好觉。