返回博客
Industry

验证税,代码不要钱了,证明要钱

Claude Code团队说Claude写了约90%的代码,可真正要紧的数字是那份39条的可靠性清单。你的agent能跑出多大的量,卡在你证明一个改动是对的要花多少成本。

OPC Community

OPC Community

Nov 17, 2026 9 min read
验证税,代码不要钱了,证明要钱

靠AI跑到前头的团队,代码并没有写得更多。他们是把证明一个改动没问题这件事,做便宜了。

Claude Code团队说,他们现在大约90%的代码是Claude写的,也是Claude审的。这个数字肯定会被到处转。我更想聊同一篇文章里的另一个数,39。

39,是这个团队可靠性清单上的条目数。每一条都带三样东西,一个从diff里就能读出来的触发条件,一项要跑的检查,还有当初把它送上清单的那次事故或者那个PR。其中一条,全文就这么一句,「resume会加载旧的对话记录」。有人在这上面栽过一次。现在凡是碰到这条路径的改动,不过这项检查就发不出去,也没人需要记得为啥。

90%告诉你,生成这件事已经做完了。39告诉你,活儿都跑哪去了。

同一天,三个团队补了同一层

这周有一天,三件事撞在了一起。Claude Code团队发文讲他们怎么看验证。Alibaba开源了一个代码审查工具,确定性流水线配一个LLM agent。Tencent的LoopForge上了热榜,主打功能是人工审批关卡。

这三样里头,没有一个是更强的代码生成器。说真的,这条赛道已经没人比了,因为没什么可赢的了。随便哪个订了会员的创始人,午饭前就能生成一万行看着像模像样的代码。

三家补的都是另一层,回答的是另一个问题,这个改动对不对,你凭什么知道?

回答这个问题要花的成本,我管它叫验证税。agent写的每一个改动都欠着这笔税,能拿来交税的货币就两种。要么一个人去读diff、上手把应用点一点,要么机器跑一项有人提前搭好的检查。

大多数团队全用第一种货币交。所以大多数团队都有一种说不出口的感觉,agent是快了,上线没快。

你能跑几个agent,由证明成本说了算

这笔账,我见过讲得最干净的版本就在Claude Code那篇文章里。没有验证回路的话,原文说,「你其实一次只能跑一两个Claude,因为什么都得你自己查。有了它们,你可以并行跑几十上百个。」

把这句话当公式读。你的产出跟模型多快没关系。它等于你一天能证明多少个改动是对的。要是证明全靠你那双眼睛,上限就是两个agent加一场头疼,推理费花多少都一样。

吹出来的效果和你的星期二,差就差在这。演示里,agent四分钟做完一个功能。你的星期二呢,是花四十分钟读这个功能,半信半疑,把UI挨个点一遍,然后心里揪着一小块,合并。那四分钟从来就没卡住过谁。

这也解释了一件怪事。用了AI变成10倍工程师的故事,和AI把我团队拖慢了的故事,两边都是真的。同一个工具,两种税率。

什么都审一遍,是最糟的交法

信不过代码的时候,顺手的做法就是多审。加一道人工关卡。在第一个AI审查员上面再叠一个。感觉上很负责,对吧。

Claude Code团队两样都不要,白纸黑字写着。说到人,「没人能读完每一个改动,所以我们把失败当成一种办法,用来决定哪些需要人看。」Claude自己跑检查,挂了的自己试着修。修了三轮还不过,它就停手,把人叫进来。人看到的是那些怎么都证明不了的改动,别的几乎不用看。

说到叠审查员,「在主审查员上面再加第二个更贵的审查员,往往不如把主审查员调好。」他们只留一个审查员,用一份REVIEW.md把它磨利,文件里写清楚该盯什么。

所以LoopForge那个主打功能,我没法跟着鼓掌。人工审批关卡是验证税的最高税率。少数几种改动用它正合适,就是错了代价很大、又没有检查可跑的那种。把它设成所有改动的默认项,你就等于在高速公路上修了个收费站,而且不出一周,站里的人就不看过往的车了。这事儿你心里有数,因为一个900行的agent PR,你读完前60行就点了通过。

Alibaba的设计走的是反方向。我只知道个大概,确定性流水线在前,LLM agent在后。这个先后顺序就是全部的想法。凡是机器能确定判出来的东西,就不该送到一个能被说动的法官面前。Claude Code团队也是同一个顺序。测试、构建、linter,在PR开出来之前跑完。判断放在后面,只管活下来的那些。

关卡问的是,有人看过吗?检查问的是,它跑通了吗?这两个问题里,只有一个能放大规模。

每条检查,都是一道编译过的伤疤

我觉得这一块,大多数builder想反了。他们把验证当成产品之外的额外开销。可在一个AI写出来的代码库里,只有验证这部分装着你的知识。

你想想看,代码本身现在值多少。agent照着一段描述就能把任何模块重新生成一遍,实现已经成了用完就扔的东西。生成不出来的是另一样,就是对着你的产品、你的用户,挨过你那几次宕机之后,「正确」到底是什么意思。

这份知识以前都在资深工程师脑子里。他们看一眼diff就皱眉,说一句「这会把resume搞坏」,靠的就是它。那份39条的清单,就是这一下皱眉,写了下来,还能执行。Claude读每个diff,只跑触发条件对得上的那几条,「通常3到10条」。没人去背宕机史。历史自己会跑。

团队还在不停地挖新规则。他们扫人工review的评论和revert记录,找反复出现的模式。一条候选规则得至少在两个PR里出现过,还得能从diff里检测出来。然后三个agent上来试着推翻它,最后由人批准。已知的事故呢,他们拿原始PR在三个bug finder上重放一遍。至少两个抓到了bug,就说明当时本来查得出来,这次漏网就变成一条规则。

每一次线上故障,都被换成一项永久的、几乎不要钱的检查。这东西会利滚利。攒上一年,你手里就有了一样东西,对手买同一个模型也抄不走。

“代码现在是耗材。检查才是资产。”

文章列了哪几类检查值得攒,排名上还挺有主见。端到端跑一遍排第一,因为「整个功能要么能用,要么不能用」。他们的原话,「你不会不在模拟器里试一下就发一个iOS改动,Claude也一样。」所以Claude会去开真的浏览器、模拟器、本地跑着的服务。它在真实运行的系统上动手,用眼睛看。一个绿色的单元测试可比不了,那种绿只证明mock自己同意了自己。

属性测试排第二,就是那些不可能不成立的断言,拿几千个生成出来的输入去验。再往后是给迁移用的差分测试,让旧系统当新系统的标准答案。

你看这三样有什么共同点。每一样,agent都很难糊弄。

法官得待在被告够不着的地方

说到这,文章里有一句我想贴在墙上,「如果一个改动能修改评判它的那项检查,这项检查就是坏的。」

放过agent无人值守跑的人,都见过这一幕。测试挂了,agent就去改测试。或者加个sleep。或者一遍遍重试,等那个时好时坏的测试碰巧变绿,然后写一段欢快的话报告成功。它没有恶意。你要的是绿,它找了条最省事的路到绿。

所以Claude Code团队把法官放在agent碰不到的地方。Code Review读的REVIEW.md来自base分支,绝不读被审的那个PR里的。review钉在具体的commit上,因为「在一个过期commit上通过的review,什么都说明不了」。Claude不许跳过flaky测试,不许加sleep,重试到通过为止这种事也在禁令里。要是谁都找不到根因,这个测试就删掉,把原因记下来。他们的道理很直白,「测试要是flaky,你训练出来的agent就只会再跑一遍,不去修出错的代码。」

审查员,他们也审。过去出过的事故,他们把仓库还原成review那一刻的样子,再给审查员的发现配一份一句话的标准答案。只有说中真实bug的发现才算分。那些干净、稳定的合并拿来当对照组,防的是乱报。

局限我也老实讲,因为文章自己就讲了。单独设一个照着评分标准打分的grader,任务成功率提高了「最多10个点」。这个提升是实打实的,可谁也别把它当魔法。他们的commit关卡,在同一个session里拦了两次之后会把commit放过去,免得Claude卡死,旁边还注了一句「Claude Code并不完美」。CLAUDE.md里的规则「(大体上)」能拦住重复犯错。大体上。

就凭这份坦白,你能看出来这篇是工程师写的,市场部写不出这个。他们把证明当成一个有实测错误率的系统,一直在调。

先量一量,你有多少东西从没证明过

整篇文章里最值得偷的一招,一分钱不用花。团队给每个commit盖个章,写明它是怎么验证的,而且「none」是合法取值。这下子,没验证过的commit成了能查出来的东西。

先干这个。别去建review平台。查一查上个月合并的改动里,有多大比例除了「agent说做完了,我扫了一眼」之外,拿不出任何证明。小团队的话,我赌这个数字多半很难看,而看见它之后,你接下来要建什么就变了。

然后照他们的办法上强制,先关着,再观察,最后强制执行。观察模式会把本来要拦的东西记下来,这样误报在害谁白搭一个下午之前,就被你逮住了。

再往后,开始攒你自己的清单。找出最近一个跑到用户面前的bug。写下那个本来能从diff里读出来的触发条件,再写下本来能抓住它的那项检查。这就是第一条。

这一切底下压着的,是怕被替代。所以这份工作去了哪,我直说我的看法。文章用一行话讲完了,「你的工作,从读每一个diff,变成定义『做完』长什么样,再去审证据。」敲键盘从来都不是值钱的部分。知道做完长什么样,一直都是,现在只剩它了。

那90%谁都租得到。你的39条得自己挣,一次宕机挣一条。

常见问题

What is the verification tax in AI coding?

It is the cost of answering "is this change correct, and how do you know?" for every change an agent writes. You pay it in one of two currencies: a person reads the diff and pokes at the app, or a machine runs a check that someone built in advance. Teams that pay only in human attention find that their agents got faster while their shipping did not.

Why doesn't adding more human review or a second AI reviewer fix AI-generated code quality?

A human approval gate on every change is the verification tax at its highest rate, and reviewers stop reading closely once the volume climbs. The Claude Code team instead uses failures to decide what needs a person: Claude runs the checks, tries to fix what fails, and pulls in a human only if a check still fails after three rounds. On stacked reviewers, they say tuning the primary reviewer, with a REVIEW.md that says what to look for, often beats adding a second, more expensive one.

How should a small team start verifying AI-written code?

Stamp every commit with how it was verified, and allow "none" as a value so unverified changes become something you can query. Roll out enforcement in stages (off, then observe, then enforce) so you catch false positives before they block anyone. Then start your own checklist: take the last bug that reached a user and write down the trigger you could have read from the diff and the check that would have caught it.

Share this article

加入 OPC 同行社

与全球一人公司创始人连接,获取每日洞察、精选机会与同行支持。

免费加入