01 智力没涨,能力涨了
Anthropic 做过一组长程实验。把自家很强的编程模型放进 agent 循环,配上工具和上下文管理,让它跨多个会话构建一个完整应用。
模型本身没问题。能写代码,会用工具,能理解应用。系统却栽在琐碎的地方。
有时它一口气铺太大,上下文中途耗尽,下个会话接手时只剩一个半成品和一笔糊涂账。有时更怪:新实例检查仓库,看到已经堆了大量成果,宣布项目完成。关键功能还缺着。
解法没有动模型一个参数。他们改了环境。第一个实例留下功能清单、进度文件和干净的仓库状态,后续每个实例开工先读这些工件,挑一小块未完成的工作,测试,提交,再把环境收拾成下一个人能看懂的样子。
智力没涨,能力涨了。涨的那部分来自模型外面。
这层东西现在被叫做 harness。它的定义可以很粗:Agent = Model + Harness,系统提示词、工具、文件系统、沙箱、记忆、编排,模型之外的都算。也可以很准:把一次转瞬即逝的推理,变成世界上持续存在的动作的机械。
02 失败要记账:四层归因
harness 的各类话题,听起来很散。上下文工程、记忆、权限、验证,像是四门课。
我更愿意把它们当成同一张诊断表的四行。一个 agent 系统出了问题,失败必然落在这四层之一。
认知失败。模型不会,推理出错,规划混乱。
感知失败。该进上下文的没进,不该进的进了。一条退款政策和一句客户留言,在 transformer 眼里都是 token,在业务眼里一个是规则、一个是待审数据。这个区分靠模型临场判断是不够的,环境必须携带来源、信任、身份这些语言之外的信息。
状态失败。记忆和状态被混为一谈。发票周一到达,周二被更正,周三批准,周四安排付款,这段历史是个故事。当前状态只有一行:已批 8240 欧元,审批完成,待付款。把长对话当数据库用,摘要会丢细节,失败的动作会被记成成功的。
权限失败。模型说退款完成。某份行业调查里有个刺眼的例子:一个退款 agent 关闭了 140 张工单,声称全部处理完毕,其中 41 笔根本没碰到支付接口。「退款已发出」这种文本天然长在成功对话的结尾,模型知道成功长什么样,系统要知道成功发生了。
这张表的用法在推论里:换更强的模型,只清第一层。后三层全是工程问题,而且随规模放大。
十六个模型实例并行写一个编译器、跑近 2000 个会话的案例里,真正难的全在后三层:任务分配、共享状态、并发冲突、过期信息、终止条件。这些是分布式系统几十年前的老问题,只是这回工人换了。
03 编程先跑通,靠的是验证机器
四层里最好治的是第四层,而编程恰好是治疗条件最好的领域。
软件天生自带验证机器。agent 可以声称 bug 已修,失败的测试会反驳它。它可以自信地重构,静态分析可以拒绝结果。编译器不关心模型多有把握。
于是好的 agent 架构长成了一个控制环:观察,推理,提议,授权,执行,测量,纠正。有人把其中的机制分成两类:一类在行动之前塑形,规则、规格、约束;一类在行动之后验证,测试、日志、编译器。
神经的部分负责灵活,外围的环境负责固执。
这个组合的价值,可能远大于把神经部分本身打磨得完美可靠。
04 我对这套叙事的两点保留
方向我认同。但有两个地方要泼水。
第一,「系统比模型重要」说过头了。 准确的关系是:模型决定能力的上限,系统决定能力的下限,以及这个上限有多少能真正交付出来。一个弱模型配上极好的笼子,你得到的是一只稳定的弱模型。笼子扩大的部分,仍然要靠笼子里的东西。
第二,这套叙事的证据几乎全部来自厂商自述。长程实验是 Anthropic 讲的,退款案例出自 Oracle 的白皮书,十六实例写编译器的工程细节没有独立复核。厂商讲这个故事有明确的激励:模型商品化了,讲 harness 的故事对平台方有利。
方向可信,数字打折。这八个字够用了。
05 和你的关系
三件事值得落到实处。
选型的时候,把单位换掉。问「哪个模型最强」会得到一个跑分答案,问「哪套模型加系统在我这个场景里交付最稳」才会得到能用的东西。以模型品牌为单位做验收,等于给程序员发工资时只看学历。
国内 toB 的文化里其实有现成的底子。验收单、签收、留痕,这套东西本来就是以状态为准,天然对齐 harness 的思路。真正缺的是把这条纪律接到 agent 上。反面教材已经很多:聊天记录当交付物,模型说做完了就算做完了。
个人层面有一条可以立刻用的分界线。把你手上的事拆成判断型和记账型。这封邮件什么意思、这两个文档相不相关、先查哪个 bug,判断型的,放心交给模型。这笔钱批了没有、这单货发没发、这个权限给了谁,记账型的,必须落到表格、单据、提交记录里,一个字都别让它口头汇报。
模型越来越擅长前者。后者的价值不会消失,只会更显眼。
智力在模型里。
能力在系统里。
你的 agent 上一次「声称完成」的时候,你是怎么验证它真的完成了?
参考原文链接:https://medium.com/aiguys/the-model-is-no-longer-the-system-7e9da61481bd
本文话题 #AIAgent #Harness #AI工程 #上下文工程 #模型评测 #系统设计 #AI落地 #技术趋势