长任务必须从已提交边界恢复,而不是失败后从头重跑。
图:恢复前先核对外部世界,结果未知的动作必须查询或对账;点击查看原图。
问题背景
生成式模型擅长处理模糊语言和提出候选方案,却不天然保证状态一致、权限正确或动作可恢复。讨论“长任务 Agent 的检查点与恢复”时,重点不应只是跑通演示,而是系统失败后是否知道发生了什么、能否安全继续,以及结果能否重复验证。
设计方案
在工具副作用前后建立检查点,记录输入摘要、调用 ID、幂等键和规则版本。
在“检查点协议”进入实现前,先标注输入来源、调用身份和数据等级;输出通过结构与领域校验后才允许进入下一步。涉及外部副作用时,执行记录必须包含稳定业务键和脱敏证据。
实施产物:检查点协议
检查点保存状态、下一节点、已提交动作和版本;恢复前核对工具回执;只重放未确认步骤。先在测试环境保存一条完整运行证据,再接入真实写操作;每次变更都必须能定位到配置、代码和数据版本。
1 | practice: |
示例只表达边界,不是可直接复制的完整框架配置。落地时应使用当前依赖版本的官方 API,并把超时、身份和审计接到现有基础设施。
实施步骤
- 选一个可回放的小任务,写清输入、成功条件和禁止发生的副作用。
- 实现“检查点协议”,把模型建议与真正执行隔离。
- 人工走通成功、拒绝和恢复三条路径,保存 run_id 与关键事件。
- 加入自动化回归,再用小比例非关键流量观察指标。
- 达到门槛后逐步放量;任一安全约束失败立即停止新任务并回退版本。
失败演练与验收
首要反例是:把内存对象直接序列化,升级后无法读取。不要只验证顺利完成;还要注入超时、重复请求、取消、无权限输入和依赖返回畸形数据。
本篇的硬性验收是:在每个步骤前后强制杀进程,恢复结果仍唯一。同时记录 恢复成功率、恢复时长、重复提交数。验收脚本应按结构化字段判定,不以“回答看起来合理”代替测试。
上线与回滚
“检查点协议”上线前要固定模型、提示、规则、工具 schema 与数据版本,并用影子或灰度流量比较旧版。若 恢复成功率、恢复时长、重复提交数 越过门槛,先停止新 Run,再处理在途任务,恢复旧组合后逐项核对未决副作用。
适用边界
当场景是“任务始终能在请求超时内完成”时,这套设计的维护成本通常高于收益。权限、金额、删除和一致性约束始终交给确定性代码,不能交给模型自行判断。
检查点必须绑定输入世界
| 内容 | 示例 |
|---|---|
| Run 身份 | run_id、tenant_id、任务类型 |
| 版本快照 | 模型、提示、规则、工具 schema |
| 状态 | 当前节点、已完成节点、终止原因 |
| 外部动作 | action_id、参数摘要、结果状态 |
| 输入指纹 | 文档版本、代码 SHA、资源 ETag |
检查点写入临时对象后校验摘要,再原子更新 latest 指针;读取时验证 schema、校验和和租户。状态数据与大体积附件分离,附件使用内容寻址,避免每步复制完整上下文。
恢复前重新核对外部世界:审批是否过期、资源版本是否变化、凭据是否仍有效。纯计算节点可以重放;已知成功的副作用节点直接复用记录;结果未知的节点先用 action_id 查询或对账。状态迁移升级需要版本化 migrator,旧检查点无法迁移时进入人工处理而不是丢弃重跑。
在每个持久化边界前后 kill 进程,同时注入损坏文件、旧 schema、对象缺失和并发恢复。使用恢复租约保证同一 Run 只有一个活动执行者;租约过期后接管者仍依靠幂等键防止旧实例复活造成双写。
第二轮实践复核
围绕“检查点协议”建立一个不接触生产数据的最小项目,固定运行时、框架、模型、提示、规则和工具 schema 版本。正文代码块若缺少完整依赖、导入或领域类型,应视为架构伪代码;只有放入示例仓库并通过下述命令的代码才标记为可运行。
- 项目验证:
运行项目既有的 schema 校验、契约测试与离线评测命令 - 回归夹具:把输入、结构化输出、工具轨迹和副作用记录为 JSON,用固定版本执行正常、拒绝、超时、取消与重复请求五组回归样本。
- 必留证据:run_id、版本组合、终止原因、动作幂等键,以及 恢复成功率、恢复时长、重复提交数。
- 通过条件:未批准写操作为零副作用;相同幂等键重复执行只产生一个业务结果;超时或恢复后状态可解释。
- 失败处理:先停新任务,再核对在途动作;回滚模型、提示、规则、工具与状态迁移的完整组合,不能只换回模型。
复用顺序
- 为“长任务 Agent 的检查点与恢复”建立确定性假工具,先跑契约与失败用例,不接触真实凭据。
- 围绕“检查点协议”接入只读能力,核对权限裁剪、脱敏字段和 Trace 完整性。
- 需要写能力时先输出 dry-run 差异,再绑定审批结果与一次性动作哈希。
- 以本文验收指标比较影子流量;达到门槛才放量,越线立即执行文中的组合回滚。
实践与资料复核日期:2026-08-22;框架 API 以锁定版本的官方文档为准。
参考资料
框架 API 会持续演进,复制示例前应再次确认当前版本。可持续的 AI 工程不依赖某个模型偶尔表现出色,而依赖清晰契约、可靠 Harness 与可重复验证。
评论