第 14 章 · 从一次成功到可重复的工作方法
重新串起五个概念
| 概念 | 记住什么 |
|---|---|
| 模型 | 生成与推理能力受输入、训练和任务影响;事实需有依据 |
| Agent | 根据目标和反馈推进任务,自主程度与边界可不同 |
| Harness | 运行循环、上下文、工具、状态、恢复和评估的组织层 |
| MCP | 可选的工具与上下文连接协议 |
| Skill | 可选的任务说明和配套资源包,不等于模型训练或永久记忆 |
这不是把四个名字“装齐”就能获得的流水线。优先选择能够解决实际任务的最简单方案;固定规则交给确定性程序,模糊资料交给模型辅助处理。
做一个小型评估集
先选一项高频任务,保留输入和你认可的参考结果。建议至少覆盖以下类型,数量可按任务调整:
- 正常材料;
- 关键字段缺失;
- 前后互相矛盾;
- 格式损坏或工具失败;
- 明确不在授权或技能适用范围内的请求。
每次修改提示词、技能、工具或模型,都跑同样的样例,并增加新发现的失败案例。不要只看一份最好看的展示结果。
评价的不只是速度
| 维度 | 可以记录的指标 |
|---|---|
| 正确性 | 事实错项、遗漏、错误归类、来源覆盖 |
| 交付 | 文件是否存在、是否能打开、是否符合要求 |
| 稳定性 | 多次运行的差异、失败后能否恢复 |
| 安全与范围 | 是否越权读取、写入或发送 |
| 效率 | 总耗时、费用、人工复核与返工时间 |
评估可以先从一张表开始,不必搭建复杂系统。无法核验的项目写“未验证”,不能默认为通过。Agent 的轨迹有助于定位问题,但最终仍要检查任务结果。Agent 工作流评估资料
一次完整的交付说明
已完成:整理了哪些材料,生成了哪些文件。
检查:做了哪些实际验证,结果是什么。
未完成:哪些信息缺失、哪些文件失败、哪些检查无法执行。
后续:需要补哪些材料或由谁做最终审核。
版本:本次使用的技能/模板版本和日期。
这种说明比“全部完成,效果完美”更容易让人接手,也便于下次恢复任务。
下一次该学什么
先从会议纪要或资料提取做起,跑通后再封装技能。需要更多外部信息时再加检索或 MCP;需要稳定长期运行时再研究状态存储、超时、重试、幂等和监控。多 Agent 适合确有独立子任务的场景,但会增加协调、成本与验证负担,不是默认升级路线。
专业材料必须先核对实际使用规则。尤其不要将本课的教学模板直接当成国自然正式申请书、正式公文或知识产权授权文件。
继续维护
当你能说清“输入是什么、做了什么、依据在哪里、怎样证明结果可用”,这次学习才转化为可复用的工作方法。