Agent Evals 学习教程
这不是一份链接合集，而是一套按“小书”组织的中文学习教程。它把论文、文章、演讲、工具和实践模式整理成一条可学习的路线：先理解为什么 eval 变成 AI 产品的核心能力，再学习如何定义成功、采集样本、做错误分析、构造 judge/verifier、评估 agent 轨迹与最终状态，最后落到 C...
最后更新：2026-06-28
目标：从零建立一套可用于 AI 产品、Agent、RAG、Coding Agent 与 RL 环境的 eval 设计、实施、解释和维护能力。
这不是一份链接合集，而是一套按“小书”组织的中文学习教程。它把论文、文章、演讲、工具和实践模式整理成一条可学习的路线：先理解为什么 eval 变成 AI 产品的核心能力，再学习如何定义成功、采集样本、做错误分析、构造 judge/verifier、评估 agent 轨迹与最终状态，最后落到 CI、线上监控和可持续迭代。
如何学习
建议按顺序阅读。每章都包含：学习目标、核心论点、关键方法、示意图或表格、实践任务、常见误区和参考文献。你可以把它当作一个 2 到 4 周的学习项目：
- 开始前：先读 前言：为什么 eval 不是冷冰冰的测试，建立这套教程的叙事视角。
- 第 1 周：读
00到04，建立概念、指标和错误分析基础。 - 第 2 周：读
05到07，掌握 judge/verifier、agent eval 与 benchmark 可信度。 - 第 3 周：读
08到10，把 eval 接到 RL 环境、安全、CI 和产品迭代。 - 第 4 周：按
10-projects-and-exercises.md做一个完整项目，把自己的 agent 或 AI 功能接入 eval。
完整大纲
| 顺序 | 章节 | 你会学到什么 |
|---|---|---|
| 前言 | 为什么 eval 不是冷冰冰的测试 | 用更贴近产品和人的语言说明 eval 为什么是一种判断力，而不只是技术栈。 |
| 00 | 学习路线与总纲 | 本教程的完整课程表、先修知识、学习成果和项目路线。 |
| 01 | 为什么 AI 产品需要自己的 eval | eval 与 benchmark 的区别，为什么“定义问题”正在比“解题”更重要。 |
| 02 | 核心概念地图 | eval、benchmark、dataset、metric、scorer、judge、verifier、harness、runtime、trajectory、outcome 的关系。 |
| 03 | 指标、统计与可靠性 | pass@k、pass^k、TPR/TNR、precision/recall、成本、延迟、置信区间和可靠性指标。 |
| 04 | 错误分析与数据集构建 | 从真实 trace 出发做 open coding、axial coding、优先级排序、合成数据和回归集。 |
| 05 | LLM-as-judge、verifier 与人类校准 | 何时用 judge，何时写确定性 verifier，如何校准 judge，如何避免 bias 和 criteria drift。 |
| 06 | Agent 专项评测 | 轨迹、工具调用、最终环境状态、多轮用户模拟、runtime shift 和 agent 可靠性。 |
| 07 | Benchmark 可信度与腐化机制 | contamination、saturation、label errors、leaderboard gaming、predictive validity。 |
| 08 | Eval、RL 环境与安全 | “能验证就能训练”的边界，RLVR、reward hacking、verifier loophole 和安全评测。 |
| 09 | 工程落地 Playbook | eval stack、离线/线上评测、CI gate、观测、数据版本、工具选型和团队流程。 |
| 10 | 项目与练习 | 四个可完成项目：角色扮演/NPC Agent、Coding Agent、RAG 问答、AI 原生产品上线 eval。 |
| 附录 | 速查表 | eval 设计、指标选择、judge 校准、CI gate 和故障排查的快速查表。 |
| 附录 | 参考文献 | 本教程引用的核心论文、文章、演讲和延伸阅读。 |
全书主线
本教程围绕六个判断展开：
- eval 是产品规格，不只是测试脚本。 好 eval 把模糊的产品质量变成可讨论、可复现、可回归的行为规格。
- 先看数据，再写指标。 真实用户 trace 中的失败模式，才是 eval 数据集和 judge 的主要来源。
- 能用代码验证的，不要交给 LLM judge。 verifier、断言、状态 diff 和单元测试通常更稳定、更便宜、更适合 CI。
- Agent 要评估“做成了什么”，不只评估“说了什么”。 轨迹有诊断价值，最终环境状态才是很多任务的核心结果。
- benchmark 会腐化。 污染、饱和、标签错误、榜单治理和 harness 差异都会让公开分数脱离真实部署价值。
- eval 是活系统。 它要随着产品、用户、模型、工具、runtime 和安全边界一起演化。
图示索引
- Eval 闭环：从产品目标到数据、评测、错误分析、修复和回归。
- 核心概念图：model、harness、dataset、scorer、judge、verifier、outcome 的关系。
- Agent 评测表面：output、trace、memory、environment、mechanistic 的可评分面；runtime 作为运行基座单独管理。
- Judge 与 Verifier 光谱：确定性检查、状态验证、rubric judge、人类校准的取舍。
- Benchmark 腐化路径：从静态题集到污染、过拟合、选择性披露和榜单失真。
- Eval 工程栈：logging、dataset、scorer、experiment、CI、monitoring 的关系。
