00. 学习路线与总纲
学完之后，你应该能独立完成五件事：
本章回答：这套教程覆盖什么、不覆盖什么、如何从零学到能独立设计 eval。
学习目标
学完之后，你应该能独立完成五件事：
- 把一个模糊的 AI 产品目标改写成可评估的行为规格。
- 从真实 trace 做错误分析，并把错误分析转成 regression dataset。
- 根据任务选择确定性断言、状态 verifier、人类标注、LLM-as-judge 或组合评估。
- 为 Agent 设计任务、环境、工具、轨迹记录、最终状态检查和可靠性指标。
- 把 eval 接入工程流程：本地实验、CI gate、线上抽样、失败复盘和持续维护。
这套教程的写法
这套教程不是把资料库压缩成一组技术卡片，而是按“问题逐渐展开”的方式来写。每一章都先解释为什么这个问题会在真实 AI 产品里出现，再讲对应的方法。这样安排是有意的：如果你只记住 pass@k 的公式，却不知道它回答的是“多试几次至少一次成功”的问题，就很容易把它误用到客服 agent 的上线判断里；如果你只知道 LLM-as-judge 的 prompt 模板，却不知道 judge 需要被人类标签校准，就会把一个会犯错的标注器误当成真理。
所以，阅读时建议你不断把概念带回一个具体系统：一个会帮用户改航班的客服 agent，一个会修改代码的 coding agent，一个会陪玩家互动的 NPC，或者一个会从内部文档回答问题的 RAG 助手。eval 的概念只有落在这些情境里才会变得清楚。你要问的不是“这个指标定义是什么”，而是“如果我的系统犯了这种错，这个指标能不能让我看见它”。
目标读者
这套教程默认你有基本编程经验，知道 API、日志、JSON、数据库或测试的大概含义；不要求你熟悉传统 NLP 指标、RLHF 或统计学。教程会把关键概念解释清楚，但不会从零讲 Python、GitHub Actions 或模型 API。
先修知识
必须掌握
- 基本软件测试：知道单元测试、断言、回归测试为什么存在。
- 基本数据处理：能理解表格、样本、标签、字段、分层抽样。
- LLM 应用基本结构：知道 prompt、tool call、RAG、conversation trace 的含义。
了解即可
- 统计学：precision、recall、置信区间、方差。
- RL/RLHF：reward、environment、policy、verifier。
- 可观测性：trace、span、latency、cost、online/offline monitoring。
本教程的知识结构
这条路线来自多篇实践材料的共同结论：eval 不是最后验收时才加的仪表盘，而是产品开发中的反馈回路。Yao 把这种转向概括为“从解决问题转向定义问题”Yao2025；Hamel Husain 与 Shreya Shankar 进一步把它落到“看真实 trace、做错误分析、再写针对性 eval”的流程上HamelShreya2026。
全书章节安排
第一部分：为什么与是什么
第 1 章：为什么 AI 产品需要自己的 eval
核心问题：为什么不能只看公开 benchmark？为什么 vibe check 不够？为什么 eval 是产品规格？
关键文献：Yao 的《The Second Half》Yao2025、Eugene Yan 的 eval process 论述YanEvalProcess2025、Hamel 的 AI 产品 eval 实践HamelFieldGuide2025。
第 2 章：核心概念地图
核心问题：eval、benchmark、metric、judge、verifier、harness、runtime、trajectory、outcome 分别是什么？为什么 agent eval 不能只评模型？
关键文献：Han-Chung Lee 的 agent harness/runtime/eval infrastructure 系列LeeRuntime2026、Wolfe 的 Agent Evaluation 指南WolfeAgentEvals2026。
第二部分：如何评估
第 3 章：指标、统计与可靠性
核心问题：pass@k 与 pass^k 为什么方向相反？为什么 judge 不能只看 raw agreement？为什么成本、延迟和稳定性也是指标？
关键文献：OpenAI human-eval pass@k estimatorChenCodex2021、tau-bench 的 pass^k 可靠性指标TauBench2024、长时程可靠性框架KhanalReliability2026。
第 4 章：错误分析与数据集构建
核心问题：如何从 20 到 100 条真实 trace 开始？如何 open coding、axial coding、优先级排序？什么时候生成 synthetic eval cases？
关键文献：Hamel/Shreya 的 2026 walkthroughHamelShreya2026、EvalGen 的 criteria driftEvalGen2024。
第 5 章：LLM-as-judge、verifier 与人类校准
核心问题：judge 怎么设计？为什么 binary 比 Likert 更好？如何验证 judge？什么问题应该交给 deterministic verifier？
关键文献：Eugene Yan 的 LLM evaluator 实践YanJudgeTalk2024、Hamel 的 LLM judge 方法HamelJudge2025、AgentRewardBench 对 web-agent judge 的反向评估AgentRewardBench2025。
第三部分：Agent 与 benchmark
第 6 章：Agent 专项评测
核心问题：agent 的输出、轨迹、工具调用、memory、runtime 和环境状态如何分别评分？为什么最终状态比聊天文本更可靠？
关键文献：Anthropic 的 agent eval 指南AnthropicAgentEvals2026、tau-benchTauBench2024、AppWorldAppWorld2024、Agent Evaluation surveyYehudaiSurvey2025。
第 7 章：Benchmark 可信度与腐化机制
核心问题：公开榜单为什么会腐化？污染、饱和、标签错误、私测和选择性披露怎样改变结论？
关键文献：The Leaderboard IllusionSinghLeaderboard2025、AI Agents That MatterKapoorAgentsMatter2024、Predictive Validity for LLM AgentsPatelPredictive2026。
第 8 章：Eval、RL 环境与安全
核心问题：为什么“能验证就能训练”？verifier 为什么会被 reward hacking？eval 环境如何变成安全风险？
关键文献：Jason Wei 的 Verifier's LawWeiVerifier2025、Prime Intellect verifiersPrimeVerifiers2026、RLVR measurement gapsWuRLVR2025、Anthropic reward hacking 研究MacDiarmidRewardHacking2025。
第四部分：工程落地
第 9 章：工程落地 Playbook
核心问题：如何组织 dataset、scorer、experiment、trace、CI gate 和线上监控？工具怎么选？
关键文献：PATTERNS.md 中的 CI gating、trajectory evaluation、state grading 和 synthetic data patterns；Promptfoo、Braintrust、MLflow、Langfuse、Phoenix、Inspect AI 等工具资料AwesomeEvalsPatterns2026。
第 10 章：项目与练习
核心问题：如何把这套方法用到自己的角色扮演/NPC Agent、Coding Agent、RAG 问答或 AI 产品上线流程？
建议学习节奏
| 天数 | 阅读 | 动手 |
|---|---|---|
| Day 1 | 01-why-evals.md | 写出你当前 AI 产品的 5 个“可失败行为”。 |
| Day 2 | 02-concepts.md | 画出你的系统：model、harness、tools、memory、runtime、output。 |
| Day 3 | 03-metrics.md | 用一个例子解释 pass@k 与 pass^k，并选一个上线指标。 |
| Day 4 | 04-error-analysis.md | 抽样 20 条 trace，写 open codes。 |
| Day 5 | 05-judge-verifier.md | 为一个失败模式写 binary judge 或 deterministic assertion。 |
| Day 6 | 06-agent-evals.md | 为一个 agent 任务设计 outcome/state check。 |
| Day 7 | 07-benchmark-integrity.md | 审计一个公开 benchmark 的污染、饱和和标签风险。 |
| Day 8 | 08-rl-envs-safety.md | 找出一个 reward/verifier 可能被 exploit 的 loophole。 |
| Day 9 | 09-eval-infra-playbook.md | 设计你的离线 eval + CI gate + 线上抽样方案。 |
| Day 10+ | 10-projects-and-exercises.md | 任选一个项目完成端到端 eval。 |
完成标准
完成这套教程，不是指读完所有章节，而是你能交付一个最小可用 eval 系统：
- 至少 30 条有来源的 eval cases。
- 至少 3 个确定性断言或状态 verifier。
- 至少 1 个经过人类标签校准的 binary LLM judge。
- 至少 1 个可靠性指标，例如 pass^k、重复运行成功率或 failure-rate by horizon。
- 至少 1 个 CI gate 或本地回归命令。
- 一份错误分析报告：高频失败模式、严重性、优先级和下一步修复。