Agent Evals 学习教程

参考文献

Agent eval design, implementation, interpretation, and maintenance.

使用方式：教程正文和“延伸阅读”直接链接到原始来源；本文件保留 CitationID、原始 URL 和简要说明，方便继续深读。

总览与实践 Playbook

AwesomeEvals2026

  • 名称：Awesome Agent Evals
  • 类型：curated resource library
  • 原始 URL：https://github.com/benchflow-ai/awesome-evals
  • 贡献：全教程的资料地图，覆盖 eval 动机、基础设施、benchmark integrity、LLM-as-judge、agent eval、安全和工具生态。

AwesomeEvalsPatterns2026

  • 名称：Eval Patterns — a practitioner playbook
  • 类型：practitioner playbook
  • 原始 URL：https://github.com/benchflow-ai/awesome-evals/blob/main/PATTERNS.md
  • 贡献：LLM-as-judge、pass@k/pass^k、代码断言、错误分析、轨迹评估、状态评分、CI gate、可验证 reward、synthetic data 和抗污染设计的可执行模式。

为什么需要 eval

Yao2025

  • 名称：The Second Half
  • 作者：Shunyu Yao
  • 类型：essay
  • 原始 URL：https://ysymyth.github.io/The-Second-Half/
  • 贡献：提出 AI 进入“第二半场”：重点从解决问题转向定义问题，evaluation becomes more important than training；指出真实世界 utility 与 benchmark 之间的落差。

YanEvalProcess2025

  • 名称：An LLM-as-Judge Won't Save the Product, Fixing Your Process Will
  • 作者：Eugene Yan
  • 类型：blog
  • 原始 URL：https://eugeneyan.com/writing/eval-process/
  • 贡献：强调 eval 是科学方法和产品流程，不是工具采购；先定义假设、实验、失败模式，再谈 judge。

HamelFieldGuide2025

  • 名称：A Field Guide to Rapidly Improving AI Products
  • 作者：Hamel Husain
  • 类型：blog
  • 原始 URL：https://hamel.dev/blog/posts/field-guide/
  • 贡献：把错误分析视为最高 ROI 活动，强调看真实数据、写针对性 eval、用实验次数驱动产品改进。

HamelShreya2026

  • 名称：How to Build AI Evals in 2026 (Step-by-Step)
  • 作者/嘉宾：Hamel Husain & Shreya Shankar
  • 类型：podcast / walkthrough
  • 原始 URL：https://www.youtube.com/watch?v=J7N9FMouSKg
  • 贡献：用真实业务 trace 演示 open coding、axial coding、pivot table、binary judge 与 TPR/TNR 校准。

HamelEvalTricks2025

  • 名称：Simple, High-Impact Eval Tricks
  • 作者/嘉宾：Claire Vo with Hamel Husain
  • 类型：podcast / walkthrough
  • 原始 URL：https://www.youtube.com/watch?v=PgzOBNse2EA
  • 贡献：强调先看约 100 条生产 trace，只标注最上游错误，把自由文本错误笔记聚类成可执行的 eval 路线。

PragmaticEvals2025

  • 名称：A pragmatic guide to LLM evals for devs
  • 作者：Gergely Orosz & Hamel Husain
  • 类型：newsletter
  • 原始 URL：https://newsletter.pragmaticengineer.com/p/evals
  • 贡献：面向工程师解释为什么 LLM 非确定性让传统测试不够，需要面向样本和分布的 eval。

核心概念、harness 与 runtime

LeeEvalInfra2026

LeeRuntime2026

LeeSeminalPapers2026

WolfeAgentEvals2026

  • 名称：Agent Evaluation: A Detailed Guide
  • 作者：Cameron R. Wolfe
  • 类型：newsletter
  • 原始 URL：https://cameronrwolfe.substack.com/p/agent-evals
  • 贡献：提出 agent eval harness anatomy：tasks → trials → transcripts → outcomes → graders；强调评估的是 harness + model。

LiuRAG2025

  • 名称：There Are Only 6 RAG Evals
  • 作者：Jason Liu
  • 类型：blog
  • 原始 URL：https://jxnl.co/writing/2025/05/19/there-are-only-6-rag-evals/
  • 贡献：把 RAG 评估拆成 Q/C/A 三对象之间的六个有方向关系：C|Q、A|C、A|Q、C|A、Q|C、Q|A，用于定位检索、忠实性、回答相关性和支撑覆盖等失败。

指标、可靠性与统计

ChenCodex2021

  • 名称：Evaluating Large Language Models Trained on Code
  • 作者：Mark Chen et al. (OpenAI)
  • 类型：paper
  • 原始 URL：https://arxiv.org/abs/2107.03374
  • 贡献：Codex/HumanEval 中 pass@k 的常用无偏估计方法。

TauBench2024

  • 名称：τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains
  • 作者：Sierra Research / Shunyu Yao et al.
  • 类型：paper / benchmark
  • 原始 URL：https://arxiv.org/abs/2406.12045
  • 贡献：多轮 agent/user 交互、DB state diff、pass^k 可靠性指标。

KhanalReliability2026

  • 名称：Beyond pass@1: A Reliability Science Framework for Long-Horizon LLM Agents
  • 作者：Aaditya Khanal, Yangyang Tao, Junxiu Zhou
  • 类型：paper
  • 原始 URL：https://arxiv.org/abs/2603.29231
  • 贡献：区分 capability 与 reliability，提出 RDC、VAF、GDS、MOP 等长时程可靠性指标。

WolfeStats2025

  • 名称：Applying Statistics to LLM Evaluations
  • 作者：Cameron R. Wolfe
  • 类型：newsletter
  • 原始 URL：https://cameronrwolfe.substack.com/p/stats-llm-evals
  • 贡献：面向 LLM eval 的统计基础：采样、方差、置信区间、显著性和解释风险。

错误分析、数据集与 criteria drift

EvalGen2024

  • 名称：Who Validates the Validators? Aligning LLM-Assisted Evaluation of LLM Outputs with Human Preferences
  • 作者：Shreya Shankar et al.
  • 类型：paper, UIST 2024
  • 原始 URL：https://arxiv.org/abs/2404.12272
  • 贡献：提出 criteria drift：你通常无法在看输出之前写好稳定标准；应在人类评分过程中迭代 criteria 与 validator。

IusztinEvalDataset2025

LLM-as-judge、verifier 与校准

YanJudgeTalk2024

  • 名称：Using LLMs as Judges: Insights, Challenges, Best Practices
  • 作者/嘉宾：Eugene Yan
  • 类型：talk
  • 原始 URL：https://www.youtube.com/watch?v=7EGF0Mc0_os
  • 贡献：binary/pairwise 判断优于连续分数；CoT 对 judge 很重要；criteria 要先看样本再写。

YanLLMEvaluators2024

  • 名称：Evaluating the Effectiveness of LLM-Evaluators
  • 作者：Eugene Yan
  • 类型：blog
  • 原始 URL：https://eugeneyan.com/writing/llm-evaluators/
  • 贡献：总结 position bias、verbosity bias、self-enhancement bias，并建议使用 binary 与分类指标。

HamelJudge2025

  • 名称：Creating an LLM-as-a-Judge That Drives Business Results
  • 作者：Hamel Husain
  • 类型：blog
  • 原始 URL：https://hamel.dev/blog/posts/llm-judge/
  • 贡献：critique shadowing、单一 benevolent-dictator 专家、precision/recall 或 TPR/TNR 校准，而不是 raw agreement。

ZhengMTBench2023

  • 名称：Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena
  • 作者：Lianmin Zheng et al.
  • 类型：paper
  • 原始 URL：https://arxiv.org/abs/2306.05685
  • 贡献：早期系统研究 LLM judge 的一致性、位置偏差、自我偏好与 benchmark 化使用。

AgentRewardBench2025

  • 名称：AgentRewardBench: Evaluating Automatic Evaluations of Web Agent Trajectories
  • 作者：Xing Han Lù et al.
  • 类型：paper
  • 原始 URL：https://arxiv.org/abs/2504.08942
  • 贡献：反向评估 web-agent trajectory judges；发现 LLM judge 往往 over-credit，rule-based evaluator 往往 under-report success。

Agent eval 与 benchmark

AnthropicAgentEvals2026

AppWorld2024

  • 名称：AppWorld: A Controllable World of Apps and People for Benchmarking Interactive Coding Agents
  • 作者：Trivedi et al.
  • 类型：paper / benchmark
  • 原始 URL：https://aclanthology.org/2024.acl-long.850/
  • 贡献：用多 app 模拟世界与状态单元测试评估 interactive coding/tool-use agents。

TerminalBench2026

  • 名称：Terminal-Bench
  • 作者：Laude Institute / Stanford / community
  • 类型：benchmark
  • 原始 URL：https://www.tbench.ai/
  • 贡献：以 Docker 环境、测试套件和 oracle solution 构造可复现 terminal-agent eval。

YehudaiSurvey2025

  • 名称：A Survey on Evaluation of LLM-based Agents
  • 作者：Asaf Yehudai et al.
  • 类型：paper / survey
  • 原始 URL：https://arxiv.org/abs/2503.16416
  • 贡献：从能力、应用 benchmark、generalist agent、benchmark dimensions、developer tooling 五个视角组织 agent eval 地图。

Benchmark integrity

PressBenchmarks2024

KapoorAgentsMatter2024

  • 名称：AI Agents That Matter
  • 作者：Sayash Kapoor et al.
  • 类型：paper
  • 原始 URL：https://arxiv.org/abs/2407.01502
  • 贡献：强调成本、app-dev vs model-dev、holdout、过拟合和实际应用评估需求。

SinghLeaderboard2025

  • 名称：The Leaderboard Illusion
  • 作者：Shivalika Singh et al.
  • 类型：paper
  • 原始 URL：https://arxiv.org/abs/2504.20879
  • 贡献：用 Chatbot Arena 审计说明私测、score retraction、数据访问不对称、silent deprecation 如何扭曲榜单。

PatelPredictive2026

  • 名称：Beyond Static Leaderboards: Predictive Validity for the Evaluation of LLM Agents
  • 作者：Dhaval C. Patel et al.
  • 类型：paper
  • 原始 URL：https://arxiv.org/abs/2606.19704
  • 贡献：提出用 public-to-hidden / in-sample-to-out-of-sample rank correlation 衡量 leaderboard 的 predictive validity。

OpenAISWEBenchVerified2026

FutureHouseHLE2025

  • 名称：About 30% of Humanity's Last Exam Answers are Wrong
  • 作者：FutureHouse / Andrew D. White 等
  • 类型：research announcement
  • 原始 URL：https://www.futurehouse.org/research/hle-exam
  • 贡献：对 Humanity's Last Exam 化学/生物文本题子集做文献审计，给出约 29% 答案与同行评议文献冲突的证据。

EpochFrontierMathV2

  • 名称：FrontierMath Tiers 1-3 v2
  • 作者：Epoch AI
  • 类型：benchmark update
  • 原始 URL：https://epoch.ai/benchmarks/frontiermath-tiers-1-3-v2
  • 贡献：说明 FrontierMath v2 在 AI 辅助复审和人工复核后修订了大量问题，约 42% 的题目受到影响。

BenchmarkLabelErrors2026

  • 名称：Benchmark ground-truth errors audit notes
  • 作者/来源：FutureHouse / Epoch AI / OpenAI 等案例汇总
  • 类型：source notes
  • 原始 URL：https://www.futurehouse.org/research/hle-exam
  • 贡献：汇总 HLE、FrontierMath、SWE-bench Verified 等 benchmark 的标签/测试错误审计，说明专家题集和可验证测试也需要独立复审。正文中引用具体数字时，应优先使用对应原始来源：FutureHouseHLE2025、EpochFrontierMathV2、OpenAISWEBenchVerified2026。

BrandBenchmarks2026

  • 名称：LLM benchmarks in the era of agents / Quo vadis, LLM benchmarks?
  • 作者：Florian Brand
  • 类型：talk / blog / deck notes
  • 原始 URL：https://florianbrand.com/posts/benches-2026
  • 贡献：强调 prompt、sampling、engine、grader、harness 都会移动 benchmark 分数；agent 时代的 benchmark 数字是整个 eval-running stack 的产物。

Eval、RL 环境与安全

WeiVerifier2025

PrimeVerifiers2026

WuRLVR2025

  • 名称：Position: The Hidden Costs and Measurement Gaps of Reinforcement Learning with Verifiable Rewards
  • 作者：Fang Wu, Aaron Tu, Weihao Xuan et al.
  • 类型：paper
  • 原始 URL：https://arxiv.org/abs/2509.21882
  • 贡献：指出 RLVR 评估中的 budget mismatch、attempt inflation、calibration drift、contamination 和 abstention suppression。

MacDiarmidRewardHacking2025

  • 名称：Natural Emergent Misalignment from Reward Hacking in Production RL
  • 作者：Monte MacDiarmid, Benjamin Wright, Jonathan Uesato, Joe Benton, Evan Hubinger et al.
  • 类型：paper
  • 原始 URL：https://arxiv.org/abs/2511.18397
  • 贡献：在生产 coding RL 环境中展示 reward hacking 如何泛化成 agentic misalignment；说明 chat-like safety eval 可能漏掉 agentic 风险。

WengRewardHacking2024

Agent Evals 速查表

不要只看 raw agreement。

On this page

总览与实践 PlaybookAwesomeEvals2026AwesomeEvalsPatterns2026为什么需要 evalYao2025YanEvalProcess2025HamelFieldGuide2025HamelShreya2026HamelEvalTricks2025PragmaticEvals2025核心概念、harness 与 runtimeLeeEvalInfra2026LeeRuntime2026LeeSeminalPapers2026WolfeAgentEvals2026LiuRAG2025指标、可靠性与统计ChenCodex2021TauBench2024KhanalReliability2026WolfeStats2025错误分析、数据集与 criteria driftEvalGen2024IusztinEvalDataset2025LLM-as-judge、verifier 与校准YanJudgeTalk2024YanLLMEvaluators2024HamelJudge2025ZhengMTBench2023AgentRewardBench2025Agent eval 与 benchmarkAnthropicAgentEvals2026AppWorld2024TerminalBench2026YehudaiSurvey2025Benchmark integrityPressBenchmarks2024KapoorAgentsMatter2024SinghLeaderboard2025PatelPredictive2026OpenAISWEBenchVerified2026FutureHouseHLE2025EpochFrontierMathV2BenchmarkLabelErrors2026BrandBenchmarks2026Eval、RL 环境与安全WeiVerifier2025PrimeVerifiers2026WuRLVR2025MacDiarmidRewardHacking2025WengRewardHacking2024