RAG 评测：从主观感觉到可重复实验

RAG 的答案看起来正确，不代表检索系统可靠。评测必须拆开检索和生成两个阶段。

最小测试集

为每个问题保存 query、reference_answer、relevant_document_ids、difficulty 和 tags。至少包含直接事实、多跳组合、时间敏感、无答案和易混淆问题。

指标分层

• 检索：Recall@k、Precision@k、MRR、延迟。
• 生成：正确性、忠实度、引用覆盖率、拒答准确率。
• 系统：端到端成功率、P95 延迟、Token 与金额成本。

误差分析顺序

先检查期望证据是否进入 top-k；没有则分析切分、查询改写、embedding 和过滤。证据存在但答案错误，再检查上下文排序、Prompt 和模型。无答案问题必须允许系统明确拒答。

实验纪律

每次只改变一个变量，固定测试集和随机性，保存配置与原始输出。LLM Judge 需要抽样人工校准，不能当作绝对真值。

资料

Ragas 文档 列出 context precision、recall、faithfulness、tool call accuracy 等指标；pgvector 提供 PostgreSQL 向量检索与索引实现。