能力项目 · 检索系统
Reliable RAG Service
带评测集、引用、拒答、缓存和可观测性的生产级 RAG 服务练习。
RAGFastAPIPostgreSQL评测
这是一个待复现的能力项目，目标不是做聊天界面，而是证明检索系统在固定测试集上的质量、延迟与失败行为。
能力目标
- 设计可版本化的文档摄取、切分与索引流程。
- 提供带引用和拒答策略的查询 API。
- 建立检索与生成分层评测，输出可比较的实验报告。
- 加入缓存、限流、Trace、健康检查和 Docker Compose。
四个里程碑
| 阶段 | 交付物 | 验收 |
|---|---|---|
| M1 基线 | 20 篇公开文档、30 个问题 | 精确检索结果可复现 |
| M2 API | 摄取与查询接口 | 错误、超时、幂等测试通过 |
| M3 质量 | 指标与误差分析 | 每次改动有对比表 |
| M4 交付 | Compose 与观测 | 新机器一条命令启动 |
推荐数据
选择许可证清晰的公开技术文档，保存原始 URL、抓取时间与内容哈希。问题集包含事实、多跳、无答案和易混淆样例。
参考实现
检索层参考 pgvector，评测方法参考 Ragas，接口规范参考 FastAPI。
完成定义
仓库需要 README、架构图、Compose、迁移脚本、固定数据集、自动化评测、结果表和三条失败复盘。