提升RAG检索质量 — 分块与重排序

如果接入 RAG 后答案不对，问题通常不在模型，而在检索阶段。如果检索到的文档有误，LLM 再好也无法生成正确答案。

分块 — 根据文档类型区别处理

重排序器 — 性价比很高

通过第一轮检索（向量/BM25）选出 20~50 个，再用重排器对前 5 个重新排序。重排器会同时查看问题和文档并打分，因此准确度提升很大。

• 第一轮检索：速度快但存在语义损失，候选范围要放宽
• 重排序：速度较慢但更准确，缩小候选范围
• 最终 top-k 以 3~5 个为宜——过多会引入噪声

混合检索

仅靠向量检索在型号、零件编号等精确字符串匹配方面较弱。同时使用 BM25（关键词）和向量并合并结果，在工业文档中尤其有效。

在客户手册检索中，有案例通过混合检索加重排序的组合使准确率显著提升。相比更换模型，应优先改进检索。

没有评估就没有改进

• 为 30~50 个问题标注正确答案文档
• 用 Recall@5、MRR 等指标对比变更前后
• 每次更改参数时都用同一组进行测量