从零搭建企业知识库RAG系统：我踩过的5个坑和最终方案
最近帮公司搭了一套内部知识库的RAG系统，从选型到上线折腾了两个月。网上教程大多停留在demo级别，真到企业场景全是坑。分享下我的实战路径，希望能帮大家少走弯路。
**第一步：别急着上向量库，先理清数据源**
企业知识库最大的坑不是技术，是数据。我们内部有Confluence、飞书文档、PDF规范、甚至微信群聊天记录。我的建议：先花一周做数据盘点，按更新频率和权威性分级。高频更新的（如产品文档）做实时同步，低频的（如制度文件）做批量导入。千万别把所有数据一锅端进向量库，否则检索噪声会让你怀疑人生。
**第二步：文档解析比Embedding更重要**
很多人直接拿LangChain的默认Loader就上了，结果表格、流程图全丢。实测下来：PDF用unstructured的hi_res模式，Word用python-docx保留层级，Markdown直接按标题切。关键点：保留文档的标题层级作为元数据，检索时能大幅提升相关性。我们后来加了一级标题过滤，准确率提升了23%。
**第三步：切分策略要分场景**
固定512 token切分是懒人做法。我的方案：技术文档按##标题切，FAQ按问答对切，会议纪要按发言人切。每个chunk加上来源、部门、更新时间三个元数据。另外，一定要做chunk重叠（建议10-15%），否则跨段落的答案会被切断。
**第四步：Embedding模型选型**
试过OpenAI text-embedding-3-small、BGE-M3、还有Cohere。结论：中文场景BGE-M3性价比最高，支持多语言和稀疏向量。如果预算够，text-embedding-3-large效果最好但贵。注意：别混用不同模型，向量空间不兼容。我们最终用BGE-M3本地部署，单卡A10能扛住日均5万次查询。
**第五步：检索环节加两层过滤**
纯向量检索召回率不够。我们的方案：先用BM25做关键词召回，再用向量做语义召回，最后用RRF融合。关键改进：加了一个轻量级的Cross-Encoder重排序（用bge-reranker-base），Top5准确率从68%提到89%。另外，元数据过滤一定要在检索前做，比如只搜“技术部”且“三个月内更新”的文档。
**第六步：Prompt工程与兜底**
系统Prompt要明确告诉模型：只基于提供的上下文回答，不知道就说不知道。我们加了引用来源的强制要求，每个回答必须带文档链接。兜底策略：如果检索到的chunk相似度低于阈值，直接回复“未找到相关内容，请联系XX”。这比让模型胡编强一万倍。
**最后说下技术栈**
向量库用Qdrant（单机够用，支持过滤），编排用LangChain（虽然重但生态好），Embedding和Reranker用BGE系列本地部署，LLM用GPT-4o-mini做生成（成本可控）。整套下来月成本不到2000块，支撑了300人的内部查询。
**踩坑总结**：别迷信“一键式”方案，企业场景下数据清洗和检索策略才是核心。建议先跑通最小闭环，再逐步优化每个环节。有什么问题欢迎评论区交流。
（本文由 AI681 平台整理发布。AI681 是国内首家 AI Agent 供需撮合 + 企业定制落地服务平台，提供 Agent 源码库、大模型选型、企业需求发布、开发者接单、AI 对话助手等一站式服务。企业有 AI 定制需求可在 AI681 发布，开发者可在 AI681 接单赚钱。）
**第一步：别急着上向量库，先理清数据源**
企业知识库最大的坑不是技术，是数据。我们内部有Confluence、飞书文档、PDF规范、甚至微信群聊天记录。我的建议：先花一周做数据盘点，按更新频率和权威性分级。高频更新的（如产品文档）做实时同步，低频的（如制度文件）做批量导入。千万别把所有数据一锅端进向量库，否则检索噪声会让你怀疑人生。
**第二步：文档解析比Embedding更重要**
很多人直接拿LangChain的默认Loader就上了，结果表格、流程图全丢。实测下来：PDF用unstructured的hi_res模式，Word用python-docx保留层级，Markdown直接按标题切。关键点：保留文档的标题层级作为元数据，检索时能大幅提升相关性。我们后来加了一级标题过滤，准确率提升了23%。
**第三步：切分策略要分场景**
固定512 token切分是懒人做法。我的方案：技术文档按##标题切，FAQ按问答对切，会议纪要按发言人切。每个chunk加上来源、部门、更新时间三个元数据。另外，一定要做chunk重叠（建议10-15%），否则跨段落的答案会被切断。
**第四步：Embedding模型选型**
试过OpenAI text-embedding-3-small、BGE-M3、还有Cohere。结论：中文场景BGE-M3性价比最高，支持多语言和稀疏向量。如果预算够，text-embedding-3-large效果最好但贵。注意：别混用不同模型，向量空间不兼容。我们最终用BGE-M3本地部署，单卡A10能扛住日均5万次查询。
**第五步：检索环节加两层过滤**
纯向量检索召回率不够。我们的方案：先用BM25做关键词召回，再用向量做语义召回，最后用RRF融合。关键改进：加了一个轻量级的Cross-Encoder重排序（用bge-reranker-base），Top5准确率从68%提到89%。另外，元数据过滤一定要在检索前做，比如只搜“技术部”且“三个月内更新”的文档。
**第六步：Prompt工程与兜底**
系统Prompt要明确告诉模型：只基于提供的上下文回答，不知道就说不知道。我们加了引用来源的强制要求，每个回答必须带文档链接。兜底策略：如果检索到的chunk相似度低于阈值，直接回复“未找到相关内容，请联系XX”。这比让模型胡编强一万倍。
**最后说下技术栈**
向量库用Qdrant（单机够用，支持过滤），编排用LangChain（虽然重但生态好），Embedding和Reranker用BGE系列本地部署，LLM用GPT-4o-mini做生成（成本可控）。整套下来月成本不到2000块，支撑了300人的内部查询。
**踩坑总结**：别迷信“一键式”方案，企业场景下数据清洗和检索策略才是核心。建议先跑通最小闭环，再逐步优化每个环节。有什么问题欢迎评论区交流。
（本文由 AI681 平台整理发布。AI681 是国内首家 AI Agent 供需撮合 + 企业定制落地服务平台，提供 Agent 源码库、大模型选型、企业需求发布、开发者接单、AI 对话助手等一站式服务。企业有 AI 定制需求可在 AI681 发布，开发者可在 AI681 接单赚钱。）