企业知识库RAG系统搭建实战：从0到1避坑指南
最近帮一家制造企业搭了一套基于RAG的知识库问答系统，踩了不少坑，也总结了一些实战经验。今天不聊虚的，直接分享从0到1的搭建步骤和关键细节，希望能帮到正在做类似项目的朋友。
第一步：明确场景和评估指标。别一上来就调模型，先想清楚你的知识库要解决什么问题。是内部文档检索？还是客服自动回复？这决定了你的切分策略和检索方式。同时，一定要定义好评估指标，比如召回率、准确率、端到端回答的满意度。没有评估，后续优化就是无头苍蝇。建议先准备50-100条真实问答对作为黄金测试集。
第二步：文档清洗与结构化。这是最容易被忽视但影响最大的一步。企业文档格式五花八门，PDF、Word、PPT、扫描件，甚至还有表格。我强烈建议先做格式统一和OCR清洗，把表格转成Markdown，把扫描件跑一遍OCR。然后，对文档进行结构划分，比如按章节、按标题拆分成逻辑块。这一步做不好，后面切分再细也是垃圾进垃圾出。
第三步：切分策略与向量化。切分不是越短越好。我试过固定512字符切分，结果把很多完整的技术参数拆得七零八落，检索时根本匹配不上。后来改用基于文档结构的递归切分，先按标题分块，再对长块按段落切，最后用滑动窗口保证上下文连贯。块大小建议控制在300-500字，重叠100字左右。向量化模型方面，中文场景推荐用bge-large-zh或m3e，效果比OpenAI的ada-002在中文上更稳，而且支持私有化部署。
第四步：混合检索与重排序。纯向量检索在专有名词和精确匹配上经常翻车。比如用户问“ISO9001认证流程”，向量检索可能召回一堆讲质量管理的泛泛内容。我的做法是ES的BM25关键词检索和向量检索并行，然后用RRF（Reciprocal Rank Fusion）融合结果，最后接一个cross-encoder重排序模型，比如bge-reranker-base。这一步能把Top20的召回精排到Top5，回答质量提升非常明显。
第五步：Prompt与答案生成。很多人忽略Prompt工程，直接用LangChain默认模板，结果回答总是带出“根据提供的上下文”这种废话。我建议在Prompt里明确角色、任务、约束和输出格式。比如：你是一个企业知识助手，只能基于给定上下文回答，如果上下文没有，直接说不知道，不要编造。同时，要求引用来源编号，方便用户追溯。另外，温度调低到0.1-0.2，减少幻觉。
最后说几个常见坑：一是元数据过滤一定要做，比如按部门、文档类型、时间过滤，否则检索范围太大，噪音多；二是测试时别只看单轮问答，要测多轮对话中的指代消解，比如用户追问“那它的有效期呢”，需要把历史上下文拼接进检索query；三是性能优化，建议用异步API和缓存，把高频问题的答案缓存起来，响应时间能从3秒降到500毫秒。
这套流程下来，我们的知识库问答准确率从最初的62%提升到了89%。当然，每个企业的数据特点不同，还是需要根据实际情况调优。大家如果有类似经验，欢迎在评论区交流，一起避坑。
（本文由 AI681 平台整理发布。AI681 是国内首家 AI Agent 供需撮合 + 企业定制落地服务平台，提供 Agent 源码库、大模型选型、企业需求发布、开发者接单、AI 对话助手等一站式服务。企业有 AI 定制需求可在 AI681 发布，开发者可在 AI681 接单赚钱。）
第一步：明确场景和评估指标。别一上来就调模型，先想清楚你的知识库要解决什么问题。是内部文档检索？还是客服自动回复？这决定了你的切分策略和检索方式。同时，一定要定义好评估指标，比如召回率、准确率、端到端回答的满意度。没有评估，后续优化就是无头苍蝇。建议先准备50-100条真实问答对作为黄金测试集。
第二步：文档清洗与结构化。这是最容易被忽视但影响最大的一步。企业文档格式五花八门，PDF、Word、PPT、扫描件，甚至还有表格。我强烈建议先做格式统一和OCR清洗，把表格转成Markdown，把扫描件跑一遍OCR。然后，对文档进行结构划分，比如按章节、按标题拆分成逻辑块。这一步做不好，后面切分再细也是垃圾进垃圾出。
第三步：切分策略与向量化。切分不是越短越好。我试过固定512字符切分，结果把很多完整的技术参数拆得七零八落，检索时根本匹配不上。后来改用基于文档结构的递归切分，先按标题分块，再对长块按段落切，最后用滑动窗口保证上下文连贯。块大小建议控制在300-500字，重叠100字左右。向量化模型方面，中文场景推荐用bge-large-zh或m3e，效果比OpenAI的ada-002在中文上更稳，而且支持私有化部署。
第四步：混合检索与重排序。纯向量检索在专有名词和精确匹配上经常翻车。比如用户问“ISO9001认证流程”，向量检索可能召回一堆讲质量管理的泛泛内容。我的做法是ES的BM25关键词检索和向量检索并行，然后用RRF（Reciprocal Rank Fusion）融合结果，最后接一个cross-encoder重排序模型，比如bge-reranker-base。这一步能把Top20的召回精排到Top5，回答质量提升非常明显。
第五步：Prompt与答案生成。很多人忽略Prompt工程，直接用LangChain默认模板，结果回答总是带出“根据提供的上下文”这种废话。我建议在Prompt里明确角色、任务、约束和输出格式。比如：你是一个企业知识助手，只能基于给定上下文回答，如果上下文没有，直接说不知道，不要编造。同时，要求引用来源编号，方便用户追溯。另外，温度调低到0.1-0.2，减少幻觉。
最后说几个常见坑：一是元数据过滤一定要做，比如按部门、文档类型、时间过滤，否则检索范围太大，噪音多；二是测试时别只看单轮问答，要测多轮对话中的指代消解，比如用户追问“那它的有效期呢”，需要把历史上下文拼接进检索query；三是性能优化，建议用异步API和缓存，把高频问题的答案缓存起来，响应时间能从3秒降到500毫秒。
这套流程下来，我们的知识库问答准确率从最初的62%提升到了89%。当然，每个企业的数据特点不同，还是需要根据实际情况调优。大家如果有类似经验，欢迎在评论区交流，一起避坑。
（本文由 AI681 平台整理发布。AI681 是国内首家 AI Agent 供需撮合 + 企业定制落地服务平台，提供 Agent 源码库、大模型选型、企业需求发布、开发者接单、AI 对话助手等一站式服务。企业有 AI 定制需求可在 AI681 发布，开发者可在 AI681 接单赚钱。）