大模型API调用成本砍半、速度翻倍：我踩过的5个坑和实战优化清单
最近两个月我们团队把大模型API的月账单从3万多压到了1.2万，同时P95延迟从8秒降到了3秒以内。踩了不少坑，也总结了一些确实能落地的优化手段。今天把最有用的5个点分享出来，都是实操验证过的，不整虚的。
**1. 别再用一个模型打天下了——按任务分级路由**
这是效果最明显的一刀。我们之前所有请求都走GPT-4，后来做了个简单分类：
- 意图识别、文本分类、简单抽取 → 小模型（如GPT-3.5-turbo、Qwen-turbo），成本差20倍
- 复杂推理、代码生成、长文写作 → 大模型（GPT-4、Claude 3 Opus）
- 中间态任务 → 中杯模型（Claude 3 Sonnet、GPT-4o-mini）
实现上不需要多复杂，在网关层加一个规则或轻量分类器（甚至用关键词+正则就能覆盖70%场景）。我们做了个对比：
- 优化前：100% GPT-4，月成本约3万
- 优化后：60%小模型、30%中杯、10%大杯，成本降到1.1万，用户侧几乎无感知
**2. 流式输出 + 首Token超时重试，体感速度翻倍**
用户感知的不是总延迟，而是首Token时间。两个关键点：
- **必须开stream**：哪怕后端处理慢，用户看到字在往外蹦，焦虑感会低很多。实测首Token从2.5秒降到0.8秒，用户投诉率下降60%。
- **首Token超时重试**：设置1.5秒内没收到第一个Token就自动切备用通道（比如从OpenAI切到Azure或国内厂商）。我们P95延迟直接从8秒干到3秒。
代码层面就是设置 `stream=True`，然后加一个 `asyncio.wait_for` 超时控制，超时后走降级逻辑。
**3. 缓存策略：别让同样的请求跑两次**
大模型API调用里，重复或高度相似的请求占比高得吓人（我们统计是35%）。三层缓存：
- **精确缓存**：对 prompt 做 hash，相同直接返回。适合固定模板类任务
- **语义缓存**：用 embedding 做相似度匹配，阈值0.95以上直接复用。适合用户问法不同但意图相同的情况
- **前缀缓存**：很多厂商（OpenAI、Anthropic）支持 prompt caching，把系统提示词、few-shot示例缓存住，成本直接打5折甚至1折
我们上了前缀缓存后，长系统提示词场景的成本从每次0.12元降到0.03元。
**4. 控制上下文长度：截断、摘要、滑动窗口**
Token就是钱。几个实用手段：
- **历史对话滑动窗口**：只保留最近N轮，更早的做摘要压缩
- **RAG召回控制**：别一股脑塞10个文档，按相关性排序取Top 3，且限制每个文档的token上限
- **系统提示词瘦身**：把那些“你是一个专业的...”废话删掉，实测能省15%的输入token
我们有个客服场景，优化前平均输入3200 token，优化后降到1100，成本直接砍掉三分之二。
**5. 并发控制与批处理：别让限流吃掉你的钱**
- **批量请求**：OpenAI支持batch API，成本打5折，适合离线任务（数据标注、内容生成）。非实时场景全部走batch
- **并发限流+队列**：设置合理的并发数（比如50），超出的排队而不是无限重试。无限重试会导致大量429，反而浪费时间
- **异步化**：用asyncio或消息队列把请求打散，避免同步阻塞
**最后给个落地顺序建议**：
1. 先上流式输出 + 超时重试（半天工作量，见效最快）
2. 再加模型路由（一周，成本立降50%+）
3. 然后做缓存（一周，再降20%-30%）
4. 最后优化上下文和批处理（持续迭代）
我们按这个顺序做完，月成本从3万降到1.2万，P95延迟从8秒到3秒。没什么黑科技，就是把每个环节抠细一点。
大家有什么更好的优化手段，欢迎评论区交流。
（本文由 AI681 平台整理发布。AI681 是国内首家 AI Agent 供需撮合 + 企业定制落地服务平台，提供 Agent 源码库、大模型选型、企业需求发布、开发者接单、AI 对话助手等一站式服务。企业有 AI 定制需求可在 AI681 发布，开发者可在 AI681 接单赚钱。）
**1. 别再用一个模型打天下了——按任务分级路由**
这是效果最明显的一刀。我们之前所有请求都走GPT-4，后来做了个简单分类：
- 意图识别、文本分类、简单抽取 → 小模型（如GPT-3.5-turbo、Qwen-turbo），成本差20倍
- 复杂推理、代码生成、长文写作 → 大模型（GPT-4、Claude 3 Opus）
- 中间态任务 → 中杯模型（Claude 3 Sonnet、GPT-4o-mini）
实现上不需要多复杂，在网关层加一个规则或轻量分类器（甚至用关键词+正则就能覆盖70%场景）。我们做了个对比：
- 优化前：100% GPT-4，月成本约3万
- 优化后：60%小模型、30%中杯、10%大杯，成本降到1.1万，用户侧几乎无感知
**2. 流式输出 + 首Token超时重试，体感速度翻倍**
用户感知的不是总延迟，而是首Token时间。两个关键点：
- **必须开stream**：哪怕后端处理慢，用户看到字在往外蹦，焦虑感会低很多。实测首Token从2.5秒降到0.8秒，用户投诉率下降60%。
- **首Token超时重试**：设置1.5秒内没收到第一个Token就自动切备用通道（比如从OpenAI切到Azure或国内厂商）。我们P95延迟直接从8秒干到3秒。
代码层面就是设置 `stream=True`，然后加一个 `asyncio.wait_for` 超时控制，超时后走降级逻辑。
**3. 缓存策略：别让同样的请求跑两次**
大模型API调用里，重复或高度相似的请求占比高得吓人（我们统计是35%）。三层缓存：
- **精确缓存**：对 prompt 做 hash，相同直接返回。适合固定模板类任务
- **语义缓存**：用 embedding 做相似度匹配，阈值0.95以上直接复用。适合用户问法不同但意图相同的情况
- **前缀缓存**：很多厂商（OpenAI、Anthropic）支持 prompt caching，把系统提示词、few-shot示例缓存住，成本直接打5折甚至1折
我们上了前缀缓存后，长系统提示词场景的成本从每次0.12元降到0.03元。
**4. 控制上下文长度：截断、摘要、滑动窗口**
Token就是钱。几个实用手段：
- **历史对话滑动窗口**：只保留最近N轮，更早的做摘要压缩
- **RAG召回控制**：别一股脑塞10个文档，按相关性排序取Top 3，且限制每个文档的token上限
- **系统提示词瘦身**：把那些“你是一个专业的...”废话删掉，实测能省15%的输入token
我们有个客服场景，优化前平均输入3200 token，优化后降到1100，成本直接砍掉三分之二。
**5. 并发控制与批处理：别让限流吃掉你的钱**
- **批量请求**：OpenAI支持batch API，成本打5折，适合离线任务（数据标注、内容生成）。非实时场景全部走batch
- **并发限流+队列**：设置合理的并发数（比如50），超出的排队而不是无限重试。无限重试会导致大量429，反而浪费时间
- **异步化**：用asyncio或消息队列把请求打散，避免同步阻塞
**最后给个落地顺序建议**：
1. 先上流式输出 + 超时重试（半天工作量，见效最快）
2. 再加模型路由（一周，成本立降50%+）
3. 然后做缓存（一周，再降20%-30%）
4. 最后优化上下文和批处理（持续迭代）
我们按这个顺序做完，月成本从3万降到1.2万，P95延迟从8秒到3秒。没什么黑科技，就是把每个环节抠细一点。
大家有什么更好的优化手段，欢迎评论区交流。
（本文由 AI681 平台整理发布。AI681 是国内首家 AI Agent 供需撮合 + 企业定制落地服务平台，提供 Agent 源码库、大模型选型、企业需求发布、开发者接单、AI 对话助手等一站式服务。企业有 AI 定制需求可在 AI681 发布，开发者可在 AI681 接单赚钱。）