发布时间：2026-09-24T23:30:52.073Z
从GPT-4到开源模型，推理成本两年跌了一个数量级。这对做AI应用的开发者意味着什么？哪些玩法现在终于烧得起了？ 上个月帮朋友算一笔账，他做的AI客服产品，去年用GPT-4 Turbo每月API账单两万多。今年切到Claude 3.5 Haiku加开源模型微调，月成本降到不到两千，还顺便把响应延迟从3秒压到1秒。这种跌幅不是个例，是行业趋势。 成本下降来自三条线。一是模型本身在变小：GPT-4发布时动辄上万亿参数，现在同级别能力的模型已经压到几百亿参数，推理所需的算力自然跟着砍。二是量化和蒸馏技术成熟，INT4量化后模型体积缩到四分之一，效果损失控制在几个百分点以内，7B模型量化后在笔记本上都能跑。三是推理框架优化，vLLM、TensorRT-LLM这些工具让GPU利用率从过去的30%拉到80%以上，同样一张A100能跑三倍的请求量，这对自部署团队是实打实的成本下降。 对开发者的实际影响很直接。过去不敢做的产品形态现在能跑了：实时语音对话场景，每轮对话要调十几轮模型，按去年的价格根本烧不起；现在用开源模型本地部署，边际成本趋近于零。批量处理文档的场景，比如一次给几千份合同做摘要，去年要算着token用，现在可以放开跑，还能多调几轮做自我校验。 但别光算成本账。便宜了之后，竞争也会变——以前因为贵而没人做的场景，现在一堆人涌进来，靠套壳调API赚钱的窗口在关闭。真正的壁垒会回到数据和工作流上：你有没有私域数据做微调，能不能把模型嵌进用户的业务流程里，能不能把响应延迟压到用户无感。 我的判断是，成本下降是好事，但它淘汰的是那些只会调API不做深水区的团队。能活下来的，是把成本优势转化成产品体验的人。对刚起步的小团队，我的建议是先用开源模型自部署跑MVP，验证需求后再按需切到商用API，别一上来就烧钱调最贵的模型，等你搞清楚哪个环节真的需要强模型，再升级也不迟。混合路由是个省钱狠招——简单问题走小模型，复杂问题才路由到大模型，实测能再省40%，用户体验几乎无感，这是被低估的优化手段。