发布时间:2026-09-25T00:29:03.873Z
把三款热门开源模型拉到本地跑了同一份测试集,中文写作、代码生成、长文本理解三个维度打分,顺便聊聊部署成本和社区生态。 开源模型这一年卷得厉害,上半年三款重量级选手发布:Meta的Llama 4、阿里的Qwen 3、深度求索的DeepSeek V3。我用一张4090把三个都跑起来了,拿同一套题测,全部用4-bit量化,统一vLLM推理框架。 先说部署门槛。Llama 4 Scout参数1090亿,4090 24G量化到4-bit勉强跑,速度大概8 token/s,做演示行,量产别想。Qwen 3有7B、14B、72B三档,我跑的14B,4-bit量化下速度25 token/s,日常用够了。DeepSeek V3是671亿MoE,激活参数37B,4-bit量化后速度最快,到35 token/s——MoE架构的优势在这体现出来了,虽然总参数大但每次只激活一部分。三个模型的权重文件我都存在了NVMe固态上,加载时间大概2分钟。 测试维度一:中文写作。让三个模型写一篇800字的宁波旅游攻略。Qwen 3明显占优,对本地地名和饮食文化的理解最准,提到了东钱湖和奉化牛肉面,行文也最自然,知道舟山海鲜和宁波汤圆的区别。DeepSeek V3写得像百科条目,信息全但少点人情味,把天一广场写成了"商业中心"这种干巴巴的描述。Llama 4中文最弱,把宁波写成了"浙江的一个港口城市",还混了两句英文表达,读完像是翻译软件出的。 测试维度二:代码生成。给一道LeetCode中等题,二叉树层序遍历变种,要求写Python带类型标注。DeepSeek V3一次跑通,代码简洁还带注释,边界情况考虑到了空树。Qwen 3也跑通了,但多用了一个中间变量,性能差一点。Llama 4第一次给的方案超时,我追问后才优化过来,时间复杂度从O(n^2)降到O(n)。代码这块DeepSeek确实强,毕竟它的训练集里代码占比高。 测试维度三:长文本理解。喂一份2万字的房屋租赁合同摘要,问关键违约条款和提前退租的违约金比例。Qwen 3和DeepSeek V3都准确定位到了对应条款,Llama 4漏了一条关于物业费代缴的约定。长文本上Qwen 3的128K上下文窗口最稳,中间没有出现"迷失在中间"的情况。 生态方面,Qwen 3的Hugging Face下载量最大,社区微调版本多,连中文角色扮演的二创都有;DeepSeek V3 API最便宜,百万token一块钱,自己部署又省心;Llama 4胜在英文和多语言场景,但中文用户优先级不高。我的建议:做中文应用选Qwen 3,做代码工具选DeepSeek V3,出海产品再考虑Llama。