大模型 API 还是自建 GPU？先算清楚这笔账

这个问题的答案取决于一个变量：你的算力利用率。GPU 的成本是固定的（买下来就一直在烧钱），API 的成本是随用量线性增长的。所以分界线很清楚——利用率低就用 API，利用率高才值得自建。多数企业的真实情况是前者。

1. 先看数据合规要求。如果业务数据不允许出内网（例如涉及敏感业务系统），那只能自建，成本对比没有意义。
2. 再看算力利用率。把当前的日均 Token 消耗量折算成 GPU 小时数，如果一台 GPU 服务器的利用率长期低于 30%，自建就是亏的。
3. 最后看增长预期。用量在快速增长且已经接近自建的经济拐点时，可以考虑混合模式：核心高频模型自建，长尾和实验性需求走 API。

实践中最常见的合理组合是：先用 API 跑通业务，等某个模型的调用量稳定且足够大时，再评估把这一部分迁到自建。这样既不会在需求不明时就重金投入硬件，也不会在用量已经很大时还在按高价买 Token。

目前主流的大模型服务平台普遍提供兼容 OpenAI 格式的接口。对开发者来说，这意味着已有的调用代码通常只需要改两处：base_url 和 API 密钥。不需要重写业务逻辑，也不需要为每家模型单独适配 SDK。

• 对话与推理模型：DeepSeek-V3、DeepSeek-R1、Qwen3-Max、GLM 系列等，覆盖通用问答、代码、复杂推理场景
• 向量模型：用于 RAG 检索增强，把知识库内容转成向量做语义检索
• 语音模型：语音合成与语音识别，用于客服、播客、会议记录等场景

计费上通常有两种方式：按 Token 用量后付，或者购买资源包（预付费，单价更低）。用量波动大的业务适合按量，用量稳定的业务适合买资源包。具体可用模型清单与价格以选配页实时展示为准。

• 为了「省钱」买了 GPU，结果利用率不足 10%。硬件成本是固定的，闲置等于纯亏损。
• 忽略推理之外的工程成本。自建需要处理并发调度、显存溢出、模型版本管理、监控告警，这些人力成本常被低估。
• 按「参数越大越好」选模型。很多业务用中等规模模型就能满足，用大模型会显著推高成本。建议先用小模型验证效果，不够再升级。