过去两年，LLM 的 token 成本下降了近 10 倍。按照直觉，AI 应用应该越来越便宜。但企业的 AI 基础设施账单却在持续膨胀——不是因为模型贵了，而是因为 AI 的使用量增速远远超过了成本下降的速度。这不是某个公司的个别现象，而是一个可以用经济学原理解释的结构性趋势。

本文从基础设施和经济学视角，解析 AI 编程工具背后的算力成本逻辑，帮助你在企业级选型和成本管控上做出更有依据的决策。

目录

一、反直觉的现实：成本下降，账单上涨

2019 年，GPT-2 的 API 调用成本是每 1000 token 约 0.06 美元。到了 2026 年初，Claude Opus 4.7 的同等 API 成本是每 1000 token 约 0.015 美元（按照输入 token 计费），而 GPT-5.5 的成本更是降到了每 1000 token 约 0.008 美元。

10 倍以上的成本下降——这几乎是每个技术决策者都听说过的数字。

但如果你去看一个深度使用 AI 编程工具的企业的真实账单，会发现另一个故事：

2024 Q1：AI 编程工具支出 $12,000/月
2024 Q4：AI 编程工具支出 $31,000/月（+158%）
2025 Q3：AI 编程工具支出 $78,000/月（+151%）

成本在持续翻倍，但模型单价明明在下降。这怎么可能？

答案是：成本下降的速度（10 倍）跟不上使用量增长的速度（超过 100 倍）。

这不是某个企业不懂控制，而是整个行业正在经历的需求爆发和技术采用曲线的共同作用。

二、Jevons 悖论：AI 时代的能源经济学重演

2.1 什么是 Jevons 悖论

1865 年，英国经济学家 William Stanley Jevons 发现了一个反直觉的现象：随着煤炭效率提升、成本下降，英国的煤炭消耗量不但没有下降，反而大幅上升。他的论点是：当效率提升让一种能源变得更便宜，它的应用场景就会指数级扩展，总消耗量最终会超过效率增益带来的节约。

这个现象后来被称为 Jevons 悖论，是经济学中的经典案例。

2.2 AI 时代的重演

同样的故事正在 AI 基础设施领域重演：

Token 成本下降 10 倍
         ↓
更多员工开始用 AI 编程工具
         ↓
每个员工的使用频率大幅提升
         ↓
新的 AI 用法被发现并推广（代码审查、自动测试、文档生成...）
         ↓
总消耗量增长超过 100 倍
         ↓
实际总账单上升，而不是下降

Jevons 悖论的核心含义：当你优化了单次使用成本，使用量会不成比例地增长，最终总成本反而上升。这不是浪费，而是经济学规律。

对 AI 编程工具的直接影响：

阶段 特征 成本趋势
早期采纳（2023-2024） 少数工程师实验性使用 单次成本高，总成本低
规模化采纳（2025） 全团队推广，频率提升 单次成本下降，总成本开始上升
深度嵌入（2026+） AI 成为工作流默认部分 单次成本很低，总成本爆炸性增长

2.3 企业对此的典型反应

当企业发现 AI 账单超预期时，通常的反应是：

反应一：限制使用（限制 token 配额、禁止某些场景）

反应二：谈判降费（与供应商签年框、谈企业折扣）

反应三：基础设施优化（自建推理集群、模型蒸馏、GPU 利用率提升）

第三种反应是唯一能从根本上解决 Jevons 悖论的路径，但也是投入最大的。

三、Agentic Workload 的基础设施挑战

3.1 传统基础设施设计 vs Agentic 需求

传统企业数据中心的 workload 是可预测的：

Agentic AI 的 workload 完全不同：

高并发 · 短生命周期 · 不可预测

这种 workload pattern 对传统基础设施的冲击是全方位的：

基础设施层 传统 Workload 设计 Agentic Workload 需求
计算 固定容量的 CPU 集群 弹性 GPU 资源池
网络 稳定的南北向流量 高频率的东西向 API 调用
存储 持久的应用数据 大量短期 KV cache 和 Agent 内存
调度 基于时间表的批处理 毫秒级实时调度

3.2 GPU 利用率的根本矛盾

Agentic workload 带来的最核心问题是 GPU 利用率。

GPU 集群的成本是固定的——不管你用不用，每块 GPU 的采购成本、功耗、冷却成本都在发生。Agentic workload 的并发特性意味着 GPU 的调度间隙会很多，而这些间隙是”空着的”，但账单照付。

典型的企业 AI 推理集群 GPU 利用率数据：

部署方式 典型 GPU 利用率 原因
自建 GPU 集群（无调度优化） 15-30% 任务分散，调度效率低
自建 GPU 集群（生产级调度） 40-60% 批处理和任务合并优化
云服务商的 AI 推理服务 50-70% 多年积累的调度优化
一体化 AI Factory 平台 70-85% 端到端优化，跨租户资源共享

GPU 利用率从 30% 提升到 70%，等效于将单次推理成本减半。 这就是为什么基础设施优化往往比谈判折扣更有价值。

四、Cost-per-Token 为什么会成为核心运营指标

4.1 从 CapEx 到 FinOps

传统 IT 时代，企业衡量基础设施的指标是 CapEx（资本支出）：采购服务器、网络设备，摊销到几年里计算成本。

AI 时代，这个逻辑变了。LLM API 是纯消耗性成本（consumption-based），同一个任务在不同调用模式下可能产生 10 倍的成本差异。这让 FinOps（财务运维） 成了 AI 基础设施的核心能力。

Cost-per-Token（每 token 成本）就是 AI 时代的”每度电成本”：

Cost-per-Token = 月度 AI 推理总支出 / 月度总 token 消耗

优化目标：同等任务质量下，持续降低 Cost-per-Token

但这个指标远比”每度电成本”复杂，因为 Cost-per-Token 由多个变量共同决定：

4.2 Cost-per-Token 的决定因素

Cost-per-Token = f(模型选择, 硬件效率, 上下文结构, 路由策略, 批处理效率)

变量一：模型选择

同一个任务，用 GPT-5.5 和用 Claude Opus 4.7 的 cost-per-token 可以差 3-5 倍。但这不意味着总是用最便宜的模型——便宜的模型可能需要更多 token 才能达到同等质量，总成本可能更高。

示例：生成一段普通 CRUD 代码
- DeepSeek V4（低价模型）：0.3 美元，但需要 2000 token，质量 OK
- Claude Opus 4.7（高价模型）：0.75 美元，但只需要 400 token，质量更好

DeepSeek 总成本 = 0.3 美元
Claude 总成本 = 0.75 美元
但如果用 Claude 并使用更好的提示词压缩到 200 token → 0.375 美元

变量二：硬件效率

同样的模型，在不同硬件上运行的效率差异可以超过 2 倍：

变量三：上下文结构

这是最容易被忽视的变量。同样的任务，用不同的上下文结构（读取哪些文件、传递多少历史、工具输出是否压缩），cost-per-token 可以差 5-10 倍。

这正是 2026-04-04 博客「AI Coding Agent 的 Token 成本优化」所覆盖的领域——从用户侧和 prompt 工程侧降低成本。

变量四：路由策略

在多模型并存的企业环境里，将请求路由到最合适的模型，可以显著降低整体 cost-per-token：

简单代码补全 → 本地小模型（近乎免费）
代码审查 → 中等模型（70% 场景覆盖，便宜 5 倍）
复杂重构 → 顶级模型（只有 10% 场景才需要）

变量五：批处理效率

Agentic workload 的短请求特性，使得批处理（将多个请求合并处理）变得困难。但对于某些场景（比如代码审查、批量 PR 分析），批处理可以带来 30-50% 的成本降低。

五、AI 工厂：企业 AI 基础设施的新范式

5.1 什么是 AI 工厂

传统的 AI 基础设施是”项目制”的：每个 AI 项目单独采购资源，单独运维，单独计量。

AI 工厂（AI Factory）模式则是：建立一个共享的、专门为 AI workload 优化的基础设施层，让所有 AI 应用共享这个平台。

AI Factory 架构：

┌─────────────────────────────────────────────┐
│  应用层（AI 编程工具 / 客服机器人 / 文档工具） │
├─────────────────────────────────────────────┤
│  AI Gateway（统一接入 / 路由 / 鉴权 / 计费）   │
├─────────────────────────────────────────────┤
│  推理层（GPU 集群 / 模型服务 / MCP 协议）      │
├─────────────────────────────────────────────┤
│  存储层（Agent 内存 / KV cache / 向量数据库） │
└─────────────────────────────────────────────┘

5.2 AI Gateway 的角色

AI Gateway 是 AI 工厂模式的关键组件，它解决了企业 AI 基础设施的四个核心问题：

统一接入：所有 AI 请求通过单一入口，不需要每个应用单独对接多个模型供应商

智能路由：根据任务类型、可用预算、模型能力，将请求路由到最合适的模型

成本计量：精确到团队/应用/任务的成本追踪，解决”AI 费用算谁的”这个问题

MCP 集成：MCP（Model Context Protocol）作为 Agent 连接企业数据的标准协议，让 Agent 安全地访问内部数据而不泄漏到外部

AI Gateway 的实际价值数据（来自 Nutanix 企业 AI 解决方案的案例）：

实施前：
- 各团队独立采购 AI 服务，总成本无法汇总
- GPU 利用率：~25%
- 模型选择：无统一标准，能力参差不齐

实施后：
- 统一 GPU 资源池，总成本透明可控
- GPU 利用率：~70%+
- 跨团队的 cost-per-token 降低 40%

5.3 MCP 作为 Agent 的连接协议

MCP（Model Context Protocol）的重要性不仅在于技术，更在于它解决了一个企业 AI 的核心问题：数据安全和模型能力的平衡。

企业面临的根本矛盾：

MCP 的解决思路：不把数据给模型，而是给模型一个”受控的通道”去访问数据。模型通过 MCP 协议查询数据，但永远不会”拥有”这些数据——数据留在企业的基础设施里。

这让 AI 编程工具可以在企业环境里安全地访问：

六、成本结构拆解：你的 AI 账单里到底有什么

当你收到每月 AI 推理账单时，里面通常包含以下项目：

6.1 输入 Token 成本

模型处理你的 prompt、上下文、代码所消耗的 token。

计费逻辑：美元/百万输入 token
典型价格（2026 年初）：
- Claude Opus 4.7：$15/百万输入
- GPT-5.5：$7.5/百万输入
- DeepSeek V4：$1.2/百万输入
- 本地开源模型（Laguna XS.2）：$0（自建成本）

6.2 输出 Token 成本

模型生成的响应 token。

计费逻辑：美元/百万输出 token（通常比输入贵 2-3 倍）
典型价格（2026 年初）：
- Claude Opus 4.7：$75/百万输出
- GPT-5.5：$30/百万输出
- DeepSeek V4：$1.6/百万输出

6.3 基础设施附加成本

在云服务上运行推理的基础设施成本（GPU、内存、网络、存储）。

常见场景：
- AWS Bedrock：基础设施成本已包含在 token 价格里
- Azure OpenAI Service：基础设施成本已包含
- 自建推理集群：GPU 采购/租赁 + 电力 + 运维，成本独立计算

6.4 MCP 调用成本（如使用企业数据连接）

通过 MCP 协议访问企业内部数据时的额外处理开销。

MCP Server 的开销通常较小（毫秒级处理），但在大规模使用时也需要计量

七、降低 AI 推理成本的四个可行路径

路径一：模型路由（Routing）——最快速的成本优化

策略：根据任务复杂度自动路由到不同价格的模型
实现难度：⭐（低）
成本降低幅度：30-60%
 ROI 最高，是大多数企业的第一步

典型实现：配置一个轻量级路由层，根据任务类型标签选择模型。

任务类型 推荐模型 预计节省
简单补全 DeepSeek V4 / 本地小模型 60-80%
代码审查 GPT-4o / Claude Sonnet 40-50%
复杂重构 Claude Opus 4.7 / GPT-5.5 0%（但质量最好）

路径二：提示词工程与上下文压缩——被低估的成本杠杆

策略：减少每次请求的 token 消耗
实现难度：⭐⭐（中等）
成本降低幅度：20-50%（取决于当前的上下文效率）
最大价值场景：长会话、频繁调用高频场景

这正是「AI Coding Agent Token 成本优化」博客所覆盖的内容——通过 prompt 压缩、选择性读取、工具输出裁剪来降低 token 消耗。

路径三：自建推理集群——长期结构性降本

策略：用自有 GPU 或租用 GPU 集群运行开源模型
实现难度：⭐⭐⭐⭐⭐（极高）
成本降低幅度：60-80%（大规模部署时）
前提条件：足够的 GPU 资源、平台工程能力、模型优化团队

适合场景：

代表案例：Poolside Laguna XS.2（开源 33B MoE，Apache 2.0 许可，可在单 GPU 运行）让小规模自建也具备了可行性。

路径四：AI Factory 一体化平台——企业级最优解

策略：部署端到端优化的一体化平台，让 GPU 利用率和调度效率达到最优
实现难度：⭐⭐⭐⭐（高）
成本降低幅度：40-60%（通过 GPU 利用率提升）
附加价值：成本透明、治理可控、审计完善

适合场景：大型企业、多团队、多应用并发，需要统一的 AI 基础设施和治理能力。

八、给 AI 编程工具使用者的建议

8.1 如果你是个人开发者

关注点：不要被 Jevons 悖论吓到——个人使用量级还不足以让账单失控，但需要建立基本的成本意识。

可操作建议：

8.2 如果你是工程团队负责人

关注点：团队规模扩大后，AI 成本会非线性增长，需要提前规划。

可操作建议：

8.3 如果你是企业技术决策者

关注点：AI 成本正在成为 IT 账单的重要组成，需要从基础设施和财务两个维度来管理。

可操作建议：

8.4 最重要的一句话

AI 编程工具的成本不是 “贵不贵” 的问题，而是 “值不值” 的问题。

降低 cost-per-token 是手段，不是目的。真正的目标是通过 AI 提效创造超过其成本的商业价值。

当你发现 AI 编程工具带来的生产力提升 > AI 成本增长，这个投入就是合理的。如果不是，那就需要回到路径三和路径四，优化你的成本结构。

结语

Jevons 悖论告诉我们：效率提升会带来更大的消耗，而不是更少的消耗。这对 AI 行业的含义是——只要 AI 的价值持续被证明，AI 的总消耗量就会持续增长，无论模型价格下降多快。

对于 AI 编程工具的使用者和企业来说，这意味着：

  1. 光靠等模型降价是不现实的——使用量的增长会抵消单价下降
  2. 基础设施优化是长期竞争力的核心——GPU 利用率、模型路由、成本透明
  3. 成本意识要从第一天就建立，而不是等到账单爆炸才去管控
  4. AI Factory 模式是大型组织的必经之路——统一基础设施 + 智能路由 + 精细计量

理解算力经济学，不是为了限制 AI 的使用，而是为了让 AI 的投入产出比最大化。

延伸阅读

*本文系「AI 编程实战笔记」持续学习 Agent 出品 2026-05-01*