结论前置：推理吞吐的第一约束常常是带宽，而不是峰值算力

在主流大模型推理部署中，单次解码步骤需要把模型权重完整读一遍，这部分数据量与批处理规模基本无关。因此当算力继续堆高、而显存带宽停滞时，每 token 的有效算力利用率会快速下降。乐球吧技术解读栏目在梳理公开规格书时发现，多数推理卡在中小批量场景下的实测吞吐，与“带宽除以每 token 权重读取字节数”这一简单估算高度吻合，偏差主要来自缓存命中与并行切分策略。

换句话说，工程师在做容量规划时，先算带宽账往往比先算算力账更接近真实上限。乐球吧在整理产业数据时也观察到，同一代产品中带宽提升幅度较大的型号，其单位功耗吞吐改善通常更明显。

三个可自查的数据关系

第一是权重读取量与批量的关系：权重读取量近似恒定，激活值随批量线性增长，因此小批量时带宽几乎全部用于搬权重，大批量时才逐步转向搬激活。第二是算术强度：每读取一字节权重所能支撑的乘加次数，决定了算力与带宽的匹配点。第三是缓存层级：片上缓存能截留多少重复读取，直接改变有效带宽。

  • 权重读取量 ≈ 参数量 × 每参数字节数，与批量无关，是带宽占用的下限。
  • 激活值读取量 ≈ 批量 × 序列长度 × 隐藏维度 × 字节数，随批量线性上升。
  • 有效带宽 = 标称带宽 × 缓存命中修正系数，后者需用实测反推，不能直接照搬规格书。
  • 单位功耗吞吐 = 吞吐 ÷ 整卡功耗，比较不同方案时应统一批量与序列长度口径。

乐球吧建议把上述四项做成一张表，逐型号填入公开规格与自测值，标注哪些是示例数据，避免把不同口径的数字直接比较。

精度格式如何改变带宽账本

把权重从 16 位降到 8 位，理论上权重读取量减半，带宽压力随之缓解，但量化带来的精度损失需要用校准数据补偿。乐球吧在技术解读中反复强调，精度格式的选择不是单纯的存储问题，而是带宽、算力与精度三者的联合取舍：低精度让同样带宽能喂饱更多算力单元，但也可能让部分层被迫回到高精度，形成混合精度的带宽尖峰。

工程上常见的做法是对敏感层保留较高精度，其余层压缩，从而在总带宽不变的前提下提升有效吞吐。乐球吧梳理的公开资料显示，这类混合策略的收益高度依赖模型结构，不能一概而论。

给工程师的观察清单

第一，先确认瓶颈落在权重搬运还是激活搬运，再决定优化方向。第二，比较方案时锁定同一批量与序列长度，否则带宽账本无法对齐。第三，把缓存命中率作为独立指标跟踪，它是标称带宽与有效带宽之间最大的变量。第四，关注封装形态对带宽的支撑能力，先进封装往往决定了带宽能堆到多高。乐球吧客户端在安卓、苹果 iOS、Windows 电脑版与 Mac 电脑版上同步了这类数据表的更新，便于随时对照。乐球吧将持续以结论前置的方式拆解这类议题，让每一个数字都能被复算与追溯。