结论先行：推理芯片选型最容易踩的坑，是把厂商标称的峰值算力当成实际业务吞吐。真正决定一颗芯片能否跑好你的模型的，是精度口径、显存容量与带宽、互联能力、以及软件栈成熟度这四项的匹配度。看球宝技术解读栏目这次不谈具体型号，只给一套可以照着走的核对流程。

在看球宝的日常内容整理中，我们发现很多读者对推理芯片的认知停留在"TOPS 越大越好"。这个直觉在训练场景尚有参考价值，在推理场景却经常失效，因为推理的瓶颈往往不在乘加单元，而在数据搬运和调度。

第一步：先确认算力数字的精度口径

核心信息：同一颗芯片在不同精度下标称算力可能相差数倍，比较前必须统一到同一精度。

厂商标注的推理算力通常对应 INT8 或 FP8，部分产品会给出稀疏化后的数字。稀疏算力与实际稠密算力之间不是简单换算关系，取决于模型结构是否真的能被稀疏加速。看球宝建议读者在对比表格里单独列一栏"精度与稀疏条件"，把不同来源的数字拉回同一基准再比较。

  • 确认标称值对应 INT8、FP8 还是 FP16，不要跨精度直接比大小。
  • 确认是否标注了稀疏加速，稠密场景下应使用稠密算力。
  • 确认算力是整芯片还是单 Die，多 Die 封装产品要看清统计口径。

第二步：用显存容量反推可部署模型规模

核心信息：显存容量决定了单卡能装下多大的模型与多大的批处理，这往往比算力更早成为硬约束。

推理阶段的显存占用包括权重、KV Cache 和中间激活。权重占用相对固定，KV Cache 则随并发数和上下文长度线性增长。看球宝在整理公开规格书时常用的粗算方法是：先按权重精度估算权重占用，再为每路并发预留 KV Cache 空间，剩余部分才是可用的批处理余量。如果一颗芯片算力很强但显存偏小，长上下文场景下吞吐会被并发数直接卡住。

第三步：把互联带宽纳入评估

核心信息：单卡性能之外，卡间互联与主机互联带宽决定了多卡部署时的扩展效率。

很多选型讨论只盯着单卡指标，实际部署却常常是多卡并行。此时互联带宽不足会让张量并行的通信开销吃掉算力收益。看球宝建议在评估表里增加两行：卡间互联带宽、主机侧互联带宽，并注明对应的拓扑结构。对于以单卡推理为主的边缘场景，这两项的权重可以降低；对于数据中心侧的大模型服务，它们的重要性不亚于算力本身。

第四步：用接近真实业务的负载做实测

核心信息：只有用你自己的模型、自己的输入长度分布、自己的并发曲线跑出来的吞吐，才是可信的吞吐。

公开 benchmark 的输入输出长度分布往往与业务差异很大。看球宝建议读者设计一组最小实测：固定模型与精度，分别测低并发延迟与高并发吞吐，记录首 token 延迟和每 token 延迟两个指标，并观察随并发上升吞吐的拐点在哪里。这个拐点比任何标称数字都更能说明芯片在你场景下的实际能力。

  • 低并发测延迟，高并发测吞吐，两组数据都要留。
  • 记录拐点并发数，它对应系统的经济工作区间。
  • 同步记录软件栈版本，推理引擎版本升级会明显改变结果。

把这四步做成一张固定的核对表，看球宝的读者在多轮选型中就能积累起可比较的历史数据。芯片在迭代，方法论不需要每次重来。你也可以在安卓、苹果 iOS、Windows 电脑版或 Mac 电脑版客户端上收藏看球宝的技术解读栏目，随时回看这套流程。