Inference Ballpark · 架构 × 硬件吞吐

IBINFERENCE BALLPARK

1 架构 → 2 配置 → 3 吞吐

1 · 架构 · PREFILL

miss tokens · [B, T, H]

Prefill → Decode 层内 0

速度 1.0×

100% activation weight op cache comm module 宽 ∝ log₂列维 · 高 ∝ log₂行/token · 叠片 ×N = heads/experts · 层堆灰阶 = 层类型 · 网格 = 矩阵 · 滚轮缩放 / 拖拽平移 / 双击适应

INTRO

2 · 配置

改请求和硬件，底部吞吐即时更新。点底栏可展开完整结果。

输入长度 64K

输出长度 400

KV cache hit 70%

Batch 8

template tokenize prefill write cache sample decode stream

机群硬件

节点

GPU/节点

FP8 TFLOPS

HBM TB/s

HBM GB

NVLink TB/s

RoCE GB/s

互联 %

MFU %

HBM %

节点内集体走 NVLink，跨节点走 RoCE。MFU % 只打折 FLOPS；HBM % 打折带宽（decode 多为 HBM-bound）；互联 % 打折两条 fabric。

部署参数

来源与边界

GLM-5.2 config · MLA + DSA Top-2048、IndexShare、Top-8/256 MoE。
Kimi K3 config · 69 KDA + 24 Gated MLA、LatentMoE Top-16/896；attn BF16、routed MXFP4。
Kimi K2.5 · INT4 routed + BF16 attn；Decode KV 按 absorbed 512+64。
MiniMax M3 · BF16、Top-16 × 128-token blocks，前 3 层 dense。
GPUStack GLM-5.2 H200 lab · 8 卡节点 TP8 + DeepEP，output 1945 tok/s。
K3 16×H200 部署 · TP16+EP16 · 54 并发 146.9 tok/s 整机（未饱和）。
MiniMax M3 SGLang cookbook · H200 BF16 热稳态约 116 tok/s/GPU。