讨论3 条回复
H20 八卡跑 72B 推理实测:并发、吞吐、成本全记录
GGPU贩子小马
vLLM + 72B int8,单机 H20 八卡实测数据:
| 指标 | 数值 |
|---|---|
| 并发 QPS | 22 |
| 首字延迟 P50 | 380ms |
| 吞吐 | 4,100 tok/s |
| 折算成本 | 比 API 便宜约 40% |
机器:H20 96G × 8,月租 ¥15.6w(日租折算)
模型:72B int8 量化,TP=4 双实例
但要自己扛:
- 驱动/固件坑(NCCL 版本地狱)
- 掉卡重启(平均一周一次)
- 值班响应
结论:日均 token 消耗 > 5 亿才值得自建,否则老实用 API。