真实 Agent 负载实测： CUDA 推理护城河面临局部击穿

真实 Agent 负载实测： CUDA 推理护城河面临局部击穿

针对传统测试脱离实际的问题，SemiAnalysis 开源了耗资 300 万美元的真实 Agent 轨迹数据集 AgentX，专门回放 1M+ 极长上下文、多轮分支及 95%+ KV 缓存命中的复杂代码生成负载。在纯软件层面，AMD 依托 70 余个开源社区 PR、TileLang 融合内核编译（打通 Fused MLA 与 FP8 KV Cache）以及自研 ATOM 运行时，仅用 26 天便让 MI355X 在 DeepSeek-V4-Pro 等前沿模型上的吞吐实现翻倍式暴增，彻底打破了“空有硬件规格、软件生态羸弱”的传统刻板印象。

在极端低延迟交互（>150 tok/s）与超大密集模型下，英伟达 Blackwell 凭借 NVLink 与 FP4 仍保持 2–5 倍的能效与成本绝对优势；但在 Kimi K3、GLM-5.3 等超大 MoE 架构及中等延迟场景中，AMD MI355X 依托 288 GB 大显存显著拉高批处理密度，每百万 Token 综合成本反超英伟达 9% 至 40%，实现局部性价比倒挂。

SemiAnalysis Blog ｜ SemiAnalysis GitHub

🌸 科技圈· 茶馆 · 投稿