論文の概要: FastAFD: When Does Attention-FFN Disaggregation Pay on Rack-Scale NVLink?

• arxiv url: http://arxiv.org/abs/2611.07149v1
• Date: Wed, 04 Nov 2026 21:21:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.454566
• Title: FastAFD: When Does Attention-FFN Disaggregation Pay on Rack-Scale NVLink?
• Title（参考訳）: FastAFD: Atention-FFN Disaggregation Pay on Rack-Scale NVLink?
• Abstract要約: Attention-FFN disaggregation (AFD) は、Mixix-of-experts (MoE) モデルのエキスパートから注目を集めている。 FastAFDはGB200 NVL72用のAFDエンジンで、一方のマイクロバッチのMoEと他方の注意を兼ね備えている。 AFD のスループットは Qwen3 では 1.17倍,Qwen3.5 では 1.16倍 で,MiniMax-M2.5 では 1.16倍 である。
• 参考スコア（独自算出の注目度）: 10.665539923879088
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attention-FFN disaggregation (AFD) separates attention from the experts of a mixture-of-experts (MoE) model and has been reported to raise decode throughput over colocated serving. Whether this advantage holds on rack-scale NVLink systems such as GB200 NVL72 remains unclear: prior results were obtained on other hardware, against narrower colocated baselines, or with analytical models, whereas production engines serve large MoE models on these systems with wide expert parallelism (wide EP). We build and tune FastAFD, an AFD engine for GB200 NVL72 that overlaps the MoE of one microbatch with the attention of the other, and compare it against the best vLLM wide EP setting. Experiments show that AFD has a throughput advantage of up to 1.17x over wide EP on Qwen3 and 1.16x on Qwen3.5, and matches it on MiniMax-M2.5. We derive an analytical model that predicts AFD throughput within 3% using only profiles of colocated vLLM, telling whether switching to AFD would pay off before deploying it. The model yields a concise insight: AFD's speedup factors into a batch gain (larger batches, since attention GPUs hold no expert weights), an overlap gain (shorter steps, since the MoE runs on the expert GPUs behind attention), and a disaggregation cost (the GPUs given to experts). AFD has the advantage when the two gains outweigh the cost. This view explains which models benefit from AFD, and shows that speculative decoding helps light-expert models most, where the enlarged overlap gain outweighs the larger disaggregation cost and adds a further 8% to AFD's advantage over wide EP. Looking ahead, serving the experts on accelerators that keep their weights in on-chip SRAM, such as the Groq LPX accelerators paired with Vera Rubin NVL72, would remove most of the disaggregation cost, raising the ideal speedup to 2.48x with speculative decoding. FastAFD is open source at https://github.com/hao-ai-lab/FastAFD.
• Abstract（参考訳）: Attention-FFN disaggregation (AFD) は、Mix of-experts (MoE) モデルのエキスパートから注意を引き離し、コロケーションされたサービスよりもデコードスループットを高めることが報告されている。 この利点が GB200 NVL72 のようなラックスケールの NVLink システムに当てはまるかどうかは不明である: 以前の結果は他のハードウェア、より狭いコロケーションベースライン、あるいは分析モデルに対して得られた。 我々は、GB200 NVL72用のAFDエンジンであるFastAFDを構築してチューニングする。 実験の結果、AFDはQwen3のEPのスループットを最大1.17倍、Qwen3.5の1.16倍としており、MiniMax-M2.5と一致している。 我々は、同じ位置にあるvLLMのプロファイルのみを用いて、3%以内のAFDスループットを予測し、AFDへの切り替えがデプロイ前にフェールするかどうかを判断する分析モデルを構築した。 AFDのスピードアップ要因をバッチゲイン(注意GPUは専門家の重みを持たないため、より大規模なバッチ)、オーバーラップゲイン(MoEは専門家のGPUで運用されているため、より厳しいステップ)、デアグリゲーションコスト(専門家に与えられるGPU)である。 AFDは2つの利得がコストを上回ると利点がある。 この見解は、どのモデルがAFDの恩恵を受けるかを説明し、投機的復号化がより軽量なモデルに役立つことを示す。 今後は、ヴェラ・ルービンのNVL72と組み合わせたGroq LPXアクセラレーターのような、チップ上のSRAMに重みを保つアクセラレーターの専門家に提供することで、デアグリゲーションコストの大半を削減し、投機的復号化によって理想的なスピードアップを2.48倍に向上させる。 FastAFDはhttps://github.com/hao-ai-lab/FastAFDでオープンソース公開されている。

関連論文リスト

• How Far Can Disaggregation Go? A Design-Space Exploration of Attention-FFN Disaggregation for Efficient MoE LLM Serving [14.552785121277529]
  本研究では,デバイス上でのカーネル計測と高忠実度ネットワークシミュレーションを融合したフレームワークを用いて,AFD(Attention-FFN Disaggregation)のメリットと限界について検討する。 厳格なTTFT/TPOT SLOの下では、AFDはチャット、コーディング、エージェントコーディングのワークロード間でDeepSeek-V3.2で約4kトークン/秒のシステムスループットを維持できる。
  論文  参考訳（メタデータ） (2026-05-27T10:55:57Z)
• Characterizing Vision-Language-Action Models across XPUs: Constraints and Acceleration for On-Robot Deployment [8.758783768535805]
  VLA(Vision-Language-Action)モデルは、一般的なロボット制御に期待できるが、ロボット上での展開は、コストとエネルギー予算の厳しいリアルタイム推論によってボトルネックとなる。 本稿では,モデル・ハードウエアのコキャラクタリゼーションによる低コストVLAデプロイメントの系統的解析を行う。
  論文  参考訳（メタデータ） (2026-04-27T13:12:16Z)
• Mixture of Lookup Experts [63.787712153454464]
  Mixture-of-Experts (MoE)は、推論中に専門家のサブセットだけを起動する。 MoLEは通信とVRAMの両方で効率的な新しいMoEアーキテクチャである。
  論文  参考訳（メタデータ） (2025-03-20T02:31:57Z)
• FFSplit: Split Feed-Forward Network For Optimizing Accuracy-Efficiency Trade-off in Language Model Inference [57.119047493787185]
  本稿では、異なるハードウェア上で、モデルサイズを43.1%削減し、1.25sim1.56times$wall clock time speedupを無視できる精度低下で実現する方法を示す。 実際、本手法では、異なるハードウェア上で、モデルサイズを43.1%削減し、1.25sim1.56Times$wall clock time speedupを無視できる精度で実現している。
  論文  参考訳（メタデータ） (2024-01-08T17:29:16Z)
• Merging Experts into One: Improving Computational Efficiency of Mixture of Experts [71.44422347502409]
  スパースミキチャー・オブ・エキスパート(MoE)は、パラメータの小さなサブセットをアクティベートすることでコストを削減することができる。 計算コストを大幅に高めることなく、より多くの専門家を追加するという利点を維持できるだろうか? そこで我々は,textbftexttMerging Experts into One (MEO) という計算効率のよい手法を提案する。
  論文  参考訳（メタデータ） (2023-10-15T13:28:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。