論文の概要: ZeRO-Prefill: Zero Redundancy Overheads in MoE Prefill Serving

• arxiv url: http://arxiv.org/abs/2605.02960v1
• Date: Sun, 03 May 2026 03:10:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:43.537208
• Title: ZeRO-Prefill: Zero Redundancy Overheads in MoE Prefill Serving
• Title（参考訳）: ZeRO-Prefill: MoEプレフィルでゼロ冗長オーバーヘッド
• Authors: Zhaoyuan Su, Olatunji Ruwase, Karthik Ganesan, Aurick Qiao, Samyam Rajbhandari, Juncheng Yang, Yue Cheng, Yuxiong He,
• Abstract要約: 本稿では,ZeRO-Prefillを提案する。ZeRO-Prefillはプリフィルのみのサービスシステムで,バックエンドはアクティベーションによってルーティングするのではなく,専門家を重みに集める。 Qwen3-235B-A22Bでは、4つのハードウェア/精度構成でZeRO-Prefillは1.35-1.37倍のスループットを提供する。
• 参考スコア（独自算出の注目度）: 18.574823955774207
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Production LLM workloads increasingly serve discriminative tasks, such as classification, recommendation, and verification, whose answers are read from the logits of a single prefill pass with no autoregressive decoding. Serving these prefill-only workloads on mixture-of-experts (MoE) models is bottlenecked not by compute but by the distributed execution required to fit the model: existing parallel strategies (tensor, expert, and pipeline parallelism) trade memory pressure for redundant computation, communication, and synchronization, severely degrading MoE prefill serving efficiency. We observe that these overheads stem from coupling expert placement with synchronous activation routing -- a design inherited from the decoding era. The long, compute-bound forward passes of large-batch prefill open a per-layer window wide enough to stream expert weights in the background, replacing per-layer activation AllToAll with asynchronous weight AllGather fully overlapped with computation. We propose ZeRO-Prefill, a prefill-only serving system whose backend, AsyncEP (Asynchronous Expert Parallelism), gathers experts by weight rather than routing them by activation, and whose frontend co-enforces a physically-derived saturation threshold through prefix-aware routing and true-FLOPs load tracking. On Qwen3-235B-A22B across four hardware/precision configurations, ZeRO-Prefill delivers 1.35-1.37x throughput over the strongest distributed baseline on real-world workloads and up to 1.59x on long-context synthetic workloads, sustaining 29.8-36.2% per-GPU model FLOPs utilization.
• Abstract（参考訳）: プロダクションLLMワークロードは、分類、レコメンデーション、検証といった差別的なタスクを、自動回帰デコードなしで単一のプリフィルパスのロジットから読み取るようになっている。 既存の並列戦略(テンソル、エキスパート、パイプライン並列性) 冗長な計算、通信、同期のためのトレーディングメモリ圧力、MoEプリフィルサービス効率を著しく低下させる。 これらのオーバーヘッドは、同期アクティベーションルーティング(decoding era)から継承された設計である、専門家の配置と同期のアクティベーションルーティングとの結合に由来する。 大きくバッチされたプリフィルの長い計算バウンドのフォワードパスは、バックグラウンドで専門家の重みをストリームするのに十分な層ごとのウィンドウを開き、AllToAllを非同期の重み付きAllGatherに置き換える。 本稿では,非同期エキスパート並列処理(AsyncEP)をバックエンドとするプリフィルオンリーサービスシステムであるZeRO-Prefillを提案する。 Qwen3-235B-A22Bでは、4つのハードウェア/精度構成で、ZeRO-Prefillは現実世界のワークロードにおいて最強の分散ベースラインで1.35-1.37倍のスループットを提供し、長文合成ワークロードでは最大1.59倍、GPUモデル当たりのFLOPは29.8-36.2%である。

関連論文リスト

• SpecEyes: Accelerating Agentic Multimodal LLMs via Speculative Perception and Planning [104.01865949020304]
  エージェント・マルチモーダル・大規模言語モデル(MLLM)は,反復的な視覚的ツールの実行によって顕著な推論能力を達成する。 しかし、カスケード認識、推論、ツール呼び出しループは、重要なシーケンシャルなオーバーヘッドをもたらす。 このオーバーヘッドはエージェントディープと呼ばれ、禁止されたレイテンシを発生させ、システムレベルのスループットを著しく制限します。 本稿では,エージェントレベルの投機的アクセラレーションフレームワークであるSpecEyesを提案する。
  論文  参考訳（メタデータ） (2026-03-24T17:45:47Z)
• Stacked from One: Multi-Scale Self-Injection for Context Window Extension [69.24689919827817]
  Modelnameは、多粒度コンテキスト圧縮とクエリ対応情報取得に基づく新しいフレームワークである。 modelnameachievesパフォーマンスは、強いベースラインと同等か、優れている。
  論文  参考訳（メタデータ） (2026-03-05T03:16:16Z)
• Least-Loaded Expert Parallelism: Load Balancing An Imbalanced Mixture-of-Experts [74.40169987564724]
  エキスパート並列性(EP)は、複数のデバイスに専門家を分散させることで、MoEモデルをスケールするように設計されている。 極端な不均衡の下で、EPは少数の専門家に不均等な数のトークンを渡し、計算とメモリバウンドの障害を引き起こす。 本稿では,過剰なトークンと関連する専門家パラメータを過負荷デバイスから未利用デバイスへ動的に再帰する新しいEPアルゴリズムであるLast-Loaded Expert Parallelism (LLEP)を提案する。
  論文  参考訳（メタデータ） (2026-01-23T18:19:15Z)
• RollArt: Scaling Agentic RL Training via Disaggregated Infrastructure [49.88201789074532]
  エージェント強化学習(RL)は、大規模言語モデル(LLM)が自律的な意思決定と長期計画を行うことを可能にする。 分散インフラストラクチャ上でマルチタスクエージェントRLのスループットを最大化する分散システムであるRollArcを提案する。
  論文  参考訳（メタデータ） (2025-12-27T11:14:23Z)
• Eliminating Multi-GPU Performance Taxes: A Systems Approach to Efficient Distributed LLMs [61.953548065938385]
  分析フレームワークとして'3つの税'(バルク同期、カーネル間データローカリティ、カーネルローンチオーバーヘッド)を紹介した。 我々は、分散GPU実行におけるキー非効率に対処するために、厳密なBSPモデルを超えて移動することを提案する。 BSPベースのアプローチによるエンドツーエンドのレイテンシの10-20%の高速化を観察する。
  論文  参考訳（メタデータ） (2025-11-04T01:15:44Z)
• Nexus:Proactive Intra-GPU Disaggregation of Prefill and Decode in LLM Serving [4.309392302169281]
  エンジンレベルのプリフィル・デコード(PD)デアグリゲーションは干渉を避けるが、高いハードウェアと調整オーバーヘッドを引き起こす。 PDは、最大2.2倍のスループット、20倍のTTFT、2.5倍のTBTを達成する。
  論文  参考訳（メタデータ） (2025-07-09T07:27:18Z)
• D$^{2}$MoE: Dual Routing and Dynamic Scheduling for Efficient On-Device MoE-based LLM Serving [14.607254882119507]
  専門家(MoE)モデルの組み合わせは、大きな言語モデル(LLM)のスパース変種である。 メリットはあるものの、リソース制約のあるエッジデバイスにデプロイするにはMoEは高価すぎる。 D$2$MoEは,各専門家に最適なビット幅を動的に割り当てることで,多様なタスク要求に適合するアルゴリズム・システム協調設計フレームワークである。
  論文  参考訳（メタデータ） (2025-04-17T05:37:35Z)
• BAFFLE: A Baseline of Backpropagation-Free Federated Learning [71.09425114547055]
  フェデレートラーニング(FL)は、分散クライアントがローカルデータを共有せずにサーバモデルをまとめて訓練する一般的な原則である。 我々は、バックプロパゲーションを複数のフォワードプロセスに置き換えて勾配を推定する、BAFFLEと呼ばれる、バックプロパゲーションフリーなフェデレーション学習を開発する。 BAFFLEは、1)メモリ効率が高く、アップロード帯域幅に適しており、2)推論のみのハードウェア最適化とモデル量子化やプルーニングと互換性があり、3)信頼できる実行環境に適している。
  論文  参考訳（メタデータ） (2023-01-28T13:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。