論文の概要: FreeBalance: Pre-Routing Online Moe Load Balancing via Residual Workload Prediction

• arxiv url: http://arxiv.org/abs/2608.14205v1
• Date: Fri, 14 Aug 2026 11:30:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 20:14:29.366007
• Title: FreeBalance: Pre-Routing Online Moe Load Balancing via Residual Workload Prediction
• Title（参考訳）: FreeBalance: 残負荷予測によるオンラインMoeロードバランシングの事前実行
• Abstract要約: ほとんどのロードされたランクは、スキュールーティングの分散によってグローバルな実行が停止し、直接レイテンシが増加する。 既存のアプローチでは、各MoEルータの後に収集されたルーティング統計に依存する。 残負荷予測を通じて,専門家のマイグレーションと事前の計算段階を重複させるオンラインロードバランシングフレームワークであるFreeBalanceを提案する。
• 参考スコア（独自算出の注目度）: 9.667835210603913
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Load imbalance poses a major bottleneck to the efficiency of expert parallelism in distributed inference of Mixture-of-Experts (MoE) models. The most heavily loaded rank stalls global execution due to skewed routing distributions, directly increasing latency. While offline expert placement can alleviate persistent imbalance, practical multi-task serving workloads exhibit layer- and batch-dependent routing dynamics, making online load balancing indispensable. Existing approaches rely on routing statistics collected after each MoE router, requiring expert weight load or migration to begin only after routing decisions are available, consequently placing migration overhead on the inference critical path. In this work, we observe that online balancing can instead be largely overlapped with computation before target routing (e.g., attention), if routing distributions can be predicted accurately in advance. Therefore, we propose FreeBalance, a lossless online load-balancing framework that overlaps expert migration with preceding computation stages via residual workload prediction. FreeBalance leverages cross-layer similarities in hidden representations within the residual network to build a lightweight workload predictor. This enables proactive expert migration planning before routing decisions are available, creating substantial overlap between weight transfer and computation-heavy pre-routing stages. Furthermore, a cost model constrains the number of swaps to fully hide the synchronization overhead within the available window. Experiments across models and datasets show that FreeBalance reduces the max-to-mean rank load ratio by 32.8% and end-to-end prefill latency by 13.1%. Specifically, our method hides balancing overhead of an average of 5.1 experts per layer, which would otherwise account for about 8.5% of the critical-path latency.
• Abstract（参考訳）: 負荷不均衡は、Mixture-of-Experts(MoE)モデルの分散推論において、専門家の並列性の効率に大きなボトルネックとなる。 最も負荷の多いランクは、スキュールーティングの分散によってグローバルな実行が停止し、直接レイテンシが増加する。 オフラインの専門家配置は永続的な不均衡を軽減することができるが、実用的なマルチタスクサービスワークロードは、レイヤとバッチ依存のルーティングダイナミクスを示し、オンラインロードバランシングが不可欠である。 既存のアプローチでは、各MoEルータの後に収集されたルーティング統計に頼っているため、ルーティング決定が利用可能になった後にのみ、専門家の重み付けやマイグレーションが必要になる。 本研究は,オンライン・バランシングが対象のルーティング前(例えば注意)の計算と大きく重なり合うことを観察する。 そこで我々はFreeBalanceを提案する。これは損失のないオンラインロードバランシングフレームワークで、残負荷予測を通じて、専門家のマイグレーションと事前の計算段階を重複させる。 FreeBalanceは、残余ネットワーク内の隠れ表現における層間類似性を活用して、軽量なワークロード予測器を構築する。 これにより、ルーティング決定が利用可能になる前に、プロアクティブな専門家のマイグレーション計画が可能になる。 さらに、コストモデルは、利用可能なウィンドウ内で同期オーバーヘッドを完全に隠蔽するためにスワップの数を制限する。 モデルとデータセット間の実験により、FreeBalanceは最大から平均までのロード率を32.8%削減し、エンドツーエンドのプリフィルレイテンシを13.1%削減した。 具体的には,各層平均5.1人の専門家のオーバーヘッドを隠蔽し,それ以外はクリティカルパス遅延の約8.5%を占める。

関連論文リスト

• EasyBalance: Cross-Layer Load Balancing in Distributed MoE Inference [14.315981403487266]
  EasyBalanceはクロスレイヤなロードバランシング戦略であり、エキスパートデバイスマッピングの変更を必要としない。 私たちの重要な洞察は、他のレイヤの専門家は、現在のレイヤに対して自然に冗長であると見なすことができ、クロスレイヤのMoEワークロードを共同で実行することで、個々の不均衡を緩和できるということです。 モデル、タスク、設定にわたる実験では、EasyBalanceが分散MoE推論を継続的に加速し、GPUアイドリングをほぼ40%削減している。
  論文  参考訳（メタデータ） (2026-08-08T06:59:09Z)
• $φ$-Balancing for Mixture-of-Experts Training [20.061328126956028]
  Mixture-of-Experts (MoE)モデルは、そのスケーラビリティを完全に実現するために、バランスのとれた専門家の利用に依存します。 我々は,厳密な凸性,対称性,および予測されるルーティング分布の微分ポテンシャルを最小化することにより,集団レベルの専門家バランスを直接ターゲットとする原則的フレームワークである$-balancingを提案する。
  論文  参考訳（メタデータ） (2026-05-14T20:39:28Z)
• ZeRO-Prefill: Zero Redundancy Overheads in MoE Prefill Serving [18.574823955774207]
  本稿では,ZeRO-Prefillを提案する。ZeRO-Prefillはプリフィルのみのサービスシステムで,バックエンドはアクティベーションによってルーティングするのではなく,専門家を重みに集める。 Qwen3-235B-A22Bでは、4つのハードウェア/精度構成でZeRO-Prefillは1.35-1.37倍のスループットを提供する。
  論文  参考訳（メタデータ） (2026-05-03T03:10:24Z)
• A Replicate-and-Quantize Strategy for Plug-and-Play Load Balancing of Sparse Mixture-of-Experts LLMs [64.8510381475827]
  SMOE(Sparse Mixture-of-Experts)アーキテクチャは、大規模言語モデルを効率的にスケールするためにますます使われている。 SMoEモデルは専門家間で厳しい負荷不均衡に悩まされることが多く、専門家のごく一部がほとんどのトークンを受け取り、他のモデルは未利用である。 推定中のエキスパートルーティングの体系的解析を行い, (i) 負荷不均衡が持続し, バッチサイズが大きくなる, (ii) 選択頻度が, 専門家の重要度を確実に反映しない, (iii) 専門家の全体負荷と重要性を, キャリブレーションセットを用いて推定できる,という3つの知見を同定する。
  論文  参考訳（メタデータ） (2026-02-23T15:11:16Z)
• RouteMoA: Dynamic Routing without Pre-Inference Boosts Efficient Mixture-of-Agents [91.0187958746262]
  RouteMoAは動的ルーティングを備えた効率的な混合エージェントフレームワークである。 軽量スコアラを使用して、クエリから粗い粒度のパフォーマンスを予測することで、初期スクリーニングを行う。 既存のモデル出力に基づいて、軽量な自己評価とクロスアセスメントによってこれらのスコアを洗練し、追加の推論なしで後部修正を提供する。
  論文  参考訳（メタデータ） (2026-01-26T04:22:22Z)
• Least-Loaded Expert Parallelism: Load Balancing An Imbalanced Mixture-of-Experts [74.40169987564724]
  エキスパート並列性(EP)は、複数のデバイスに専門家を分散させることで、MoEモデルをスケールするように設計されている。 極端な不均衡の下で、EPは少数の専門家に不均等な数のトークンを渡し、計算とメモリバウンドの障害を引き起こす。 本稿では,過剰なトークンと関連する専門家パラメータを過負荷デバイスから未利用デバイスへ動的に再帰する新しいEPアルゴリズムであるLast-Loaded Expert Parallelism (LLEP)を提案する。
  論文  参考訳（メタデータ） (2026-01-23T18:19:15Z)
• RollArt: Scaling Agentic RL Training via Disaggregated Infrastructure [49.88201789074532]
  エージェント強化学習(RL)は、大規模言語モデル(LLM)が自律的な意思決定と長期計画を行うことを可能にする。 分散インフラストラクチャ上でマルチタスクエージェントRLのスループットを最大化する分散システムであるRollArcを提案する。
  論文  参考訳（メタデータ） (2025-12-27T11:14:23Z)
• Dr.LLM: Dynamic Layer Routing in LLMs [55.11953638340419]
  Dr.LLMは、事前訓練されたモデルに軽量な層ごとのルータを装備し、ブロックをスキップ、実行、繰り返すように決定する、適合性のあるフレームワークである。 ARC(logic)とDART(math)では、Dr.LLMは平均で5つのレイヤを保存しながら、最大3.4%の精度向上を実現している。
  論文  参考訳（メタデータ） (2025-10-14T17:51:26Z)
• From Score Distributions to Balance: Plug-and-Play Mixture-of-Experts Routing [52.01745035243826]
  Mixture-of-Experts (MoE)モデルは、各トークンを専門家のサブセットにルーティングすることで、パラメータキャパシティをスケールすることができる。 条件付きルーティングは、推論メモリの負荷をシフトし、デバイスごとに専門家の数を制限する。 本稿では,精度を保ちながら負荷のバランスをとるプラグイン・アンド・プレイ型推論時ルーティングアルゴリズムLASERを提案する。
  論文  参考訳（メタデータ） (2025-09-29T16:29:17Z)
• Auxiliary-Loss-Free Load Balancing Strategy for Mixture-of-Experts [13.413587367600444]
  不均衡な専門家の負荷は、ルーティングの崩壊や計算オーバーヘッドの増加につながる。 本稿では,ロバストな負荷分散戦略を特徴とするロスフリーバランシングを提案する。 最大200Bトークンでトレーニングされた最大3Bパラメータを持つMoEモデル上でのロスフリーバランシングの性能を検証する。
  論文  参考訳（メタデータ） (2024-08-28T09:31:09Z)
• Reinforced Workload Distribution Fairness [3.7384509727711923]
  本稿では,アクティブロードバランサ状態監視とネットワーク観測の制限を伴わない分散強化学習機構を提案し,負荷バランサが達成したワークロード分布の公平性を向上する。 予備的な結果は、RLベースのロードバランシングアルゴリズムの有望性を示し、さらなる課題と今後の研究方向性を特定する。
  論文  参考訳（メタデータ） (2021-10-29T07:51:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。