論文の概要: EasyBalance: Cross-Layer Load Balancing in Distributed MoE Inference
- arxiv url: http://arxiv.org/abs/2608.07964v1
- Date: Sat, 08 Aug 2026 06:59:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.587706
- Title: EasyBalance: Cross-Layer Load Balancing in Distributed MoE Inference
- Title（参考訳）: EasyBalance: 分散MoE推論におけるクロス層ロードバランシング
- Abstract要約: EasyBalanceはクロスレイヤなロードバランシング戦略であり、エキスパートデバイスマッピングの変更を必要としない。
私たちの重要な洞察は、他のレイヤの専門家は、現在のレイヤに対して自然に冗長であると見なすことができ、クロスレイヤのMoEワークロードを共同で実行することで、個々の不均衡を緩和できるということです。
モデル、タスク、設定にわたる実験では、EasyBalanceが分散MoE推論を継続的に加速し、GPUアイドリングをほぼ40%削減している。
- 参考スコア（独自算出の注目度）: 14.315981403487266
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Load Balancing has emerged as a critical problem in expert-parallel distributed inference of Mixture-of-Experts (MoE) models. As routing distributions are typically skewed across experts, devices hosting lighter-loaded experts must idle to wait for the heaviest during expert computing, leading to inefficiency. Existing load-balancing approaches primarily rely on expert replication or migration within each layer, which introduce additional overhead and limit their flexibility and scalability. To address this problem, we propose EasyBalance, a cross-layer load balancing strategy that requires no modifications to the expert-device mapping, enabling instant adaptability and incurring essentially no additional overhead. Our key insights are that (1) experts of other layers can be viewed as naturally redundant for the current layer, and (2) cross-layer MoE workloads can be jointly executed to mitigate their individual imbalance. Based on these observations, EasyBalance greedily schedules a subset of cross-layer workloads to run at each MoE step and defers the remaining workloads for future balancing opportunities, effectively leveraging cross-layer imbalance mitigation. Extensive experiments across models, tasks, and configurations demonstrate that EasyBalance consistently accelerates distributed MoE inference, reducing GPU idling by mostly over 40%. Code is available at https://github.com/yize-wu/EasyInfra.
- Abstract（参考訳）: ロードバランシングは、Mixture-of-Experts(MoE)モデルのエキスパート並列分散推論において重要な問題となっている。
ルーティングの分散は通常、専門家に分散されるため、軽量にロードされたエキスパートをホストするデバイスは、専門家のコンピューティングで最も重いのを待つためにアイドルを取らなければならない。
既存のロードバランシングアプローチは、主に各レイヤ内の専門家によるレプリケーションやマイグレーションに依存しているため、オーバーヘッドが増加し、柔軟性とスケーラビリティが制限される。
この問題に対処するために、私たちはEasyBalanceというクロスレイヤなロードバランシング戦略を提案します。
私たちの重要な洞察は、(1)他のレイヤの専門家は、現在のレイヤに対して自然に冗長であると見なすことができ、(2)クロスレイヤのMoEワークロードを共同で実行することで、個々の不均衡を緩和できるということです。
これらの観察に基づいてEasyBalanceは、各MoEステップで実行するように、層間ワークロードのサブセットを優しくスケジュールし、残りのワークロードを将来のバランスの確保のためにフェールさせ、層間不均衡の緩和を効果的に活用する。
モデル、タスク、設定にわたる大規模な実験は、EasyBalanceが分散MoE推論を一貫して加速し、GPUアイドリングをほぼ40%以上削減していることを示している。
コードはhttps://github.com/yize-wu/EasyInfra.comで入手できる。
関連論文リスト
- Distribution-Consistent Inference for Dynamic Sparse Mixture-of-Experts [48.294824672909876]
推論時動的top-k$ルーティングは、再トレーニングせずに計算を削減できる。
アクティベートした専門家の数を減らせば、SMoE出力のRMSスケールと分散が一貫して増加することを示す。
そこで我々は,レイヤワイズ・キャリブレーションの統計値を用いて,最小構成の縮小表現を整列する軽量な推論時間補正法であるレイヤワイズ・アライメント・アライメント(LDA)を提案する。
論文 参考訳（メタデータ） (2026-09-08T06:23:07Z) - FreeBalance: Pre-Routing Online Moe Load Balancing via Residual Workload Prediction [9.667835210603913]
ほとんどのロードされたランクは、スキュールーティングの分散によってグローバルな実行が停止し、直接レイテンシが増加する。
既存のアプローチでは、各MoEルータの後に収集されたルーティング統計に依存する。
残負荷予測を通じて,専門家のマイグレーションと事前の計算段階を重複させるオンラインロードバランシングフレームワークであるFreeBalanceを提案する。
論文 参考訳（メタデータ） (2026-08-14T11:30:39Z) - $φ$-Balancing for Mixture-of-Experts Training [20.061328126956028]
Mixture-of-Experts (MoE)モデルは、そのスケーラビリティを完全に実現するために、バランスのとれた専門家の利用に依存します。
我々は,厳密な凸性,対称性,および予測されるルーティング分布の微分ポテンシャルを最小化することにより,集団レベルの専門家バランスを直接ターゲットとする原則的フレームワークである$-balancingを提案する。
論文 参考訳（メタデータ） (2026-05-14T20:39:28Z) - A Replicate-and-Quantize Strategy for Plug-and-Play Load Balancing of Sparse Mixture-of-Experts LLMs [64.8510381475827]
SMOE(Sparse Mixture-of-Experts)アーキテクチャは、大規模言語モデルを効率的にスケールするためにますます使われている。
SMoEモデルは専門家間で厳しい負荷不均衡に悩まされることが多く、専門家のごく一部がほとんどのトークンを受け取り、他のモデルは未利用である。
推定中のエキスパートルーティングの体系的解析を行い, (i) 負荷不均衡が持続し, バッチサイズが大きくなる, (ii) 選択頻度が, 専門家の重要度を確実に反映しない, (iii) 専門家の全体負荷と重要性を, キャリブレーションセットを用いて推定できる,という3つの知見を同定する。
論文 参考訳（メタデータ） (2026-02-23T15:11:16Z) - SMES: Towards Scalable Multi-Task Recommendation via Expert Sparsity [47.79376327982703]
産業推薦システムはマルチタスク学習に頼り、多様なユーザフィードバック信号を推定し、それらをランキングに集約する。
モデルスケーリングの最近の進歩は、推薦において有望な利益を示している。
この一様パラメータスケーリングと異種タスクキャパシティ要求のミスマッチは、スケーラブルなマルチタスクレコメンデーションに根本的な課題をもたらす。
論文 参考訳（メタデータ） (2026-02-10T03:56:12Z) - Least-Loaded Expert Parallelism: Load Balancing An Imbalanced Mixture-of-Experts [74.40169987564724]
エキスパート並列性(EP)は、複数のデバイスに専門家を分散させることで、MoEモデルをスケールするように設計されている。
極端な不均衡の下で、EPは少数の専門家に不均等な数のトークンを渡し、計算とメモリバウンドの障害を引き起こす。
本稿では,過剰なトークンと関連する専門家パラメータを過負荷デバイスから未利用デバイスへ動的に再帰する新しいEPアルゴリズムであるLast-Loaded Expert Parallelism (LLEP)を提案する。
論文 参考訳（メタデータ） (2026-01-23T18:19:15Z) - MC#: Mixture Compressor for Mixture-of-Experts Large Models [86.64315380917827]
Mixture-of-Experts (MoE)は、大きな言語モデル(LLM)と視覚言語モデル(VLM)をスパースアクティベーションによって拡張することで効果的にスケールする。
静的量子化と動的エキスパートプルーニングを組み合わせたフレームワークであるMC#(Mixture-Compressor-sharp)を提案する。
論文 参考訳（メタデータ） (2025-10-13T03:12:46Z) - PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。
PT$2$-LLMを提案する。
その中核は2段精製パイプラインを備えた非対称3次量子化器である。
論文 参考訳（メタデータ） (2025-09-27T03:01:48Z) - MoETuner: Optimized Mixture of Expert Serving with Balanced Expert Placement and Token Routing [0.6445605125467574]
Mixture-of-Experts (MoE)モデルアーキテクチャは、トランスフォーマーモデルを効率的にスケーリングするための有望なソリューションとして登場した。
MoEモデルはGPUデバイスに分散する必要があるため、重要なパフォーマンスボトルネックに直面している。
本稿では,トークンルーティングコストとデバイス間のトークン処理バランスを最小化する,最適専門家対GPU割り当てを提案する。
論文 参考訳（メタデータ） (2025-02-10T16:34:36Z) - Auxiliary-Loss-Free Load Balancing Strategy for Mixture-of-Experts [13.413587367600444]
不均衡な専門家の負荷は、ルーティングの崩壊や計算オーバーヘッドの増加につながる。
本稿では,ロバストな負荷分散戦略を特徴とするロスフリーバランシングを提案する。
最大200Bトークンでトレーニングされた最大3Bパラメータを持つMoEモデル上でのロスフリーバランシングの性能を検証する。
論文 参考訳（メタデータ） (2024-08-28T09:31:09Z) - BASE Layers: Simplifying Training of Large, Sparse Models [53.98145464002843]
我々は,大規模言語モデルのための新しいバランスド・アサイン・オブ・エキスパート(base)層を導入する。
スパース層は、各トークンを専門のエキスパートモジュールにルーティングすることで、トレーニングと推論の効率を劇的に改善することができる。
トークン対エキスパート割り当てを線形割り当て問題として定式化し、各専門家が等しいトークン数を受け取る最適な割り当てを可能にする。
論文 参考訳（メタデータ） (2021-03-30T23:08:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。