論文の概要: Exact Quantile Balancing and Load-Error Injection for Mixture-of-Experts
- arxiv url: http://arxiv.org/abs/2609.28053v1
- Date: Wed, 23 Sep 2026 13:07:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:18.025046
- Title: Exact Quantile Balancing and Load-Error Injection for Mixture-of-Experts
- Title（参考訳）: エクササイズバランシングと負荷誤差注入
- Abstract要約: Mixture-of-Experts(MoE)トレーニングでは、専門家のアンダーユース化と、専門家と並列実行の効率的なローカルバランスを防ぐために、グローバルなロードバランシングが必要となる。
本稿では,正確なグローバルバッチBF16量子化を無視可能な通信で計算するExact Quantile Balancing(EQB)と,ローカル負荷エラーを直接ルータスコア勾配に注入するLoad-Error Injection(LEI)を紹介する。
- 参考スコア（独自算出の注目度）: 8.376639467580297
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mixture-of-Experts (MoE) training requires global load balance to prevent expert under-utilization and local balance for efficient expert-parallel execution. Existing distributed Quantile Balancing (QB) uses shard-dependent or approximate global quantiles, while token-independent expert biases cannot ensure microbatch-level balance. We introduce Exact Quantile Balancing (EQB), which computes exact global-batch BF16 quantiles with negligible communication, and Load-Error Injection (LEI), which injects local load errors directly into router-score gradients. On 7.5B-parameter MoEs trained for up to 500B tokens, EQB improves global balance and downstream performance over naive QB, while LEI improves local balance and outperforms the GShard loss at comparable quality.
- Abstract（参考訳）: Mixture-of-Experts(MoE)トレーニングでは、専門家のアンダーユース化と、専門家と並列実行の効率的なローカルバランスを防ぐために、グローバルなロードバランシングが必要となる。
既存の分散量子バランシング(QB)はシャード依存または近似グローバルな量子化を用いるが、トークン非依存のエキスパートバイアスはマイクロバッチレベルのバランスを保証できない。
本稿では,正確なグローバルバッチBF16量子化を無視可能な通信で計算するExact Quantile Balancing(EQB)と,ローカル負荷エラーを直接ルータスコア勾配に注入するLoad-Error Injection(LEI)を紹介する。
7.5BパラメーターのMoEで最大500Bトークンをトレーニングし、EQBはQBよりもグローバルなバランスとダウンストリームのパフォーマンスを改善し、LEIはローカルなバランスを改善し、GShard損失を同等の品質で上回る。
関連論文リスト
- EasyBalance: Cross-Layer Load Balancing in Distributed MoE Inference [14.315981403487266]
EasyBalanceはクロスレイヤなロードバランシング戦略であり、エキスパートデバイスマッピングの変更を必要としない。
私たちの重要な洞察は、他のレイヤの専門家は、現在のレイヤに対して自然に冗長であると見なすことができ、クロスレイヤのMoEワークロードを共同で実行することで、個々の不均衡を緩和できるということです。
モデル、タスク、設定にわたる実験では、EasyBalanceが分散MoE推論を継続的に加速し、GPUアイドリングをほぼ40%削減している。
論文 参考訳（メタデータ） (2026-08-08T06:59:09Z) - AlphaQ: Calibration-Free Bit Allocation for Mixture-of-Experts Quantization [104.10572215799239]
混合精度量子化は、異なるビット幅を異なる専門家に割り当てることで、フットプリントを大幅に削減することができる。
既存のアプローチは、専門家の重要度を推定し、ビット割り当てを決定するためにキャリブレーションデータに依存している。
我々は,MoE量子化のためのキャリブレーションフリーなビット割り当て手法であるAlphaQを提案する。
論文 参考訳（メタデータ） (2026-06-03T15:03:18Z) - $φ$-Balancing for Mixture-of-Experts Training [20.061328126956028]
Mixture-of-Experts (MoE)モデルは、そのスケーラビリティを完全に実現するために、バランスのとれた専門家の利用に依存します。
我々は,厳密な凸性,対称性,および予測されるルーティング分布の微分ポテンシャルを最小化することにより,集団レベルの専門家バランスを直接ターゲットとする原則的フレームワークである$-balancingを提案する。
論文 参考訳（メタデータ） (2026-05-14T20:39:28Z) - Expert Threshold Routing for Autoregressive Language Modeling with Dynamic Computation Allocation and Load Balancing [25.25980014037624]
Mixture-of-Experts (TC-MoE) は各トークンを一定数の専門家にルーティングする。
本稿では,各専門家が指数移動平均(EMA)閾値を維持するETルーティングを提案する。
ETは、TC-MoEよりも0.067低いクロスエントロピー損失を達成し、1.6$times$より少ないトークンで同じパフォーマンスに達する。
論文 参考訳（メタデータ） (2026-03-12T04:45:48Z) - A Replicate-and-Quantize Strategy for Plug-and-Play Load Balancing of Sparse Mixture-of-Experts LLMs [64.8510381475827]
SMOE(Sparse Mixture-of-Experts)アーキテクチャは、大規模言語モデルを効率的にスケールするためにますます使われている。
SMoEモデルは専門家間で厳しい負荷不均衡に悩まされることが多く、専門家のごく一部がほとんどのトークンを受け取り、他のモデルは未利用である。
推定中のエキスパートルーティングの体系的解析を行い, (i) 負荷不均衡が持続し, バッチサイズが大きくなる, (ii) 選択頻度が, 専門家の重要度を確実に反映しない, (iii) 専門家の全体負荷と重要性を, キャリブレーションセットを用いて推定できる,という3つの知見を同定する。
論文 参考訳（メタデータ） (2026-02-23T15:11:16Z) - General learned delegation by clones [55.144380092379976]
シリアル推論や非協調並列サンプリングは、固定された推論予算の下では計算非効率である。
本研究では,SELFCESTを提案する。SELFCESTは,同じクローンを異なる並列コンテキストで生成する機能を備えたベースモデルである。
論文 参考訳（メタデータ） (2026-02-03T15:53:35Z) - Deep Time-series Forecasting Needs Kernelized Moment Balancing [56.619037429652984]
深層時系列予測は、予測と地上の真実の分布を整合させることを目的とした分布バランス問題として定式化することができる。
我々は、カーネル化されたモーメントバランス(KMB-DF)による直接予測を提案する。
複数のモデルとデータセットにわたる実験により、KMB-DFは予測精度を一貫して改善し、最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-01-31T13:20:18Z) - Least-Loaded Expert Parallelism: Load Balancing An Imbalanced Mixture-of-Experts [74.40169987564724]
エキスパート並列性(EP)は、複数のデバイスに専門家を分散させることで、MoEモデルをスケールするように設計されている。
極端な不均衡の下で、EPは少数の専門家に不均等な数のトークンを渡し、計算とメモリバウンドの障害を引き起こす。
本稿では,過剰なトークンと関連する専門家パラメータを過負荷デバイスから未利用デバイスへ動的に再帰する新しいEPアルゴリズムであるLast-Loaded Expert Parallelism (LLEP)を提案する。
論文 参考訳（メタデータ） (2026-01-23T18:19:15Z) - From Score Distributions to Balance: Plug-and-Play Mixture-of-Experts Routing [52.01745035243826]
Mixture-of-Experts (MoE)モデルは、各トークンを専門家のサブセットにルーティングすることで、パラメータキャパシティをスケールすることができる。
条件付きルーティングは、推論メモリの負荷をシフトし、デバイスごとに専門家の数を制限する。
本稿では,精度を保ちながら負荷のバランスをとるプラグイン・アンド・プレイ型推論時ルーティングアルゴリズムLASERを提案する。
論文 参考訳（メタデータ） (2025-09-29T16:29:17Z) - Binary-Integer-Programming Based Algorithm for Expert Load Balancing in Mixture-of-Experts Models [2.609952801475146]
2進整数プログラミング(BIP)に基づく負荷分散アルゴリズムであるBIPに基づくバランシングを提案する。
16-expert (0.3B) と 64-expert (1.1B) の2つのMoE言語モデルにアルゴリズムを実装した。
論文 参考訳（メタデータ） (2025-02-21T13:25:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。