論文の概要: When Load-Balancing Goes Too Far: Expert Pruning in Over-Dispersed Mixture-of-Experts Models
- arxiv url: http://arxiv.org/abs/2609.04453v1
- Date: Thu, 03 Sep 2026 20:21:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:23.813051
- Title: When Load-Balancing Goes Too Far: Expert Pruning in Over-Dispersed Mixture-of-Experts Models
- Title（参考訳）: ロードバランシングが遠すぎるとき-専門家が過剰に分散したミックス・オブ・エクササイズモデルで実行
- Abstract要約: エキスパートプルーニングは、Mixture-of-Experts(MoE)モデルのメモリとサービスコストを削減します。
この仮定は、トークンがほぼ一様に専門家に分散される過分散ルーティングの下で分解されるのを観察する。
筆者らは,現在最も影響の低いドメインに対して,重要度を反復的に向上させるドメイン認識手法であるMinimax Expert Score Allocation (MESA)を提案する。
- 参考スコア（独自算出の注目度）: 14.959514582161956
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Expert pruning reduces the memory and serving cost of Mixture-of-Experts (MoE) models by removing low-importance experts identified by the router, assuming router probabilities provide a reliable importance signal. We observe that this assumption breaks down under over-dispersed routing, a regime associated with aggressive load-balancing during training, in which tokens are distributed nearly uniformly across experts and importance signals collapse. In this regime, perplexity does not predict downstream task accuracy: on gpt-oss-20B, the lowest-perplexity pruning configuration yields the worst mathematical reasoning, while the highest-perplexity configuration preserves it. This does not occur under standard routing (e.g., Mixtral-8x7B-Instruct), where perplexity and accuracy degrade together. Pruning under over-dispersed routing also exposes a capability trade-off in which no single scoring metric dominates: activation-aware scoring preserves mathematical reasoning but severely degrades knowledge-intensive science (an 18-point gap on GPQA), whereas frequency-based scoring exhibits the reverse. We propose Minimax Expert Score Allocation (MESA), a domain-aware method that iteratively boosts importance scores for experts serving whichever domain is currently worst-affected, minimizing worst-case domain degradation rather than average accuracy. At 25% expert pruning MESA achieves the smallest worst-case degradation across domains, outperforming activation-aware baselines on 7 of 11 benchmarks at a correspondingly reduced memory footprint, and it generalizes to gpt-oss-120B, Gemma-4-26B-A4B, and OLMoE-1B-7B. Our results indicate that over-dispersed routing is a qualitatively distinct pruning regime in which standard assumptions fail, and that recognizing it is a prerequisite for principled expert pruning of load-balanced MoE models.
- Abstract（参考訳）: エキスパートプルーニングは、ルータの信頼性が重要な信号を提供すると仮定して、ルータによって特定される重要度の低いエキスパートを除去することで、Mixture-of-Experts(MoE)モデルのメモリとサービスコストを削減します。
この仮定は、トレーニング中に積極的負荷分散を伴い、トークンが専門家にほぼ均一に分散され、重要信号が崩壊する、過分散ルーティングの下で崩壊するのを観察する。
gpt-oss-20Bでは、最も低いパープレキシティプルーニング構成は最悪の数学的推論をもたらすが、最も高いパープレキシティ構成はそれを保存する。
これは標準的なルーティング(Mixtral-8x7B-Instruct)では発生しない。
アクティベーション・アウェア・スコアリングは数学的推論を保存するが、知識集約科学(GPQAの18ポイントの差)を著しく劣化させる一方、周波数ベースのスコアリングは逆の値を示す。
平均精度よりも最悪のドメイン劣化を最小限に抑えつつ,現在最も影響の大きいドメインに奉仕する専門家の重要度を反復的に向上するドメイン認識手法であるMinimax Expert Score Allocation (MESA)を提案する。
25%のエキスパートプルーニングMESAは、ドメイン間で最小の最悪の劣化を達成し、メモリフットプリントを減らした11のベンチマークのうち7のアクティベーションアウェアベースラインよりも優れ、gpt-oss-120B、Gemma-4-26B-A4B、OLMoE-1B-7Bに一般化する。
以上の結果から,過分散ルーティングは標準的な仮定が失敗する定性的に異なるプルーニング方式であり,負荷バランスのよいMoEモデルのエキスパートプルーニングの前提条件であることが示唆された。
関連論文リスト
- Distribution-Consistent Inference for Dynamic Sparse Mixture-of-Experts [48.294824672909876]
推論時動的top-k$ルーティングは、再トレーニングせずに計算を削減できる。
アクティベートした専門家の数を減らせば、SMoE出力のRMSスケールと分散が一貫して増加することを示す。
そこで我々は,レイヤワイズ・キャリブレーションの統計値を用いて,最小構成の縮小表現を整列する軽量な推論時間補正法であるレイヤワイズ・アライメント・アライメント(LDA)を提案する。
論文 参考訳（メタデータ） (2026-09-08T06:23:07Z) - Attribution-Guided and Coverage-Maximized Pruning for Structural MoE Compression [74.00650541246374]
そこで本研究では,MoEモデルに適した構造解析フレームワークを提案する。
我々のアプローチはメモリフットプリントを5.27$times削減し、最先端のベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2026-06-16T06:53:27Z) - Hierarchical Mixture-of-Experts with Two-Stage Optimization [84.70724165894501]
ルーティング制御を2つの結合レベルに分解するグループ化されたMoEフレームワークであるHi-MoEを提案する。
我々は,最近のスパースルーティングやグループ化されたMoEベースラインに対する一貫した改善をNLPおよびビジョンベンチマークで観察する。
58Bトークンの大規模事前トレーニングでは、Hi-MoE-7Bは5.6%のパープレキシティ低減と、OLMoE-7Bよりも40%のエキスパートバランスの改善を実現している。
論文 参考訳（メタデータ） (2026-05-08T09:21:46Z) - Multi-Domain Learning with Global Expert Mapping [102.62297074508147]
Mixture-of-Experts (MoE)モデルは、入力を専門分野(専門家)にルーティングすることでスケーラブルなソリューションを提供する。
本稿では,学習ルータをグローバルスケジューラに置き換えるプランナー・コンパイラフレームワークであるGEMを提案する。
我々のプランナーは線形プログラミングの緩和に基づいて、データセットを専門家に分数的に割り当てる一方、コンパイラはこのソフトプランを決定論的でキャパシティを意識したマッピングに変換するために階層的なラウンドリングを適用する。
実験の結果、GEM-DINOはUODBベンチマークで最先端のパフォーマンスを達成し、表現不足のデータセットに顕著な利益をもたらし、タスク干渉をわずかに解決していることがわかった。
論文 参考訳（メタデータ） (2026-04-20T21:09:34Z) - AIMER: Calibration-Free Task-Agnostic MoE Pruning [12.732331870876182]
簡単なキャリブレーションフリーの基準であるAIMERを導入する。
7Bから30B MoE言語モデル全体の25%と50%のプルーニング比率を16ベンチマークで比較すると、AIMERは一貫して、競争力のある、あるいはより強い全体的なパフォーマンスを提供する。
論文 参考訳（メタデータ） (2026-03-19T04:54:37Z) - A Replicate-and-Quantize Strategy for Plug-and-Play Load Balancing of Sparse Mixture-of-Experts LLMs [64.8510381475827]
SMOE(Sparse Mixture-of-Experts)アーキテクチャは、大規模言語モデルを効率的にスケールするためにますます使われている。
SMoEモデルは専門家間で厳しい負荷不均衡に悩まされることが多く、専門家のごく一部がほとんどのトークンを受け取り、他のモデルは未利用である。
推定中のエキスパートルーティングの体系的解析を行い, (i) 負荷不均衡が持続し, バッチサイズが大きくなる, (ii) 選択頻度が, 専門家の重要度を確実に反映しない, (iii) 専門家の全体負荷と重要性を, キャリブレーションセットを用いて推定できる,という3つの知見を同定する。
論文 参考訳（メタデータ） (2026-02-23T15:11:16Z) - Generalizing GNNs with Tokenized Mixture of Experts [75.8310720413187]
安定性の向上には,変化に敏感な特徴への依存を低減し,既約最悪の一般化フロアを残す必要があることを示す。
本研究では,STEM-GNNを提案する。STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN。
9つのノード、リンク、グラフのベンチマークで、STEM-GNNはより強力な3方向バランスを実現し、クリアグラフ上での競争力を維持しながら、次数/ホモフィリーシフトや特徴/エッジの破損に対する堅牢性を改善している。
論文 参考訳（メタデータ） (2026-02-09T22:48:30Z) - Least-Loaded Expert Parallelism: Load Balancing An Imbalanced Mixture-of-Experts [74.40169987564724]
エキスパート並列性(EP)は、複数のデバイスに専門家を分散させることで、MoEモデルをスケールするように設計されている。
極端な不均衡の下で、EPは少数の専門家に不均等な数のトークンを渡し、計算とメモリバウンドの障害を引き起こす。
本稿では,過剰なトークンと関連する専門家パラメータを過負荷デバイスから未利用デバイスへ動的に再帰する新しいEPアルゴリズムであるLast-Loaded Expert Parallelism (LLEP)を提案する。
論文 参考訳（メタデータ） (2026-01-23T18:19:15Z) - RepetitionCurse: Measuring and Understanding Router Imbalance in Mixture-of-Experts LLMs under DoS Stress [16.010076395422264]
分配不能のプロンプトはルーティング戦略を操作でき、特定のデバイス上で計算ボトルネックを発生させ、他のデバイスにアイドルを強いる。
この脆弱性を悪用するための低コストなブラックボックス戦略であるRepetitionCurseを提案する。
論文 参考訳（メタデータ） (2025-12-30T05:24:26Z) - ERMoE: Eigen-Reparameterized Mixture-of-Experts for Stable Routing and Interpretable Specialization [13.182475975397251]
ERMoEは、学習したゲーティングログを"Eigenbasis Score"に置き換えるスパースなMoE変換器である
ERMoE は ImageNet 分類と クロスモーダル画像テキスト検索ベンチマークにおける最先端の精度を実現する。
3D MRI変異体(ERMoE-ba)は、脳年齢予測の精度を7%以上改善し、解釈可能な専門家の専門化をもたらす。
論文 参考訳（メタデータ） (2025-11-14T05:31:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。