論文の概要: Distributionally Robust Mixture-of-Experts Training
- arxiv url: http://arxiv.org/abs/2610.07207v1
- Date: Mon, 05 Oct 2026 18:20:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.584927
- Title: Distributionally Robust Mixture-of-Experts Training
- Title（参考訳）: 分散ロバスト混合訓練
- Abstract要約: そこで我々は,レイヤワイドの専門家を内在的ロバスト性グループとして扱うために,DRMoET(Dis Distributionally Robust MoE Training)を提案する。
DRMoETは、EMA-smoothed、Activation-weightedのエキスパート損失に対して、エントロピー規則化されたソフトマックスルールによって、レイヤごとのエキスパート分布を更新する。
メカニカル分析では、平均損失がほとんど変化しない専門家の損失が減少し、4.3%の余剰損失が、強制的なk$のミスルーチンの下で減少し、ドメイン・エキスパートの特殊化が改善した。
- 参考スコア（独自算出の注目度）: 0.554761600419193
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mixture-of-Experts (MoE) transformers scale capacity by activating only a few experts per token, but this sparsity creates a hidden reliability problem: when routing is imperfect, load-balanced models may send tokens to experts that are insufficiently trained for the assigned inputs. We propose Distributionally Robust MoE Training (DRMoET), a drop-in objective that treats layer-wise experts as endogenous robustness groups and optimizes high-loss routing outcomes rather than merely equalizing traffic. DRMoET updates a per-layer expert distribution by an entropy-regularized softmax rule on EMA-smoothed, activation-weighted expert losses, strengthening plausible non-top routing paths while preserving standard MoE computation. Under the FLAME-MoE recipe at 746M-total and 10.3B-total scales, DRMoET improves downstream averages over both standard FLAME-MoE and auxiliary-loss-free balancing. At 10.3B total parameters and 67B training tokens, DRMoET improves the seven-task average from 0.6625 to 0.6767, while the auxiliary-loss-free baseline achieves 0.6431. Mechanistic analyses show lower expert-loss variance with nearly unchanged mean loss, 4.3% lower excess loss under forced mid-$k$ misrouting, and improved domain-expert specialization. These results position routing robustness-not only utilization balance-as a practical objective for reliable sparse MoE scaling. Project page and code are available at: https://drmoet.github.io/.
- Abstract（参考訳）: Mixture-of-Experts (MoE) トランスフォーマーはトークンごとに少数の専門家をアクティベートすることでキャパシティを拡大するが、この分散性は、ルーティングが不完全な場合、ロードバランスのモデルがトークンを割り当てられた入力に対して不十分に訓練された専門家に送信する、という隠れた信頼性の問題を引き起こす。
本稿では,階層的専門家を内在的ロバスト性グループとして扱うドロップイン目的の分散ロバスト学習(DRMoET)を提案する。
DRMoETは、EMAのスムーズでアクティベーションの重み付けされたエキスパートの損失に対して、エントロピー規則のソフトマックスルールにより、レイヤごとのエキスパート分布を更新し、標準のMoE計算を保存しながら、プラプティブルなノントップルーティングパスを強化する。
746M-totalと10.3B-totalのFLAME-MoEレシピでは、DRMoETは標準のFLAME-MoEと補助的なロスフリーバランスの両方よりも下流平均を改善している。
10.3Bの合計パラメータと67Bのトレーニングトークンでは、DRMoETは7タスク平均を0.6625から0.6767に改善し、補助ロスフリーのベースラインは0.6431に達した。
メカニカル分析では、平均損失がほとんど変化しない専門家の損失が減少し、4.3%の余剰損失が、強制的なk$のミスルーチンの下で減少し、ドメイン・エキスパートの特殊化が改善した。
これらの結果は、信頼性の高いスパースMoEスケーリングの実用的な目的として、ルーティングロバスト性(ロバスト性)を測る。
プロジェクトページとコードは以下の通り。
関連論文リスト
- Distribution-Consistent Inference for Dynamic Sparse Mixture-of-Experts [48.294824672909876]
推論時動的top-k$ルーティングは、再トレーニングせずに計算を削減できる。
アクティベートした専門家の数を減らせば、SMoE出力のRMSスケールと分散が一貫して増加することを示す。
そこで我々は,レイヤワイズ・キャリブレーションの統計値を用いて,最小構成の縮小表現を整列する軽量な推論時間補正法であるレイヤワイズ・アライメント・アライメント(LDA)を提案する。
論文 参考訳（メタデータ） (2026-09-08T06:23:07Z) - When Load-Balancing Goes Too Far: Expert Pruning in Over-Dispersed Mixture-of-Experts Models [14.959514582161956]
エキスパートプルーニングは、Mixture-of-Experts(MoE)モデルのメモリとサービスコストを削減します。
この仮定は、トークンがほぼ一様に専門家に分散される過分散ルーティングの下で分解されるのを観察する。
筆者らは,現在最も影響の低いドメインに対して,重要度を反復的に向上させるドメイン認識手法であるMinimax Expert Score Allocation (MESA)を提案する。
論文 参考訳（メタデータ） (2026-09-03T20:21:20Z) - Meta-Learning Where to Allocate Experts: Task-Conditioned Layer-Wise Compression for MoEs [8.622261628194893]
Mixture-of-Experts (MoE)モデルは、各トークンを専門家ネットワークのサブセットにルーティングし、トークンごとのスパースを維持しながらキャパシティを増大させる。
本稿では,各レイヤに対して,専門家保持閾値と有界ルーティングバイアスを予測可能なサポートセットコントローラであるMetaNetを提案する。
論文 参考訳（メタデータ） (2026-08-27T06:01:46Z) - RARE: Decoupling Representation Steering from Expert Routing in Mixture-of-Experts Language Models [13.298401993417611]
本稿では,MoE言語モデルのためのルータに依存しない表現工学フレームワークを提案する。
RAREは任意の挙動摂動をルータ行列のヌル空間に投影し、ルータ可視成分を除去する。
有害なステアリングでは、RAREは平均攻撃成功率53.3%に達し、67.8%のMMLU精度を維持している。
論文 参考訳（メタデータ） (2026-08-21T15:45:36Z) - Post-Trained MoE Can Skip Half Experts via Self-Distillation [35.17955778301488]
Mixture-of-Experts (MoE)は、スパース専門家のアクティベーションを通じて、言語モデルを効率的にスケールする。
MoEの動的変種は、アクティベートされた専門家を入力依存の方法で調整することで、計算をさらに削減する。
本稿では,Zero-Expert Self-Distillation Adaptation (ZEDA)について紹介する。
論文 参考訳（メタデータ） (2026-05-18T16:50:48Z) - Hierarchical Mixture-of-Experts with Two-Stage Optimization [84.70724165894501]
ルーティング制御を2つの結合レベルに分解するグループ化されたMoEフレームワークであるHi-MoEを提案する。
我々は,最近のスパースルーティングやグループ化されたMoEベースラインに対する一貫した改善をNLPおよびビジョンベンチマークで観察する。
58Bトークンの大規模事前トレーニングでは、Hi-MoE-7Bは5.6%のパープレキシティ低減と、OLMoE-7Bよりも40%のエキスパートバランスの改善を実現している。
論文 参考訳（メタデータ） (2026-05-08T09:21:46Z) - A Replicate-and-Quantize Strategy for Plug-and-Play Load Balancing of Sparse Mixture-of-Experts LLMs [64.8510381475827]
SMOE(Sparse Mixture-of-Experts)アーキテクチャは、大規模言語モデルを効率的にスケールするためにますます使われている。
SMoEモデルは専門家間で厳しい負荷不均衡に悩まされることが多く、専門家のごく一部がほとんどのトークンを受け取り、他のモデルは未利用である。
推定中のエキスパートルーティングの体系的解析を行い, (i) 負荷不均衡が持続し, バッチサイズが大きくなる, (ii) 選択頻度が, 専門家の重要度を確実に反映しない, (iii) 専門家の全体負荷と重要性を, キャリブレーションセットを用いて推定できる,という3つの知見を同定する。
論文 参考訳（メタデータ） (2026-02-23T15:11:16Z) - Least-Loaded Expert Parallelism: Load Balancing An Imbalanced Mixture-of-Experts [74.40169987564724]
エキスパート並列性(EP)は、複数のデバイスに専門家を分散させることで、MoEモデルをスケールするように設計されている。
極端な不均衡の下で、EPは少数の専門家に不均等な数のトークンを渡し、計算とメモリバウンドの障害を引き起こす。
本稿では,過剰なトークンと関連する専門家パラメータを過負荷デバイスから未利用デバイスへ動的に再帰する新しいEPアルゴリズムであるLast-Loaded Expert Parallelism (LLEP)を提案する。
論文 参考訳（メタデータ） (2026-01-23T18:19:15Z) - MC#: Mixture Compressor for Mixture-of-Experts Large Models [86.64315380917827]
Mixture-of-Experts (MoE)は、大きな言語モデル(LLM)と視覚言語モデル(VLM)をスパースアクティベーションによって拡張することで効果的にスケールする。
静的量子化と動的エキスパートプルーニングを組み合わせたフレームワークであるMC#(Mixture-Compressor-sharp)を提案する。
論文 参考訳（メタデータ） (2025-10-13T03:12:46Z) - Latent Prototype Routing: Achieving Near-Perfect Load Balancing in Mixture-of-Experts [0.0]
Latent Prototype Routing (LPR)は、下流のパフォーマンスを損なうことなく、専門家のバランスのとれた利用を促進する新しいルーティングフレームワークである。
LPRは、専門家負荷のジーニ係数を平均0.70から0.035に減らし、専門家負荷比を1e-6から0.070に改善し、ほぼ完全な負荷分散を実現する。
論文 参考訳（メタデータ） (2025-06-26T14:41:18Z) - Patch-level Routing in Mixture-of-Experts is Provably Sample-efficient
for Convolutional Neural Networks [74.68583356645276]
ディープラーニングでは、Mixix-of-experts(MoE)が、サンプル単位またはトーケン単位で専門家(サブネットワーク)を活性化する。
我々は,pMoEが適切な一般化を実現するために,必要なトレーニングサンプル数を確実に削減できることを初めて示す。
論文 参考訳（メタデータ） (2023-06-07T00:16:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。