論文の概要: Three Phases of Expert Routing: How Load Balance Evolves During Mixture-of-Experts Training
- arxiv url: http://arxiv.org/abs/2604.04230v1
- Date: Sun, 05 Apr 2026 19:11:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-07 15:49:18.995732
- Title: Three Phases of Expert Routing: How Load Balance Evolves During Mixture-of-Experts Training
- Title（参考訳）: エキスパート・ルーティングの3つのフェーズ - エクササイズ・オブ・エクササイズ・トレーニングにおけるロードバランスの展開
- Authors: Charafeddine Mouzouni,
- Abstract要約: トークンルーティングを,バランス品質のトレードオフを定量化するための1つの有効パラメータ gamma_eff の共役ゲームとしてモデル化する。
2つのオープンソースのMoEモデルのトレーニングチェックポイントにわたってγ_effを追跡することで、初期のMoEトレーニングはバランスを優先し、遅いトレーニングは品質を優先することを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We model Mixture-of-Experts (MoE) token routing as a congestion game with a single effective parameter, the congestion coefficient gamma_eff, that quantifies the balance-quality tradeoff. Tracking gamma_eff across training checkpoints of two open-source MoE models, OLMoE-1B-7B (20 checkpoints, with dense sampling in the surge region) and OpenMoE-8B (6 checkpoints), reveals a three-phase trajectory: a surge phase where the router learns to balance load (gamma_eff: 14 to 36-39, peaking in the step 30K-40K region), a stabilization phase where experts specialize under steady balance (B_0: 2.4 to 2.3, steps 100K-400K), and a relaxation phase where the router trades balance for quality as experts differentiate (gamma_eff: 27 to 9, steps 400K-1.2M). This non-monotone trajectory, invisible to post-hoc analysis of converged models, reveals that early MoE training prioritizes balance while late training prioritizes quality. The theoretical framework is honest about its limits: the single-type equilibrium reduces to temperature-scaled softmax (held-out L1: MFG = 0.199 vs. softmax = 0.200). The game is not a better predictor; it reveals what the temperature means and, critically, how that temperature evolves. We complement the dynamics with an effective congestion decomposition, a multi-type extension that improves load prediction via token clustering on all 16 layers (mean: 30%), scope diagnostics (K/M, epsilon_l), and robustness verification across four independent quality estimators (r >= 0.89). All confidence intervals are from bootstrap resampling over 50 independent text batches.
- Abstract（参考訳）: 我々は,Mixture-of-Experts(MoE)トークンルーティングを,バランス品質のトレードオフを定量化するための1つの有効パラメータ gamma_eff の共役ゲームとしてモデル化する。
2つのオープンソースのMoEモデルのトレーニングチェックポイント、OLMoE-1B-7B(20のチェックポイント、サージ領域に密集したサンプリング)とOpenMoE-8B(6のチェックポイント)の3段階の軌道、すなわち、ルータが負荷のバランスをとることを学習するサージフェーズ(ガンマ_eff:14から36-39、ステップ30K-40K領域でピーク)、専門家が安定したバランスで専門化する安定化フェーズ(B_0:2.4から2.3、ステップ100K-400K)、そしてルータが専門家の区別によって品質のバランスをとる緩和フェーズ(ガンマ_eff:27から9、ステップ400K-1.2M)である。
この非単調な軌道は収束モデルのポストホック解析には見えないが、初期のMoEトレーニングはバランスを優先し、遅いトレーニングは品質を優先する。
単型平衡は温度スケールのソフトマックス(ホールドアウト L1: MFG = 0.199 vs. ソフトマックス = 0.200)に還元される。
ゲームはより優れた予測器ではなく、温度が何を意味するのかを明らかにし、その温度がどのように進化するかを批判する。
提案手法は,16層すべてのトークンクラスタリング(平均30%),スコープ診断(K/M, epsilon_l),4つの独立した品質推定器(r >= 0.89)による堅牢性検証により,負荷予測を改善するマルチタイプの拡張である。
すべての信頼区間は、50以上の独立したテキストバッチを再サンプリングするブートストラップからである。
関連論文リスト
- K-GMRF: Kinetic Gauss-Markov Random Field for First-Principles Covariance Tracking on Lie Groups [8.489406212619164]
共分散追跡のためのオンライン学習自由フレームワークK-GMRFを提案する。
本手法は, 構造保存型シンプレクティックインテグレータにより伝搬される潜在角速度を駆動するトルクとして観測を解釈する。
理論的には、この2階の力学が一定回転下でゼロ定常誤差を達成することを証明している。
論文 参考訳（メタデータ） (2026-03-20T03:16:36Z) - Variational Routing: A Scalable Bayesian Framework for Calibrated Mixture-of-Experts Transformers [5.534626267734823]
我々は,MoE層における不確かさをモデル化するためのベイズ的構造化手法であるVMoER(Sariformal Mixture-of-Experts Routing)を導入する。
VMoERは、一般的に決定論的ルーティングネットワークによって行われるエキスパート選択ステージへの推論を限定する。
試験された基礎モデル全体で、VMoERはノイズ下でのルーティングを38%改善し、配布外AUROCを12%向上させた。
論文 参考訳（メタデータ） (2026-03-10T10:07:53Z) - Leap+Verify: Regime-Adaptive Speculative Weight Prediction for Accelerating Neural Network Training [0.0]
本稿では,ニューラルネットワークトレーニングの高速化を目的としたLeap+Verifyを紹介する。
将来のモデルの重みを予測し、受け入れ前に予測を検証する。
GPT-2 124MのLeap+VerifyとWikiText-103で訓練されたQwen 2.5-1.5Bを5つのランダムシードで評価した。
論文 参考訳（メタデータ） (2026-02-23T08:01:44Z) - Deep Time-series Forecasting Needs Kernelized Moment Balancing [56.619037429652984]
深層時系列予測は、予測と地上の真実の分布を整合させることを目的とした分布バランス問題として定式化することができる。
我々は、カーネル化されたモーメントバランス(KMB-DF)による直接予測を提案する。
複数のモデルとデータセットにわたる実験により、KMB-DFは予測精度を一貫して改善し、最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-01-31T13:20:18Z) - FALCON: Few-step Accurate Likelihoods for Continuous Flows [78.37361800856583]
本稿では,FALCON(Few-step Accurate Likelihoods for Continuous Flows)を提案する。
FALCONは分子ボルツマンサンプリングのための最先端の正規化フローモデルより優れており、同等の性能を持つCNFモデルよりも2桁高速である。
論文 参考訳（メタデータ） (2025-12-10T18:47:25Z) - Lane-Frame Quantum Multimodal Driving Forecasts for the Trajectory of Autonomous Vehicles [6.137648436139678]
自動運転のトレイ予測は、厳密な計算とレイテンシの制約の下で、正確でマルチモーダルなキャリブレーションされた予測を提供する必要がある。
本稿では,エゴ中心のレーン配向フレームで動作することにより,量子帰納バイアスを路面構造に整合させる,コンパクトなハイブリッド量子アーキテクチャを提案する。
Open Motionデータセットでは、SI1.94mのminADEとSI3.56mのminFDEが達成され、ミス率と強いリコールでキネマティックベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2025-11-21T07:00:07Z) - MeanFlow Transformers with Representation Autoencoders [71.45823902973349]
MeanFlow(MF)は、ノイズからデータへのジャンプを直接学習することで、効率的な数ステップ生成を可能にする拡散動機付き生成モデルである。
我々は、表現オートエンコーダ(RAE)の潜在空間におけるMFの効率的なトレーニングとサンプリング手法を開発する。
1ステップのFIDが2.03であり,バニラMFの3.43を上回っ,GFLOPSのサンプリングを38%削減し,ImageNet 256のトレーニングコストを83%削減した。
論文 参考訳（メタデータ） (2025-11-17T06:17:08Z) - Every Step Evolves: Scaling Reinforcement Learning for Trillion-Scale Thinking Model [100.86587937568832]
Ring-1Tは、数兆のパラメータを持つ最初のオープンソースの最先端の思考モデルである。
総パラメータは1兆で、1トークンあたり約500億を活性化する。
論文 参考訳（メタデータ） (2025-10-21T17:46:14Z) - MobileLLM-R1: Exploring the Limits of Sub-Billion Language Model Reasoners with Open Training Recipes [60.57770396565211]
強い推論能力は、はるかに少ないデータで実現可能であることを示す。
MobileLLM-R50MのAIMEスコアは15.5であり、OLMo-2-1.48Bは0.6、SmolLM-2-1.7Bは0.3である。
論文 参考訳（メタデータ） (2025-09-29T15:43:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。