論文の概要: ID Balancing: Stable Training of Extremely Sparse MoE via PID-Based Load Control

• arxiv url: http://arxiv.org/abs/2609.39137v1
• Date: Wed, 30 Sep 2026 07:05:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.306883
• Title: ID Balancing: Stable Training of Extremely Sparse MoE via PID-Based Load Control
• Title（参考訳）: IDバランシング:PIDに基づく負荷制御による極小MOEの安定トレーニング
• Abstract要約: IDバランシングはProportional-Integral-Derivativeコントローラである。 負荷誤差で積分項をスケールし、不均衡が悪化するときにのみ微分項を活性化する。 これにより、最悪のバックボーンMaxVioとトレーニング平均バックボーンMinVioをそれぞれ50%以上、トレーニング平均バックボーンMinVioを12%以上削減できる。
• 参考スコア（独自算出の注目度）: 39.28399598056908
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scaling Large Language Models (LLMs) via Mixture-of-Experts (MoE) enables massive parameter growth with nearly constant per-token computation. However, further scaling the parameter count requires increasingly sparse routing, where expert load imbalance becomes more severe. This imbalance reduces parameter utilization and training efficiency, and can undermine training stability, becoming a bottleneck to reliable scaling. In this work, we unify two representative auxiliary-loss-free methods as incomplete Proportional-Integral-Derivative (PID) controllers: DeepSeek's loss-free method acts as a fixed-step integral controller, while Kimi K3's Quantile Balancing functions as a generalized proportional controller. Building on this control perspective, we propose ID Balancing, an Integral-Derivative controller. It scales its integral term with load error and activates its derivative term only when imbalance worsens, enabling stronger corrections for large or worsening errors and smaller updates near balance. Evaluated across Top-$10$, Top-$5$, and Top-$3$ routing over $768$ experts, ID Balancing reduces worst-case backbone MaxVio and training-average backbone MinVio by over $50\%$ and $12\%$, respectively, relative to the best baselines in the Top-$3$ setting. When the total parameter count increases from $18.9$B to $69.9$B (Top-$10$-of-$768$), ID Balancing's worst-case backbone MaxVio remains nearly unchanged and is approximately $89.6\%$ lower than that of the auxiliary-loss baseline. ID Balancing also maintains competitive language-modeling and downstream performance. The advantages of ID Balancing grow as sparsity increases, making it a promising solution for scaling larger, sparser MoE models.
• Abstract（参考訳）: LLM(Large Language Models)をMixture-of-Experts (MoE) 経由でスケーリングすることで、ほぼ一定間隔の計算で大量のパラメータを成長させることができる。 しかし、パラメータカウントをさらにスケールするには、専門家の負荷不均衡がより深刻になるようなスパースルーティングが必要である。 この不均衡はパラメータ利用率とトレーニング効率を低下させ、トレーニングの安定性を損なう可能性があり、信頼性の高いスケーリングのボトルネックとなる。 本研究では,不完全プロポーショナル・インテグラル・デリバティブ(PID)制御系として,DeepSeekのロスフリー法は固定ステップ積分制御系として機能し,K3の量子バランスは一般化比例制御系として機能する。 この制御の観点から、積分微分制御系であるIDバランシングを提案する。 負荷エラーと積分項をスケールし、不均衡が悪化するときにのみ微分項を活性化し、大きなまたは悪化するエラーに対するより強い修正と、バランスに近い更新を可能にする。 Top-10$、Top-5$、Top-3$のルーティングで768ドルのエキスパートに対して評価され、ID Balancingは最悪のバックボーンMaxVioとトレーニング平均バックボーンMinVioを、Top-3$設定の最高のベースラインと比較して50ドル以上下げる。 合計パラメータ数が18.9$Bから69.9$B(Top-$10$of-of-768$)に増加すると、ID Balancingの最悪のバックボーンMaxVioはほとんど変化がなく、補助損失ベースラインよりも約89.6\%低い。 IDバランシングは、競合する言語モデリングと下流のパフォーマンスも維持する。 IDバランシングの利点は、スパーシリティが増加するにつれて増大し、より大きくスペーサーなMoEモデルをスケールするための有望なソリューションとなる。

関連論文リスト

• Distribution-Aware Robust Bilevel Optimization: Quantile-Guided Huber Updates in Two-Timescale Stochastic Approximation [16.106678611834102]
  双レベル最適化(BLO)は階層的な決定には基本的だが、重み付き雑音下での臨界不安定性に悩まされている。 既存の技術は通常、等級チェックに依存しており、情報的幾何学的信号と外れ値の区別に失敗する。
  論文  参考訳（メタデータ） (2026-06-21T10:57:37Z)
• $φ$-Balancing for Mixture-of-Experts Training [20.061328126956028]
  Mixture-of-Experts (MoE)モデルは、そのスケーラビリティを完全に実現するために、バランスのとれた専門家の利用に依存します。 我々は,厳密な凸性,対称性,および予測されるルーティング分布の微分ポテンシャルを最小化することにより,集団レベルの専門家バランスを直接ターゲットとする原則的フレームワークである$-balancingを提案する。
  論文  参考訳（メタデータ） (2026-05-14T20:39:28Z)
• How to Scale Mixture-of-Experts: From muP to the Maximally Scale-Stable Parameterization [45.69980208532521]
  3つの異なるスケーリング体制を解析することで、このギャップを解決するための原則的な一歩を踏み出します。 各体制に対して,MoEsの制限的トレーニング力学に関する新しい力学平均場理論(DMFT)を考案する。 結果として生じる$Pの処方は、スケールや頑健な学習速度の移動による単調な改善を確実に引き起こさないことを示す。
  論文  参考訳（メタデータ） (2026-05-13T23:32:00Z)
• Rethinking Language Model Scaling under Transferable Hypersphere Optimization [67.38433364607897]
  モデル幅、深さ、トレーニングトークン、エキスパート・オブ・エキスパート(MoE)間で最適な学習率を転送する最初のフレームワークであるHyperPを紹介します。 単一のベースレートでHyperPの計算予算をまたいだデータ転送を調整し、強力な Muon ベースラインを 6times1021$ FLOPs で1.58 タイムで達成した。 また、超球面制約から派生したMoEゲーティング機構であるSqrtGateを提案し、MoEの粒度にわたって出力RMSを保存する。
  論文  参考訳（メタデータ） (2026-03-30T17:51:47Z)
• Reinforcement Learning from Multi-Source Imperfect Preferences: Best-of-Both-Regimes Regret [71.69884486156359]
  我々は, 累積的不完全化予算を用いて, エンフルティソースの不完全性選好からエピソードRLを考察した。 我々は,最良な登録行動を示す,後悔$tildeO(sqrtK/M+)$の統一アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-03-20T19:34:53Z)
• Controlled LLM Training on Spectral Sphere [76.60985966206746]
  重み付けと更新の両方に厳密なモジュール単位のスペクトル制約を課す textbfSpectral Sphere アルゴリズム (SSO) を導入する。 我々は,MoEルータロードバランシングの改善,外乱抑制,厳密な制限付きアクティベーションなど,重要な実用的安定性の利点を観察した。
  論文  参考訳（メタデータ） (2026-01-13T09:59:47Z)
• R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
  CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。 CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。 トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
  論文  参考訳（メタデータ） (2025-07-23T08:14:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。