論文の概要: Hyperparameter Scaling Laws Across MoE Sparsity

• arxiv url: http://arxiv.org/abs/2609.08690v1
• Date: Tue, 08 Sep 2026 12:57:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.651936
• Title: Hyperparameter Scaling Laws Across MoE Sparsity
• Title（参考訳）: MoE空間におけるハイパーパラメータスケーリング法則
• Abstract要約: Mixture-of-Experts (MoE)モデルは、トレーニング計算の比例的な増加なしにモデルの容量を拡大する。 超スパースMOEには従来のハイパーパラメータスケーリング法が不十分であることを示す。 最適な学習率とバッチサイズはアクティベーション比によって異なり、これらのシフトは総あるいはアクティベートパラメータ数だけでは説明できない。
• 参考スコア（独自算出の注目度）: 25.608085561102566
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture-of-Experts (MoE) models expand model capacity without a proportional increase in training compute, but increasing sparsity makes reliable hyperparameter transfer challenging. In this work, we show that conventional hyperparameter scaling laws are insufficient for ultra-sparse MoEs: the optimal learning rate and batch size vary with activation ratio, and these shifts cannot be explained by either total or activated parameter count alone. To characterize this dependence, we conduct 1,800 pre-training runs spanning six activated-parameter scales and models with up to 6B total non-embedding parameters, processing approximately 20 trillion tokens at a cost of 200,000 equivalent H800 GPU-hours. Our results reconcile conflicting findings in prior work by revealing two scaling regimes. At fixed sparsity, the optimal batch size follows a power-law relationship with training tokens $D$, whereas the optimal learning rate scales with training compute $C$ and remains robust to the allocation between model size and data. Across sparsity levels, the activation ratio $A$ enters both relationships as an additional multiplicative power-law factor. These observations lead to unified hyperparameter scaling laws that transfer across MoE sparsity levels. Large-scale evaluation shows that the scaling form outperforms alternative functional forms. On a held-out ultra-sparse MoE with 12B total parameters and only 1/64 of its experts activated, the predicted hyperparameters remain close to the observed optima, supporting joint extrapolation across model scale and sparsity. Further experiments demonstrate transfer across expert granularities and isolate the effect of activation ratio from that of total expert count.
• Abstract（参考訳）: Mixture-of-Experts(MoE)モデルは、トレーニング計算の比例的な増加を伴わずにモデル容量を拡大するが、スパーシティの増加は信頼性の高いハイパーパラメータ転送を困難にする。 本研究では, 従来のハイパーパラメータスケーリング法は, 最適学習率とバッチサイズはアクティベーション比によって異なり, 総パラメータ数とアクティベートパラメータ数だけでは説明できないことを示す。 この依存を特徴づけるために、アクティベートパラメータの6つのスケールと最大6Bの非埋め込みパラメータを持つモデルにまたがる1,800の事前トレーニングを実行し、約20兆個のトークンを20,000相当のH800 GPU時間で処理する。 以上の結果から,2つのスケーリング体制を明らかにすることで,先行研究における矛盾する知見を整理した。 固定間隔では、最適バッチサイズはトレーニングトークンとパワー-法則の関係に従うが、最適学習レートはトレーニング計算で$C$とスケールし、モデルサイズとデータの割り当てに頑健である。 疎度レベルを超えて、アクティベーション比$A$は、追加の乗法的パワー-ロー因子として両方の関係に入る。 これらの観測により、MoEのスパーシリティレベルを横断する統一されたハイパーパラメータスケーリング法則が導かれる。 大規模評価は、スケーリングフォームが代替機能フォームより優れていることを示している。 12Bの総パラメータを持ち、専門家の1/64しか活性化していない超スパースMOEでは、予測されたハイパーパラメータは観測された最適値に近づき、モデルスケールとスパーシティの関節外挿をサポートする。 さらなる実験では、専門家の粒度の移動を実証し、専門家の総数から活性化率の影響を分離する。

関連論文リスト

• Let's Scale Step by Step: Compute-Efficient Hyperparameter Transfer for Large-Scale Mixture-of-Experts [2.2554080765044717]
  Mixture-of-Experts (MoE)アーキテクチャは、計算コストの比例的に増加することなく、モデル容量を大幅に拡張する。 大規模MOEモデルの学習に最適な学習率を推定する計算効率の高い2段階のハイパーパラメータ転送フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-20T13:57:43Z)
• Rethinking Language Model Scaling under Transferable Hypersphere Optimization [67.38433364607897]
  モデル幅、深さ、トレーニングトークン、エキスパート・オブ・エキスパート(MoE)間で最適な学習率を転送する最初のフレームワークであるHyperPを紹介します。 単一のベースレートでHyperPの計算予算をまたいだデータ転送を調整し、強力な Muon ベースラインを 6times1021$ FLOPs で1.58 タイムで達成した。 また、超球面制約から派生したMoEゲーティング機構であるSqrtGateを提案し、MoEの粒度にわたって出力RMSを保存する。
  論文  参考訳（メタデータ） (2026-03-30T17:51:47Z)
• High-Rank Structured Modulation for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 textbfStructured textbfMOdulation textbfAdapterは、より高いランクを維持しながらトレーニング可能なパラメータを少なくする。
  論文  参考訳（メタデータ） (2026-01-12T13:06:17Z)
• Hyperparameter Transfer Enables Consistent Gains of Matrix-Preconditioned Optimizers Across Scales [55.91454326946738]
  学習速度と減量率の最適化は,幅広い言語に対して,モデルの幅と深さでどのようにスケールするかを検討する。 我々は、$Pによる学習率のスケーリングは転送を改善するが、それでもかなりの有限幅偏差に悩まされる可能性があることを見出した。 計算-最適スケーリングでは、独立したウェイト崩壊が1/mathrmwidth$で言語間でほぼ最適であることが分かる。
  論文  参考訳（メタデータ） (2025-12-05T11:03:41Z)
• Towards a Comprehensive Scaling Law of Mixture-of-Experts [54.117786590884776]
  本論文では,すべての重要な要因を考慮に入れた総合的かつ正確なMoEスケーリング法を提案する。 我々の結果は、$G$と$S$の最適設定が、モデルアーキテクチャとデータサイズの両方に依存しないことを示しています。 提案したMoEスケーリング法則は,将来のMoEモデル設計およびトレーニングを促進するための,正確かつ洞察に富んだガイダンスとして機能する可能性がある。
  論文  参考訳（メタデータ） (2025-09-28T06:35:34Z)
• Towards Greater Leverage: Scaling Laws for Efficient Mixture-of-Experts Language Models [25.608085561102566]
  本稿では,高密度等価量上でのMoEモデルの計算優位性を定量化する指標として,レバレッジ効率(EL)を紹介する。 ELは、予測可能な電力法に従って、専門家のアクティベーション比と総計算予算によって駆動される。 我々はこれらの発見を統合スケーリング法則に統合し、その構成に基づいてMoEアーキテクチャのELを正確に予測する。
  論文  参考訳（メタデータ） (2025-07-23T17:10:23Z)
• Predictable Scale: Part I, Step Law -- Optimal Hyperparameter Scaling Law in Large Language Model Pretraining [59.369484219304866]
  我々は100兆のトークンをスクラッチから3,700以上の大規模言語モデル(LLM)に対する前例のない経験的調査訓練を実施している。 ステップ法則(ステップ法)と呼ばれる,LLM事前学習におけるハイパーパラメータ最適化のための普遍的スケーリング法則を確立する。 我々の推定オプティマは, 排他的探索によって得られた世界最高の性能から, テストセットの0.094%しか逸脱しない。
  論文  参考訳（メタデータ） (2025-03-06T18:58:29Z)
• Parameters vs FLOPs: Scaling Laws for Optimal Sparsity for Mixture-of-Experts Language Models [10.517704202614091]
  sparse Mixture-of-Experts (MoEs) は、例ごとのFLOPを比例的に増やさずにパラメータの数をスケールできる。 本研究では,不活性パラメータの比率が,事前学習および下流数ショット評価におけるモデルの性能に与える影響について検討する。
  論文  参考訳（メタデータ） (2025-01-21T18:51:15Z)
• Scaling Laws for Sparsely-Connected Foundation Models [70.41266138010657]
  大規模データセット上でトレーニングしたトランスフォーマーのスケーリング挙動に及ぼすパラメータ空間の影響について検討する。 重み空間,非ゼロパラメータ数,およびトレーニングデータの量との関係を記述した最初のスケーリング法則を同定する。
  論文  参考訳（メタデータ） (2023-09-15T16:29:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。