論文の概要: MuonGS: Pretraining LLMs with Relaxed Weight-Norm Control

• arxiv url: http://arxiv.org/abs/2610.37647v1
• Date: Tue, 27 Oct 2026 17:56:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.739963
• Title: MuonGS: Pretraining LLMs with Relaxed Weight-Norm Control
• Title（参考訳）: MuonGS: 緩和重ノルム制御によるLCMの事前学習
• Abstract要約: C_T=sum_tT_t/|W_t|_F$。 バニラムオンは対数的にのみ蓄積できることを示し、探索を制限し、その遅い経験的進展を説明するのに役立つ可能性がある。 本稿では,Gram-Schmidt-GSプロジェクションを用いて各Muon更新の放射成分を重み基準を修正せずに除去するMuonGSを提案する。
• 参考スコア（独自算出の注目度）: 11.887450640680362
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Weight decay and explicit weight-norm constraints improve optimizer performance in language model pretraining, yet a unified understanding of why such control helps and how much is needed remains incomplete. We analyze norm control in Muon over the entire training trajectory using the \emph{accumulated effective learning rate}, $C_T=\sum_{t<T}η_t/\|W_t\|_F$, where $η_t$ is the nominal learning rate and $η_t/\|W_t\|_F$ is the effective learning rate relative to the weight norm. For bounded update directions, accumulation over any training interval bounds relative weight displacement. We show that vanilla Muon can accumulate only logarithmically, potentially limiting exploration and helping explain its slower empirical progress, whereas MuonW and MuonH guarantee at least linear accumulation under the stated conditions. Going beyond bounded-norm control, we show that sufficiently slow norm growth guarantees faster accumulation than the logarithmic worst case, opening up less restrictive optimizer designs. Based on this insight, we propose MuonGS, which uses Gram--Schmidt (GS) projection to remove the radial component of each Muon update without fixing the weight norm. With bounded update directions and a constant nominal learning rate, we prove that the weight norm grows at most proportionally to $\sqrt{t}$ after $t$ steps. Consequently, MuonGS guarantees $C_T=Ω(\sqrt{T})$, with accumulation sustained even in later training. Further, for smooth scale-invariant objectives we establish its $O(T^{-1/2})$ stationarity guarantee. In pretraining experiments with 160M- and 400M-parameter dense models as well as a 135M active- and 1B total- parameter MoE model, MuonGS achieves lower validation perplexity than MuonH at long training horizons. In particular, for the dense model it achieves an estimated token-equivalent speedup up to about $15\%$ at matched validation loss to MuonH.
• Abstract（参考訳）: 重みの減衰と明示的な重み-ノルム制約により、言語モデルの事前訓練における最適化性能が向上するが、そのような制御がなぜ役立つのか、どのくらい必要かが統一された理解はいまだに不完全である。 トレーニング軌跡全体に対するMuonの規範制御を,'emph{accumulated effective learning rate}, $C_T=\sum_{t<T}η_t/\|W_t\|_F$, $η_t$は名目的学習率, $η_t/\|W_t\|_F$は重み基準に対する効果的な学習率を用いて解析する。 境界更新方向については、任意のトレーニングインターバルの累積は相対的な重み変位を束縛する。 我々は,バニラムオンが対数的にのみ蓄積できることを示し,探索を制限し,その遅い経験的進展を説明するのに役立つことを示し,一方,MuonWとMuonHは,その条件下で少なくとも線形蓄積を保証している。 有界ノルム制御を超えて、十分に遅いノルム成長は対数最悪の場合よりも早く蓄積し、制約の少ないオプティマイザ設計が可能であることを示す。 この知見に基づいて,Gram-Schmidt (GS) プロジェクションを用いて各Muon更新の放射成分を重み基準を修正せずに除去するMuonGSを提案する。 有界更新方向と定値学習率により、重みノルムは最も比例して$\sqrt{t}$に成長することを示す。 その結果、MuonGSは$C_T=Ω(\sqrt{T})$を保証し、後のトレーニングでも蓄積は持続する。 さらに、滑らかなスケール不変目的に対して、$O(T^{-1/2})$固定性保証を確立する。 160Mおよび400Mのパラメータ密度モデルと135Mのアクティブパラメータと1BのトータルパラメータMOEモデルによる事前トレーニング実験では、MuonGSは長いトレーニング地平線でのMuonHよりも低い検証パープレキシティを実現する。 特に、高密度モデルでは、MuonHとの一致した検証損失で、推定トークン等価なスピードアップを約15\%まで達成する。

関連論文リスト

• Scale Weight Decay and Train Better [0.0]
  本稿では,ピーク学習率$/_max$のごく一部で重量減衰を拡大することを提案する。 このことは、勾配降下と非ユークリッドミューオンの両方に対して、対応する非正規化手法の定常性を保証することを証明している。 定常状態解析を用いて、標準ウェイト崩壊下では、トレーニングが進むにつれて、ウェイトノルムが着実に低下するのに対し、スケールされたウェイト崩壊では、ほぼ一定値に落ち着く理由を説明する。
  論文  参考訳（メタデータ） (2026-07-26T17:55:40Z)
• Improving Neural Network Training by Decoupling the Magnitude and Direction of Weight Vectors [110.10775872372047]
  EmphMagnitude-Direction-Direction (MD) Decouplingを提案する。 これは、各重量をハイパースフィア上の固定ノルム方向に分解し、学習可能な1ローとカラムごとのマグニチュードゲインを、別々の学習速度で更新する。 アダムとムーンの双方で、MD Decouplingはよく調整されたベースラインを改善し、モデルの幅を調整せずに最適なLRを転送し、大規模なMixture-of-Expertsモデルのスケールに役立っている。
  論文  参考訳（メタデータ） (2026-06-24T15:40:26Z)
• Fantastic Pretraining Optimizers and Where to Find Them II: Hyperball Optimization [67.29294986811314]
  Muon のようなマトリックスベースは言語モデルの事前学習を著しく高速化するが、AdamW に対する利得は標準の一定重量減衰を用いると縮小する。 この問題に対処するシンプルなラッパーであるHyperballを提案する。 Qwen3スタイルモデルでは、最大1.2Bパラメータで、Muon Hyperballはウェイト崩壊ベースラインよりも20-30%のトークン等価なスピードアップを達成する。
  論文  参考訳（メタデータ） (2026-06-15T16:09:02Z)
• DynMuon: A Dynamic Spectral Shaping View of Muon [12.175075916077702]
  M$を$Up Vtop$に置き換え、あるパラメータを$p$にします。 そこで我々はDynMuonを提案する。DynMuonは、トレーニング時に正からわずかに負に$p$をスケジュールする効率的な動的スペクトル整形法である。
  論文  参考訳（メタデータ） (2026-05-16T18:30:11Z)
• Muown: Row-Norm Control for Muon Optimization [41.541871767555484]
  Muonは、言語モデルの事前トレーニングにおいてAdamWと強く競合する。 Muownは、Muon、SOAP、AdamW、Lionの複雑さを改善します。
  論文  参考訳（メタデータ） (2026-05-11T16:26:06Z)
• Rethinking Language Model Scaling under Transferable Hypersphere Optimization [67.38433364607897]
  モデル幅、深さ、トレーニングトークン、エキスパート・オブ・エキスパート(MoE)間で最適な学習率を転送する最初のフレームワークであるHyperPを紹介します。 単一のベースレートでHyperPの計算予算をまたいだデータ転送を調整し、強力な Muon ベースラインを 6times1021$ FLOPs で1.58 タイムで達成した。 また、超球面制約から派生したMoEゲーティング機構であるSqrtGateを提案し、MoEの粒度にわたって出力RMSを保存する。
  論文  参考訳（メタデータ） (2026-03-30T17:51:47Z)
• Power-SMC: Low-Latency Sequence-Level Power Sampling for Training-Free LLM Reasoning [11.356198488445488]
  トレーニング不要なSequential Monte CarloスキームであるPower-SMCを導入する。 MATH500では、Power-SMCはMHの電力サンプリングと一致し、レイテンシを16$---28times$から1.4$---3.3times$に下げる。
  論文  参考訳（メタデータ） (2026-02-10T20:31:40Z)
• Controlled LLM Training on Spectral Sphere [76.60985966206746]
  重み付けと更新の両方に厳密なモジュール単位のスペクトル制約を課す textbfSpectral Sphere アルゴリズム (SSO) を導入する。 我々は,MoEルータロードバランシングの改善,外乱抑制,厳密な制限付きアクティベーションなど,重要な実用的安定性の利点を観察した。
  論文  参考訳（メタデータ） (2026-01-13T09:59:47Z)
• Muon is Scalable for LLM Training [50.68746986439438]
  MoE(Mixture-of-Expert)モデルであるMoonlightを紹介する。 我々のモデルは現在のフロンティアを改善し、以前のモデルに比べてトレーニングのFLOPをはるかに少なくして、より良いパフォーマンスを実現しています。 メモリ最適化と通信効率のよい分散 Muon 実装をオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2025-02-24T09:12:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。