論文の概要: Spectral Allocation: Why Muon Outperforms Adam, and How to Improve Muon
- arxiv url: http://arxiv.org/abs/2608.25990v1
- Date: Wed, 26 Aug 2026 16:41:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.912044
- Title: Spectral Allocation: Why Muon Outperforms Adam, and How to Improve Muon
- Title（参考訳）: スペクトルアロケーション:なぜMuonがAdamより優れているのか、そしてMuonを改善する方法
- Abstract要約: Muon のような直交オプティマイザは、Adam と比較して大きな言語モデルの事前訓練を大幅に加速させることができる。
本研究では,トランスフォーマーの損失景観のスペクトル探索解析を通じてこれを考察する。
完全なSAMuonは低ランクランダム化SVDを用いて測定されたプロファイルに従い、単純化されたSAMuon-liteはランク1の電力反復による2レベル近似を使用する。
- 参考スコア（独自算出の注目度）: 12.170977868230622
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Orthogonal optimisers such as Muon can substantially accelerate large language model pretraining relative to Adam, yet the mechanism remains incompletely understood. We investigate this through an out-of-sample spectral probing analysis of Transformer loss landscapes. At checkpoints along real training trajectories, we decompose each momentum buffer into its singular directions and estimate the loss-optimal step size along each direction on held-out data. The resulting spectral profile is anisotropic yet stable across batches and training stages, and consistent across the optimisers and model scales: a volatile head operating at the Edge-of-Stability supports a much smaller step size than the tolerant bulk, which permits substantially larger steps. This profile provides a unified spectral allocation account of why Muon outperforms Adam, which outperforms SGD. It also exposes a limitation of Muon's uniform scaling: it still underutilises the bulk. Guided by this finding, we introduce Spectral-Aware Muon (SAMuon), which holds the head at the Muon scale and amplifies the bulk using a static spectral prior. We provide two variants: the complete SAMuon follows the measured profile using a low-rank randomised SVD and the simplified SAMuon-lite uses a two-level approximation via rank-one power iteration. Neither method adds persistent optimiser state or notable extra FLOPs beyond Muon at scale, and the idealised exact-whitening versions of both retain Muon's asymptotic convergence rate under standard assumptions. Across "modded-nanogpt" models from 124M to 1B parameters, both variants outperform tuned AdamW and Muon (Scion implementation) baselines in all evaluated model-scale and batch-size configurations. SAMuon requires 13.3% to 24.0% fewer training tokens to reach the same validation loss as Muon, while SAMuon-lite retains most of this gain with near-zero wall-clock overhead.
- Abstract（参考訳）: ムオンのような直交オプティマイザはアダムと比較して大きな言語モデルをかなり加速させることができるが、そのメカニズムはいまだに完全には理解されていない。
本研究では,トランスフォーマーの損失景観のスペクトル探索解析を通じてこれを考察する。
実訓練軌道に沿ったチェックポイントにおいて、各運動量バッファをその特異な方向に分解し、保持されたデータに基づいて各方向に沿った損失最適ステップサイズを推定する。
結果として生じるスペクトルプロファイルは、バッチやトレーニング段階にわたって異方的だが安定しており、オプティマイザとモデルスケール間で一貫性がある:Edge-of-Stabilityで作動する揮発性ヘッドは、耐久バルクよりもはるかに小さなステップサイズをサポートし、かなり大きなステップを許容する。
このプロファイルは、MuonがAdamより優れ、SGDより優れている理由について、統一されたスペクトル割り当ての説明を提供する。
また、Muonの均一なスケーリングの制限も露呈している。
この発見に導かれたSpectral-Aware Muon(SAMuon)は,頭部をMuonスケールで保持し,静的スペクトルを用いてバルクを増幅する。
完全なSAMuonは低ランクランダム化SVDを用いて測定されたプロファイルに従い、単純化されたSAMuon-liteはランク1の電力反復による2レベル近似を使用する。
いずれの方法も、ムオンのスケールを超える持続的最適状態や顕著な追加FLOPを加味せず、両者の理想化された正確な白化バージョンはムオンの漸近収束率を標準仮定の下で保持する。
124Mから1Bパラメータの "modded-nanogpt" モデル全体では、いずれもAdamW と Muon (Scion の実装) のベースラインを、評価されたモデルスケールとバッチサイズの設定で上回っている。
SAMuonはトレーニングトークンを13.3%から24.0%少なくし、SAMuon-liteは壁面近傍のオーバーヘッドでほとんどの利益を保っている。
関連論文リスト
- Musec: MomentUm SpEctral Clipping for Stable Muon-type Training [24.72819846755016]
ミューオンは、損失のスパイクと重量の変動が原因で、スペクトル成長のために不安定性を訓練する傾向にある。
モーメントUmMusecは運動量行列の特異値を約1に切断し、基礎となるスペクトル構造を保存する。
経験的に、Soft Musecは、幅広い学習率とモデルサイズにわたる既存のMuon変種に対するトレーニングを一貫して改善している。
論文 参考訳（メタデータ） (2026-09-10T15:00:01Z) - Why Muon Outperforms Adam: A Curvature Perspective [49.85900116602357]
Muonは、大規模な言語モデルトレーニングにおいて、Adamよりもトレーニング効率を約2倍改善する。
私たちの研究は、Adamに対するMuonの優位性を曲率の観点から軽視する第一歩を踏み出します。
論文 参考訳（メタデータ） (2026-06-03T09:40:30Z) - MONA: Muon Optimizer with Nesterov Acceleration for Scalable Language Model Training [32.15839901598669]
我々は、Muonの直交化フレームワークを曲率認識加速度でブリッジする加速度項MONAを提案する。
我々はMONAの収束解析を行い、加速項が鋭い最小値からの脱出を可能にすることを示す。
汎用性、数学的推論、コード生成ベンチマークで評価し、MONAがSOTA性能を達成する。
論文 参考訳（メタデータ） (2026-05-26T10:56:20Z) - Extra-Merge: Tracing the Rank-1 Subspace of Model Merging in Language Model Pre-Training [56.323119575322146]
Extra-Mergeは、GPT-2およびLLaMAファミリーにわたる実験において、標準のマージベースラインを一貫して上回っている。
Pythia-12B下流のタスクに対して一貫したゼロショット精度のゲインを与え、Muon citepjordan2024muonに効果的に一般化する。
論文 参考訳（メタデータ） (2026-05-26T02:48:34Z) - Muon is Not That Special: Random or Inverted Spectra Work Just as Well [50.969177887027115]
正確な幾何構造が性能に影響を及ぼす重要な要因ではないことを実証する。
ここでは、Schatten (quasi-size)normsに基づく幾何学のファミリであるFreonを紹介する。
また、特異値をランダムノイズで置き換える不条理なKaonを導入する。
論文 参考訳（メタデータ） (2026-05-11T19:42:48Z) - Muown: Row-Norm Control for Muon Optimization [41.541871767555484]
Muonは、言語モデルの事前トレーニングにおいてAdamWと強く競合する。
Muownは、Muon、SOAP、AdamW、Lionの複雑さを改善します。
論文 参考訳（メタデータ） (2026-05-11T16:26:06Z) - Muon$^2$: Boosting Muon via Adaptive Second-Moment Preconditioning [18.570226339282296]
Muonは、大規模な基礎モデル事前トレーニングのための有望な計算として登場した。
メモリオーバーヘッドが無視できるMuon$2$のゲインをほとんど保存するメモリ効率の係数化変種であるMuon$2$を提案する。
論文 参考訳（メタデータ） (2026-04-11T00:27:40Z) - Sharp Capacity Scaling of Spectral Optimizers in Learning Associative Memory [77.27772368491698]
Muonのようなスペクトルは、最近、大規模な言語モデルトレーニングにおいて、強い経験的パフォーマンスを示している。
我々はこの問題を線形連想記憶問題を通して研究する。
また,Muonの貯蔵能力はSGDよりも有意に高いことがわかった。
論文 参考訳（メタデータ） (2026-03-27T16:13:18Z) - Variance-Adaptive Muon: Accelerating LLM Pretraining with NSR-Modulated and Variance-Scaled Momentum [19.385264518362472]
大規模言語モデル(LLM)は、多種多様な自然言語処理(NLP)タスク間の競合性能を達成する。
モーメントに分散適応正規化を適用するMuon-NSRとMuon-VSの2つの変種を提案する。
GPT-2 と LLaMA プレトレーニング実験により,提案手法は収束を加速し,AdamW と Muon の両ベースラインの競合よりも連続的に検証損失を減少させることを示した。
論文 参考訳（メタデータ） (2026-01-21T02:41:56Z) - NorMuon: Making Muon more efficient and scalable [71.49702449498085]
我々はアダムの後継としてノームーンを提案する。
我々は、NorMuonがAdamとMuonの両方を一貫して上回り、Adamより21.74%、Muonより11.31%改善していることを示す。
論文 参考訳（メタデータ） (2025-10-07T01:13:41Z) - Muon is Scalable for LLM Training [50.68746986439438]
MoE(Mixture-of-Expert)モデルであるMoonlightを紹介する。
我々のモデルは現在のフロンティアを改善し、以前のモデルに比べてトレーニングのFLOPをはるかに少なくして、より良いパフォーマンスを実現しています。
メモリ最適化と通信効率のよい分散 Muon 実装をオープンソースとして公開しています。
論文 参考訳（メタデータ） (2025-02-24T09:12:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。