論文の概要: Muon$^2$: Boosting Muon via Adaptive Second-Moment Preconditioning

• arxiv url: http://arxiv.org/abs/2604.09967v1
• Date: Sat, 11 Apr 2026 00:27:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:15.770596
• Title: Muon$^2$: Boosting Muon via Adaptive Second-Moment Preconditioning
• Title（参考訳）: Muon$^2$: Adaptive Second-Moment Preconditioning による Muon のブースティング
• Authors: Ziyue Liu, Ruijie Zhang, Zhengyang Wang, Yequan Zhao, Yupeng Su, Zi Yang, Zheng Zhang,
• Abstract要約: Muonは、大規模な基礎モデル事前トレーニングのための有望な計算として登場した。 メモリオーバーヘッドが無視できるMuon$2$のゲインをほとんど保存するメモリ効率の係数化変種であるMuon$2$を提案する。
• 参考スコア（独自算出の注目度）: 18.570226339282296
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Muon has emerged as a promising optimizer for large-scale foundation model pre-training by exploiting the matrix structure of neural network updates through iterative orthogonalization. However, its practical efficiency is limited by the need for multiple Newton--Schulz (NS) iterations per optimization step, which introduces non-trivial computation and communication overhead. We propose Muon$^2$, an extension of Muon that applies Adam-style adaptive second-moment preconditioning before orthogonalization. Our key insight is that the core challenge of polar approximation in Muon lies in the ill-conditioned momentum matrix, of which the spectrum is substantially improved by Muon$^2$, leading to faster convergence toward a practically sufficient orthogonalization. We further characterize the practical orthogonalization quality via directional alignment, under which Muon$^2$ demonstrates dramatic improvement over Muon at each polar step. Across GPT and LLaMA pre-training experiments from 60M to 1.3B parameters, Muon$^2$ consistently outperforms Muon and recent Muon variants while reducing NS iterations by 40\%. We further introduce Muon$^2$-F, a memory-efficient factorized variant that preserves most of the gains of Muon$^2$ with negligible memory overhead.
• Abstract（参考訳）: Muonは、反復直交化を通じてニューラルネットワーク更新の行列構造を活用することで、大規模ファンデーションモデルの事前トレーニングのための有望なオプティマイザとして登場した。 しかし、その実用的効率は、最適化ステップ毎に複数のニュートン-シュルツ (NS) イテレーションが必要であり、これは非自明な計算と通信オーバーヘッドをもたらす。 直交化の前にAdam型適応第二モーメント事前条件を適用したMuonの延長であるMuon$^2$を提案する。 我々の重要な洞察は、ムオンの極近似のコアチャレンジは不条件運動量行列にあり、そのスペクトルはムオン$^2$で大幅に改善され、事実上十分な直交化へのより速い収束をもたらすということである。 さらに,Muon$^2$が各極ステップにおけるMuonに対する劇的な改善を示す方向アライメントによる実践的直交化品質を特徴付ける。 GPTおよびLLaMAによる60Mから1.3Bパラメータの事前学習実験では、Muon$^2$はムーンと最近のムーンの変種を一貫して上回り、NSの繰り返しを40%減らした。 さらに、メモリオーバーヘッドが無視できるMuon$^2$のゲインをほとんど保存するメモリ効率の係数化変種であるMuon$^2$-Fを導入する。

関連論文リスト

• The Newton-Muon Optimizer [2.1583596008762935]
  我々は,Muonの設計イテレーションに新たな光を放つ代理モデルを導入する。 Newton-Muonと呼ばれる新しい最適化手法は、標準のMuonを暗黙のNewton-typeメソッドとして解釈できることを示している。
  論文  参考訳（メタデータ） (2026-04-01T23:29:08Z)
• Sharp Capacity Scaling of Spectral Optimizers in Learning Associative Memory [77.27772368491698]
  Muonのようなスペクトルは、最近、大規模な言語モデルトレーニングにおいて、強い経験的パフォーマンスを示している。 我々はこの問題を線形連想記憶問題を通して研究する。 また,Muonの貯蔵能力はSGDよりも有意に高いことがわかった。
  論文  参考訳（メタデータ） (2026-03-27T16:13:18Z)
• Beyond Muon: MUD (MomentUm Decorrelation) for Faster Transformer Training [0.0]
  MUD(MomentUm Decorrelation)は,Muonの極点更新を三角形(Cholesky様)の白化代理に置き換える補完的な白化手法である。 MUDは、調整されたAdamWとMuonよりも、10-50%のウォールクロック改善を実現している。 また,EMM-2 150Mタンパク質言語モデルのトレーニングを行った。
  論文  参考訳（メタデータ） (2026-03-18T17:37:31Z)
• NuMuon: Nuclear-Norm-Constrained Muon for Compressible LLM Training [50.27276603708547]
  フルランク更新を行うにもかかわらず,無音訓練モデルでは重み行列の低ランク構造が顕著に示され,標準パイプラインで容易に圧縮可能であることを示す。 更新方向の核ノルム制約でミューオンを増強し,低ランク構造への学習重み付けをさらに制限するNuMuonを提案する。
  論文  参考訳（メタデータ） (2026-03-04T00:10:14Z)
• Muon+: Towards Better Muon via One Additional Normalization Step [18.816463168231618]
  我々は,ミュオンの簡易かつ効果的な拡張,すなわちミュオン+を提案する。 モデルスケールとアーキテクチャの広範な事前学習実験を通じて,Muon+の有効性を実証する。
  論文  参考訳（メタデータ） (2026-02-25T04:04:00Z)
• Muon is Provably Faster with Momentum Variance Reduction [55.388203260208485]
  近年の実証研究により、線形線形オラクル(LMO)に基づく深層学習が特に選択された非ユーデアンよりも優れていることが示された。 アダム型学習法は,大規模言語モデルの最小化よりも優れている。
  論文  参考訳（メタデータ） (2025-12-18T14:38:39Z)
• NorMuon: Making Muon more efficient and scalable [71.49702449498085]
  我々はアダムの後継としてノームーンを提案する。 我々は、NorMuonがAdamとMuonの両方を一貫して上回り、Adamより21.74%、Muonより11.31%改善していることを示す。
  論文  参考訳（メタデータ） (2025-10-07T01:13:41Z)
• Error Feedback for Muon and Friends [80.90330715662961]
  我々は、厳密な収束保証を備えた最初の通信効率非ユークリッドLMOであるEF21-Muonを紹介する。 我々の理論は、非ユークリッドの滑らかさとより一般的な$(L0, L1)$-smooth設定をカバーし、最もよく知られたユークリッドの速度と一致し、適切なノルム選択の下でより高速な収束を可能にする。
  論文  参考訳（メタデータ） (2025-10-01T08:20:08Z)
• Muon is Scalable for LLM Training [50.68746986439438]
  MoE(Mixture-of-Expert)モデルであるMoonlightを紹介する。 我々のモデルは現在のフロンティアを改善し、以前のモデルに比べてトレーニングのFLOPをはるかに少なくして、より良いパフォーマンスを実現しています。 メモリ最適化と通信効率のよい分散 Muon 実装をオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2025-02-24T09:12:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。