論文の概要: Towards Understanding the Power and Limits of the Muon Optimizer: A River-Valley Perspective

• arxiv url: http://arxiv.org/abs/2606.21514v1
• Date: Fri, 19 Jun 2026 15:10:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 12:56:16.370318
• Title: Towards Understanding the Power and Limits of the Muon Optimizer: A River-Valley Perspective
• Title（参考訳）: ミューオンオプティマイザのパワーと限界の理解に向けて:リバー・ヴァレーの視点から
• Authors: Tianqi Shen, Jinji Yang, Runze Shi, Jianhao Ma, Jiaye Teng, Ziye Ma,
• Abstract要約: 近年、ムオンはアダムのようなニュアンスに代えて魅力的な存在として注目されている。 本稿では,センサオペレータを信号,スパイク,バルク成分に分解した混合スパイク行列センシングモデルを提案する。 本研究は,学習の初期段階において,ムオンが情報量の多い川方向に沿ってより速く移動することを示す。
• 参考スコア（独自算出の注目度）: 12.959531584997462
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, Muon has gained substantial attention as an appealing alternative to Adam-like optimizers, with many works highlighting its advantages through spectral normalization and improved conditioning. Yet this positive theoretical narrative contrasts with its empirical performance in large language model (LLM) training, where Muon's gains over Adam/AdamW are often mixed, schedule-sensitive, and not uniformly superior. To address this gap, we develop a trajectory-level theory characterizing both the strengths and limitations of Muon. We introduce a mixed-spiked matrix sensing model whose sensing operator decomposes into signal, spike, and bulk components, capturing a mixture of anisotropic structure and long-tail information reminiscent of LLM training. On top of it, we adopted a river-valley perspective in which we view the landscape as composed of a river direction flowing to the desired solution and hill directions encoding nuisance or task-irrelevant information. In the momentum-free setting, we show that Muon moves faster along the information-bearing river direction during early optimization, but can converge much more slowly near the river bottom than gradient descent. We then extend the river-valley perspective to general nonconvex objectives with momentum by studying points on the spectral river. There, while Muon converges faster early on, its orthogonalized update removes residual scale information, making it prone to overshooting and oscillation near the target solution. Together, these results suggest that our characterizations extend beyond spiked matrix sensing and motivate switching to GD-like refinement optimizers in the final phase, rather than relying only on a fixed learning-rate schedule for Muon. We also provide preliminary evidence supporting this two-stage approach in language model training experiments.
• Abstract（参考訳）: 近年、MuonはAdamのようなオプティマイザに代わる魅力的な代替品として注目され、スペクトル正規化と条件付けの改善によってその利点を強調している。 しかし、この肯定的な理論的物語は、大規模な言語モデル(LLM)訓練における経験的なパフォーマンスとは対照的である。 このギャップに対処するために、Muonの強みと限界の両方を特徴付ける軌道レベル理論を開発する。 信号, スパイク, バルク成分に分解し, 異方性構造とLLMトレーニングを連想させる長テール情報とを混合した混合スパイクマトリックスセンシングモデルを提案する。 その上で,河川の景観を,望まれる溶液に流れる河川の方向と,ニュアンスやタスク非関連情報を符号化した丘陵の方向とから構成した河川谷の視点を取り入れた。 モーメントフリー環境では,初期最適化において,ムオンは情報量の多い川に沿ってより速く移動するが,勾配降下よりも河底付近でよりゆっくり収束できることを示す。 次に、スペクトル川上の点を研究することにより、河谷の視点を運動量を伴う一般の非凸目標まで拡張する。 そこで、Muonは早く収束するが、直交した更新は残留スケール情報を取り除き、ターゲットの溶液の近くでオーバーシュートや発振をしがちである。 これらの結果から,Muonの学習率の固定化に限らず,GDライクな改良オプティマイザへの切り替えを最終フェーズで行うことが示唆された。 また、言語モデル学習実験におけるこの2段階のアプローチを支持する予備的証拠も提示する。

関連論文リスト

• Initialization is Half the Battle: Generating Diverse Images from a Guidance Potential Posterior [51.62608628984139]
  誘導電位後部から初期雑音の選択を定式化し,多様性に富む領域への事前の重み付けを効果的に行う。 この分布を効率的にサンプリングするために、ダイバーシティ誘導初期化(DivIn)を紹介する。 本手法は,拡散モデルと流れマッチングモデルの両方に適合する推論時多様性向上として機能する。
  論文  参考訳（メタデータ） (2026-06-01T16:25:10Z)
• MONA: Muon Optimizer with Nesterov Acceleration for Scalable Language Model Training [32.15839901598669]
  我々は、Muonの直交化フレームワークを曲率認識加速度でブリッジする加速度項MONAを提案する。 我々はMONAの収束解析を行い、加速項が鋭い最小値からの脱出を可能にすることを示す。 汎用性、数学的推論、コード生成ベンチマークで評価し、MONAがSOTA性能を達成する。
  論文  参考訳（メタデータ） (2026-05-26T10:56:20Z)
• AMUSE: Anytime Muon with Stable Gradient Evaluation [25.647698512832648]
  本研究は,平らで低曲率なバルク部分空間に沿って,ムーンを河川-谷の損失景観から調査するものである。 本研究では,Muonの急激なバルク進行とSchedule-Free平均化の安定化効果を統合した安定勾配評価(AMUSE)を用いたAnytime MUonを提案する。
  論文  参考訳（メタデータ） (2026-05-21T12:55:52Z)
• Spectral Flattening Is All Muon Needs: How Orthogonalization Controls Learning Rate and Convergence [15.754779716816174]
  ムオンの最大安定ステップサイズは、最大ではなく、勾配の平均特異値でスケールすることを示す。 我々はMuonを事前条件付き勾配法として再評価し、Kronecker-factored curvatureモデルの下で有効収束係数を改善することを示す。
  論文  参考訳（メタデータ） (2026-05-13T06:54:01Z)
• Optimizer-Induced Mode Connectivity: From AdamW to Muon [50.258866851760416]
  我々は、Lion-$mathcalK$ファミリー内の1つのAdamW、Muon、その他からの解が、十分に大きな幅で連結集合を形成することを示す。 広帯域では2つの異なる領域が正則化に応じて解離または重なり合うことができる。
  論文  参考訳（メタデータ） (2026-05-11T05:07:36Z)
• Sharp Capacity Scaling of Spectral Optimizers in Learning Associative Memory [77.27772368491698]
  Muonのようなスペクトルは、最近、大規模な言語モデルトレーニングにおいて、強い経験的パフォーマンスを示している。 我々はこの問題を線形連想記憶問題を通して研究する。 また,Muonの貯蔵能力はSGDよりも有意に高いことがわかった。
  論文  参考訳（メタデータ） (2026-03-27T16:13:18Z)
• To Use or not to Use Muon: How Simplicity Bias in Optimizers Matters [16.624341041698013]
  Muonはおそらく、トレーニング速度が優れているため、最も人気がある。 本稿では、このスピードアップを駆動するメカニズムから生じる潜在的な欠点について検討する。 Muonはタスク間の共通基盤構造を明らかにするのに苦労しており、刺激的な特徴に適合する傾向にある。
  論文  参考訳（メタデータ） (2026-02-28T17:37:15Z)
• Muon in Associative Memory Learning: Training Dynamics and Scaling Laws [23.350512542598803]
  We study Muon in a linear associative memory model with softmax search and ahierarchical frequency spectrum over query-apwer pairs。 我々は、Muonがこの不均衡を緩和し、より速く、より均一な進歩をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-02-05T14:49:40Z)
• The Principles of Diffusion Models [81.12042238390075]
  拡散モデリングは、データを徐々にノイズに分解するフォワードプロセスを定義することから始まる。 目標は、ノイズをデータに変換しながら、同じ中間体を回復するリバースプロセスを学ぶことだ。 エネルギーベースモデリングに根ざしたスコアベースビューは、進化するデータ分布の勾配を学習する。 フローベースのビューは、フローの正規化に関連するもので、サンプルをノイズからデータに移すスムーズなパスに従って生成する。
  論文  参考訳（メタデータ） (2025-10-24T02:29:02Z)
• FlowMo: Variance-Based Flow Guidance for Coherent Motion in Video Generation [51.110607281391154]
  FlowMoは、テキスト・ビデオ・モデルにおける動きコヒーレンスを高めるためのトレーニング不要のガイダンス手法である。 時間次元のパッチワイドな分散を測定して動きのコヒーレンスを推定し、サンプリング中にこの分散を動的に減少させるためにモデルを導く。
  論文  参考訳（メタデータ） (2025-06-01T19:55:33Z)
• Self-Supervised Learning of Non-Rigid Residual Flow and Ego-Motion [63.18340058854517]
  動的3次元シーンに対する非剛性残留流とエゴ運動流の連成推定によるエンドツーエンドのシーンフロー学習法を提案する。 我々は、点クラウドシーケンスの時間的一貫性性に基づいて、自己監督的な信号で教師付きフレームワークを拡張した。
  論文  参考訳（メタデータ） (2020-09-22T11:39:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。