論文の概要: Convergence of Practical Muon

• arxiv url: http://arxiv.org/abs/2609.33152v1
• Date: Sun, 27 Sep 2026 03:26:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 10:02:01.839448
• Title: Convergence of Practical Muon
• Title（参考訳）: 実践的ミューオンの収束性
• Abstract要約: Muonは、大規模ニューラルネットワークトレーニングのためのAdamWに代わる有望な選択肢として浮上している。 実践的なムオンの解釈と収束を確立する。
• 参考スコア（独自算出の注目度）: 23.81536019182246
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Muon is emerging as a promising alternative to AdamW for large-scale neural network training, yet theoretical understanding of its practical implementation remains incomplete, as existing analyses often simplify or omit two key components: (i) practical Newton--Schulz iterations with empirically tuned polynomial coefficients $(3.4445,-4.7750,2.0315)$; and (ii) decoupled weight decay for regularization. In this paper, we provide an optimization interpretation and establish convergence for practical Muon, jointly accounting for both components. Specifically, we interpret practical Muon as right-preconditioned optimization of the original loss with a dynamic weighted $\ell_2$ regularizer that vanishes as stationarity is approached, so that the optimization target remains the original objective. We then establish, to our best knowledge, the first convergence guarantee for practical Muon in the stochastic nonconvex setting, with an $\mathcal{O}(T^{-1/4})$ convergence rate in terms of the expected Frobenius norm of the gradient, improving the dimension dependence of the best known AdamW's convergence rate by a factor of $\sqrt{d}$, where $T$ is the iteration horizon and $d$ is the parameter dimension. Experiments further support the theoretical convergence results.
• Abstract（参考訳）: 大規模なニューラルネットワークトレーニングにおいて、MuonはAdamWに代わる有望な代替手段として浮上しているが、その実践的実装に関する理論的理解はいまだ不完全であり、既存の分析は2つの重要なコンポーネントを単純化または省略することが多い。 (i)経験的に調整された多項式係数$(3.4445,-4.7750,2.0315)$;および (II) 正則化のための脱カップリング重り崩壊。 本稿では,両コンポーネントを共同で考慮した,実用的なMuonの最適化解釈と収束を確立する。 具体的には, 実用的ムオンを, 動的重み付き$\ell_2$正則化器を用いて, 元の損失の右条件最適化として解釈し, 最適化対象が元の目的のまま残るようにした。 すると、最もよく知られたAdamWの収束率の次元依存性を$\sqrt{d}$で改善し、$T$はイテレーションの地平線であり$d$はパラメータ次元である。 実験は理論収束の結果をさらに支持する。

関連論文リスト

• The Convergence Behavior of Adam under Heavy-Tailed Noise [1.7344431802333924]
  重み付き雑音下での素ベクトル形式Adamに対する最初の収束保証を確立する。 我々は、Adamが重み付き雑音の下で$(,)$定常点に収束することを示している。
  論文  参考訳（メタデータ） (2026-07-29T18:42:35Z)
• Unregularized Linear Convergence in Zero-Sum Game from Preference Feedback [50.89125374999765]
  NLHFにおける最適乗算重み更新(mathtOMWU$)に対する最初の収束保証を提供する。 本分析では, 稀に発生する行動の確率が指数関数的に小さい値から指数関数的に増大する新たな限界収束挙動を同定する。
  論文  参考訳（メタデータ） (2025-12-31T12:08:29Z)
• A Convergence Analysis of Adaptive Optimizers under Floating-point Quantization [32.97211471008323]
  我々は、勾配、重み、状態の浮動小数点量子化の下で、アダムやムオンを含む適応収束の最初の理論的枠組みを導入する。 両アルゴリズムが完全精度のアルゴリズムに近い収束率を維持していることを示す。 我々はさらに、Adamが$beta から 1$ への依存のため、高い感度と第二モーメントの量子化重みに敏感であることを明らかにし、Muon はより弱いエラー制御を必要とするため、より堅牢である可能性がある。
  論文  参考訳（メタデータ） (2025-10-24T10:16:23Z)
• On the Convergence of Muon and Beyond [31.900178928104648]
  分散の低減により、Muon-MVR2 が最適な複雑性を達成できるという最初の証明を提供する。 全体として、この研究はムオン形式の最適性の最初の証明を提供する。
  論文  参考訳（メタデータ） (2025-09-19T09:43:37Z)
• Convergence Rate Analysis of LION [54.28350823319057]
  LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。 従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
  論文  参考訳（メタデータ） (2024-11-12T11:30:53Z)
• Adaptive, Doubly Optimal No-Regret Learning in Strongly Monotone and Exp-Concave Games with Gradient Feedback [75.29048190099523]
  オンライン勾配降下(OGD)は、強い凸性や単調性仮定の下では二重最適であることが知られている。 本稿では,これらのパラメータの事前知識を必要としない完全適応型OGDアルゴリズム,textsfAdaOGDを設計する。
  論文  参考訳（メタデータ） (2023-10-21T18:38:13Z)
• Permutation Compressors for Provably Faster Distributed Nonconvex Optimization [68.8204255655161]
  本稿では,Gorbunov et al (2021) の MARINA 法が,理論的な通信複雑性の観点から最先端の手法とみなすことができることを示す。 MARINAの理論は、古典的な独立圧縮機設定を超えて、潜在的にエミュレートされた圧縮機の理論を支持するものである。
  論文  参考訳（メタデータ） (2021-10-07T09:38:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。