論文の概要: Convergence guarantees for Muon: New parameter regimes and generalizations
- arxiv url: http://arxiv.org/abs/2609.30546v1
- Date: Thu, 24 Sep 2026 20:54:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.13836
- Title: Convergence guarantees for Muon: New parameter regimes and generalizations
- Title（参考訳）: Muon の収束保証:新しいパラメータ体系と一般化
- Abstract要約: 我々は、ニュートン・シュルツ反復のより正確なプロキシを通して、ミューオンアルゴリズムに対する最初の収束保証を確立する。
このアイデアをNesterovベースのMuonの変種であるemphMuesterovを導入して形式化し、同じ収束保証を享受していることを証明する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In this paper, we establish the first asymptotic convergence guarantees for the Muon algorithm through a more accurate proxy for the Newton-Schultz iteration than the typical matrix sign function. We prove that, for appropriate choices of hyperparameters, the iterates satisfy $\lim_{k\to\infty}\|\nabla f(x_k)\|=0$, and, under a global Polyak-Łojasiewicz condition, that the sequence of function values converges linearly. The key insight is that the regularization, implicit in Muon's Newton-Schulz implementation, induces a bounded preconditioner, exposing Muon as a \emph{preconditioned Polyak heavy-ball} method and enabling a classical Lyapunov analysis. This observation naturally motivates applying the same preconditioning structure to the Nesterov gradient evaluation. We formalize this idea by introducing \emph{Muesterov}, a Nesterov-based variant of Muon, and prove that it enjoys the same convergence guarantees, extending the theoretical framework beyond the heavy-ball setting. Numerical experiments on a scalar cross-entropy problem corroborate the theory and illuminate the joint role of the learning rate and the Newton-Schulz regularizer in controlling convergence. Preliminary numerical simulations training the nanoGPT dataset provide intuition regarding the relevance of the observations in this paper to practical applications.
- Abstract（参考訳）: 本稿では,典型的な行列手関数よりもニュートン・シュルツ反復のより正確なプロキシを用いて,Muonアルゴリズムに対する最初の漸近収束保証を確立する。
我々は、ハイパーパラメータの適切な選択に対して、イテレートが$\lim_{k\to\infty}\|\nabla f(x_k)\|=0$ を満たすことを証明し、大域的ポリャク=ジョジャシエヴィチ条件の下で関数の列が線型収束することを証明した。
キーとなる洞察は、ムオンのニュートン・シュルツ実装において暗黙的な正規化が有界プレコンディショナーを誘導し、ムオンを 'emph{preconditioned Polyak heavy-ball} メソッドとして公開し、古典的なリャプノフ解析を可能にすることである。
この観測は自然に同じプレコンディショニング構造をネステロフ勾配評価に適用する動機付けとなる。
我々は、ネステロフに基づくムオンの変種である 'emph{Muesterov} を導入してこのアイデアを形式化し、それが同じ収束保証を享受していることを証明する。
スカラークロスエントロピー問題に関する数値実験は、収束制御における学習速度とニュートン・シュルツ正則化器の合同的な役割を解明し、理論を裏付ける。
ナノGPTデータセットをトレーニングした予備数値シミュレーションは、本論文における観測結果の実用性に関する直感を与える。
関連論文リスト
- Constrained Stochastic Spectral Preconditioning Converges for Nonconvex Objectives [48.91820744387913]
我々は,Muon と Scions に着目した事前条件付き勾配法を開発した。
我々は,様々な凸や非還元制約を扱えるアルゴリズム群を紹介した。
論文 参考訳（メタデータ） (2026-05-12T09:36:13Z) - Preconditioning Benefits of Spectral Orthogonalization in Muon [50.62925024212989]
線形変圧器の行列分解と文脈内学習の2つのケーススタディにおいて,ミュオンの簡易版の有効性について検討した。
解析の結果,Muonのダイナミクスはスペクトル領域内の独立したスカラー配列の集合に分解され,それぞれが同様の収束挙動を示すことが明らかとなった。
論文 参考訳（メタデータ） (2026-01-20T00:08:31Z) - On the Convergence of Muon and Beyond [31.900178928104648]
分散の低減により、Muon-MVR2 が最適な複雑性を達成できるという最初の証明を提供する。
全体として、この研究はムオン形式の最適性の最初の証明を提供する。
論文 参考訳（メタデータ） (2025-09-19T09:43:37Z) - Revisiting Convergence: Shuffling Complexity Beyond Lipschitz Smoothness [50.78508362183774]
シャッフル型勾配法はその単純さと迅速な経験的性能のために実践的に好まれる。
リプシッツ条件は一般的な機械学習スキームでは満たされないことが多い。
論文 参考訳（メタデータ） (2025-07-11T15:36:48Z) - Convergence Bound and Critical Batch Size of Muon Optimizer [1.2289361708127877]
4つの実践的な設定にまたがって、Muon の収束証明を提供する。
重み付け崩壊の付加は、より厳密な理論的境界をもたらすことを示す。
トレーニングの計算コストを最小限に抑えた,Muonのクリティカルバッチサイズを導出する。
論文 参考訳（メタデータ） (2025-07-02T11:03:13Z) - A Riemannian Optimization Perspective of the Gauss-Newton Method for Feedforward Neural Networks [3.48097307252416]
我々は,スムーズな活性化関数を持つニューラルネットワークを学習するためのガウスニュートン力学の収束性を分析する。
適切な減衰スケジュールが選択されたレバンス・マルカルト力学は、潜在的に条件の悪いニューラル・タンジェント・カーネル行列にも拘わらず、高速収束率が得られることを示す。
論文 参考訳（メタデータ） (2024-12-18T16:51:47Z) - Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram
Iteration [122.51142131506639]
循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。
提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。
これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
論文 参考訳（メタデータ） (2023-05-25T15:32:21Z) - Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。
また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
論文 参考訳（メタデータ） (2023-04-27T06:27:37Z) - Conformal field theory from lattice fermions [77.34726150561087]
1+1次元の格子フェルミオンで与えられる共形場理論の厳密な格子近似を提供する。
これらの結果が共形場理論の量子シミュレーションに関連する明らかな誤差推定にどのように結びつくかを示す。
論文 参考訳（メタデータ） (2021-07-29T08:54:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。