論文の概要: Last-Iterate Stationarity of Muon with Finitely Many Newton-Schulz Iterations

• arxiv url: http://arxiv.org/abs/2610.34158v1
• Date: Sun, 25 Oct 2026 08:40:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.548711
• Title: Last-Iterate Stationarity of Muon with Finitely Many Newton-Schulz Iterations
• Title（参考訳）: 有限個のニュートン・シュルツ反復をもつミューオンの最後のIterate定常性
• Abstract要約: Muonは、大規模な言語モデルトレーニングにおいて強力な経験的パフォーマンスを達成し、その実践的実装をより理論的に理解する動機となった。 理想化された要素の更新とは異なり、実践的なムーンは固定された極性クインティック・ニュートン石を使用する。
• 参考スコア（独自算出の注目度）: 58.03578534213384
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Muon has achieved strong empirical performance in large-scale language-model training, motivating a better theoretical understanding of its practical implementation. Unlike the idealized polar-factor update, practical Muon uses a fixed number of quintic Newton--Schulz iterations. Existing analyses mainly establish average- or best-iterate stationarity guarantees, leaving last-iterate convergence less understood. We study last-iterate gradient convergence of practical finite-step Muon on smooth, lower-bounded nonconvex objectives. For deterministic gradients, we show that without input stabilization, Muon can cycle even on a smooth convex quadratic. With positive stabilization, we establish last-iterate gradient convergence for any fixed momentum coefficient below one and a sufficiently small constant learning rate, together with square-summability of gradients. For stochastic gradients, we first show that persistent bounded, unbiased noise can prevent convergence with fixed learning rates and momentum, even with positive stabilization. We then establish almost-sure and mean-square last-iterate gradient convergence by combining decreasing learning rates with increasing momentum under bounded-variance stochastic gradients. Finally, we construct a smooth counterexample showing that neither convergence theorem guarantees a pointwise polynomial rate. We further establish density-one convergence rates, guaranteeing polynomial gradient decay for all but a vanishing fraction of iterations.
• Abstract（参考訳）: Muonは、大規模な言語モデルトレーニングにおいて強力な経験的パフォーマンスを達成し、その実践的実装をより理論的に理解する動機となった。 理想化された極要素更新とは異なり、実用的ムーンは固定数のクインティックニュートン-シュルツ反復を用いる。 既存の分析は主に平均的あるいは最良な定常性の保証を確立し、最終段階の収束をあまり理解しないままにしている。 本研究は, 実有限ステップミューオンの非凸な滑らかな非凸対象に対する最終点勾配収束性について検討する。 決定論的勾配について、入力安定化がなければ、ムオンは滑らかな凸二次体上でも循環できることを示す。 正の安定化により、1以下の任意の固定運動量係数と十分に小さい定値学習率に対して、勾配の2乗推定可能性とともに最終定値勾配収束を確立する。 確率勾配について、まず、持続的有界非バイアス雑音は、正の安定化であっても、一定の学習率と運動量との収束を防止できることを示す。 次に、学習速度の低下と、有界分散確率勾配下での運動量の増加を組み合わせて、平均二乗平均二乗平均二乗勾配収束を確立する。 最後に、収束定理が点次多項式率を保証しないことを示す滑らかな反例を構築した。 さらに密度1収束率を確立し、多項式勾配の減衰を保証する。

関連論文リスト

• From Spectral to Frobenius: When Muon Loses Its Spectral Implicit Bias [12.566099927333125]
  勾配勾配勾配は線形分離可能な問題に対してフロベニウス最大辺方向を選択することを示す。 また、指数移動平均とネステロフ型運動量の両方に対してこの挙動を確立する。 我々は,Muonがトレーニングよりも対数的に成長するNewton-Schulzにより,スペクトルの最大偏差を回復できることを示す。
  論文  参考訳（メタデータ） (2026-10-14T12:42:35Z)
• Training-Loss Guarantees for Muon with Finite-Step Newton--Schulz Orthogonalization [2.248800010440909]
  チューニングされたニュートン・シュルツ写像は、更新のスペクトルノルムを束縛しながら運動量バッファとの整合性を保つことを示す。 数値実験は、十分な理論しきい値以下の幅でこれらのメカニズムを支持する。
  論文  参考訳（メタデータ） (2026-10-02T13:45:57Z)
• Convergence of Practical Muon with Finite Newton-Schulz Iterations and Nesterov Momentum [11.807444451741851]
  実践的なミューオンは運動量を維持し、各パラメータ行列に対して少数のニュートン-シュルツ反復を実行する。
  論文  参考訳（メタデータ） (2026-09-30T12:19:01Z)
• Spectral Flattening Is All Muon Needs: How Orthogonalization Controls Learning Rate and Convergence [15.754779716816174]
  ムオンの最大安定ステップサイズは、最大ではなく、勾配の平均特異値でスケールすることを示す。 我々はMuonを事前条件付き勾配法として再評価し、Kronecker-factored curvatureモデルの下で有効収束係数を改善することを示す。
  論文  参考訳（メタデータ） (2026-05-13T06:54:01Z)
• Constrained Stochastic Spectral Preconditioning Converges for Nonconvex Objectives [48.91820744387913]
  我々は,Muon と Scions に着目した事前条件付き勾配法を開発した。 我々は,様々な凸や非還元制約を扱えるアルゴリズム群を紹介した。
  論文  参考訳（メタデータ） (2026-05-12T09:36:13Z)
• Revisiting Convergence: Shuffling Complexity Beyond Lipschitz Smoothness [50.78508362183774]
  シャッフル型勾配法はその単純さと迅速な経験的性能のために実践的に好まれる。 リプシッツ条件は一般的な機械学習スキームでは満たされないことが多い。
  論文  参考訳（メタデータ） (2025-07-11T15:36:48Z)
• Incremental Quasi-Newton Methods with Faster Superlinear Convergence Rates [50.36933471975506]
  各成分関数が強く凸であり、リプシッツ連続勾配とヘシアンを持つ有限和最適化問題を考える。 最近提案されたインクリメンタル準ニュートン法は、BFGSの更新に基づいて、局所的な超線形収束率を達成する。 本稿では、対称ランク1更新をインクリメンタルフレームワークに組み込むことにより、より効率的な準ニュートン法を提案する。
  論文  参考訳（メタデータ） (2024-02-04T05:54:51Z)
• High-probability Bounds for Non-Convex Stochastic Optimization with Heavy Tails [55.561406656549686]
  我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。 本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
  論文  参考訳（メタデータ） (2021-06-28T00:17:01Z)
• Convergence of Gradient Algorithms for Nonconvex $C^{1+\alpha}$ Cost Functions [2.538209532048867]
  勾配が収束する副生成物を示し、収束率に明示的な上限を与える。 これにより、ドオブマルティンの超ガレ収束定理によるほぼ確実な収束を証明できる。
  論文  参考訳（メタデータ） (2020-12-01T16:48:59Z)
• Linear Last-iterate Convergence in Constrained Saddle-point Optimization [48.44657553192801]
  我々は、OGDA(Optimistic Gradient Descent Ascent)とOMWU(Optimistic Multiplicative Weights Update)に対する最終段階の独特さの理解を著しく拡大する。 平衡が一意である場合、線形終端収束は、値が普遍定数に設定された学習速度で達成されることを示す。 任意のポリトープ上の双線型ゲームがこの条件を満たすことを示し、OGDAは一意の平衡仮定なしで指数関数的に高速に収束することを示した。
  論文  参考訳（メタデータ） (2020-06-16T20:53:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。