論文の概要: Convergence of Muon with Newton-Schulz

• arxiv url: http://arxiv.org/abs/2601.19156v1
• Date: Tue, 27 Jan 2026 03:40:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-28 15:26:51.159337
• Title: Convergence of Muon with Newton-Schulz
• Title（参考訳）: ミューオンとニュートンシュルツの収束
• Abstract要約: ニュートン=シュルツを持つムオンが SVD-極イデアル化と同じ速度で定常点に収束することが証明される。 以上の結果から,低緯度ニュートン・シュルツ段数を持つムオンが,壁面時間において正極性(SVD)の挙動とより高速に一致した理由が示唆された。
• 参考スコア（独自算出の注目度）: 35.61554920994471
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We analyze Muon as originally proposed and used in practice -- using the momentum orthogonalization with a few Newton-Schulz steps. The prior theoretical results replace this key step in Muon with an exact SVD-based polar factor. We prove that Muon with Newton-Schulz converges to a stationary point at the same rate as the SVD-polar idealization, up to a constant factor for a given number $q$ of Newton-Schulz steps. We further analyze this constant factor and prove that it converges to 1 doubly exponentially in $q$ and improves with the degree of the polynomial used in Newton-Schulz for approximating the orthogonalization direction. We also prove that Muon removes the typical square-root-of-rank loss compared to its vector-based counterpart, SGD with momentum. Our results explain why Muon with a few low-degree Newton-Schulz steps matches exact-polar (SVD) behavior at a much faster wall-clock time and explain how much momentum matrix orthogonalization via Newton-Schulz benefits over the vector-based optimizer. Overall, our theory justifies the practical Newton-Schulz design of Muon, narrowing its practice-theory gap.
• Abstract（参考訳）: 我々は、いくつかのニュートン・シュルツステップで運動量直交化(英語版)を用いて、ムオンをもともと提案され、実際に用いられるように分析する。 前回の理論的結果は、ムオンのこの重要なステップを正確にSVDベースの極性因子に置き換えるものである。 ニュートン・シュルツをもつムオンが SVD-極イデアル化と同じ速度で定常点に収束し、与えられた数$q$のニュートン・シュルツステップの定数因子に収束することが証明される。 さらに、この定数係数を解析し、それが$q$で2倍指数的に 1 に収束することを証明し、直交方向を近似するためにニュートン=シュルツで使われる多項式の次数で改善する。 また、ムオンは運動量を持つベクトルベースの SGD と比較して、典型的な平方根の損失を除去する。 以上の結果から,低次ニュートン・シュルツ段数をもつミューオンが正確な極性(SVD)の挙動とより高速な壁面時間で一致し,ニュートン・シュルツによる運動量行列の直交化がベクトルベースオプティマイザよりもどれだけの恩恵を受けるかが説明できる。 全体として、我々の理論は実践的なニュートン・シュルツの設計を正当化し、その実践と理論のギャップを狭める。

関連論文リスト

• Muon with Finite Newton-Schulz: The Smoothing Benefit in Nonsmooth Nonconvex Optimization [12.70261661948628]
  有限ニュートン・シュルツ反復は非滑らかな非最適化に有用であることを示す。 この議論はニュートン=シュルツを超えて、同じ性質の一般的なスペクトル写像にまで広がる。
  論文  参考訳（メタデータ） (2026-08-26T18:14:00Z)
• Why Muon Outperforms Adam: A Curvature Perspective [49.85900116602357]
  Muonは、大規模な言語モデルトレーニングにおいて、Adamよりもトレーニング効率を約2倍改善する。 私たちの研究は、Adamに対するMuonの優位性を曲率の観点から軽視する第一歩を踏み出します。
  論文  参考訳（メタデータ） (2026-06-03T09:40:30Z)
• How Much Orthogonalization Does Muon Need? [20.05604748384174]
  ミューオンは、未条件の運動量更新をほぼ半直交の更新に置き換えることで、ニューラルネットワークトレーニングを改善する。 我々は、Muonの低精度特異値バンドに対して直接導出される緩和された立方体ニュートン-シュルツスケジュールを使用する。 トレーニング品質は極分解精度によって単調に管理されないことがわかった。
  論文  参考訳（メタデータ） (2026-05-29T21:26:25Z)
• Spectral Flattening Is All Muon Needs: How Orthogonalization Controls Learning Rate and Convergence [15.754779716816174]
  ムオンの最大安定ステップサイズは、最大ではなく、勾配の平均特異値でスケールすることを示す。 我々はMuonを事前条件付き勾配法として再評価し、Kronecker-factored curvatureモデルの下で有効収束係数を改善することを示す。
  論文  参考訳（メタデータ） (2026-05-13T06:54:01Z)
• Muon$^2$: Boosting Muon via Adaptive Second-Moment Preconditioning [18.570226339282296]
  Muonは、大規模な基礎モデル事前トレーニングのための有望な計算として登場した。 メモリオーバーヘッドが無視できるMuon$2$のゲインをほとんど保存するメモリ効率の係数化変種であるMuon$2$を提案する。
  論文  参考訳（メタデータ） (2026-04-11T00:27:40Z)
• The Newton-Muon Optimizer [2.1583596008762935]
  我々は,Muonの設計イテレーションに新たな光を放つ代理モデルを導入する。 Newton-Muonと呼ばれる新しい最適化手法は、標準のMuonを暗黙のNewton-typeメソッドとして解釈できることを示している。
  論文  参考訳（メタデータ） (2026-04-01T23:29:08Z)
• To Use or not to Use Muon: How Simplicity Bias in Optimizers Matters [16.624341041698013]
  Muonはおそらく、トレーニング速度が優れているため、最も人気がある。 本稿では、このスピードアップを駆動するメカニズムから生じる潜在的な欠点について検討する。 Muonはタスク間の共通基盤構造を明らかにするのに苦労しており、刺激的な特徴に適合する傾向にある。
  論文  参考訳（メタデータ） (2026-02-28T17:37:15Z)
• UNSO: Unified Newton Schulz Orthogonalization [10.113387496783007]
  ニュートン・シュルツ (NS) はムーン多様体とスティーフェル多様体におけるその役割に対する関心が高まっている。 我々は反復構造を統一されたフレームワーク、Unified Newton-Schulz Orthogonalization (UNSO) に統合する。 これらの学習可能な係数は最適化され、安定した収束で優れた性能を達成する。
  論文  参考訳（メタデータ） (2026-01-18T17:54:43Z)
• Muon is Provably Faster with Momentum Variance Reduction [55.388203260208485]
  近年の実証研究により、線形線形オラクル(LMO)に基づく深層学習が特に選択された非ユーデアンよりも優れていることが示された。 アダム型学習法は,大規模言語モデルの最小化よりも優れている。
  論文  参考訳（メタデータ） (2025-12-18T14:38:39Z)
• FedMuon: Federated Learning with Bias-corrected LMO-based Optimization [36.00641661700195]
  我々は,ミュオンがフェデレートラーニングにどのように活用できるかを考察した。 我々はFedMuonが最先端のフェデレーション学習手法より優れていることを示す。
  論文  参考訳（メタデータ） (2025-09-30T14:45:12Z)
• Muon Outperforms Adam in Tail-End Associative Memory Learning [118.98991042050532]
  機能埋め込みにかかわらず,Muonはクラス間のバランスの取れた学習を一貫して達成している。 我々の経験的観察と理論的分析により、ムオンの核となる利点が明らかとなり、その更新規則は線形連想記憶の外積構造と一致している。
  論文  参考訳（メタデータ） (2025-09-30T10:04:08Z)
• AuON: A Linear-time Alternative to Semi-Orthogonal Momentum Updates [0.0]
  運動量に基づく更新の半直交特性について検討し、スペクトルノルム信頼領域下での運動量更新を束縛する方法を開発した。 半直交行列を構成することなく強い性能を達成する線形時間であるAuON(正規化非線形スケーリングによる代替単位ノルム運動量更新)を提案する。 提案手法は, 双極子-コサインRMSスケーリング変換と正規化を組み合わせることで, ニュートン-シュルツ法と比較して, 有効性と計算効率の両立を実証する。
  論文  参考訳（メタデータ） (2025-09-29T06:03:53Z)
• On the Convergence of Muon and Beyond [31.900178928104648]
  分散の低減により、Muon-MVR2 が最適な複雑性を達成できるという最初の証明を提供する。 全体として、この研究はムオン形式の最適性の最初の証明を提供する。
  論文  参考訳（メタデータ） (2025-09-19T09:43:37Z)
• Average-case Speedup for Product Formulas [69.68937033275746]
  製品公式(英: Product formulas)またはトロッター化(英: Trotterization)は、量子系をシミュレートする最も古い方法であり、いまだに魅力的な方法である。 我々は、ほとんどの入力状態に対して、トロッター誤差が定性的に優れたスケーリングを示すことを証明した。 我々の結果は、平均的なケースにおける量子アルゴリズムの研究の扉を開く。
  論文  参考訳（メタデータ） (2021-11-09T18:49:48Z)
• Newton-LESS: Sparsification without Trade-offs for the Sketched Newton Update [88.73437209862891]
  2階最適化において、潜在的なボトルネックは繰り返しごとに最適化関数のヘシアン行列を計算することである。 本稿では,ガウススケッチ行列を劇的に分散させることにより,スケッチの計算コストを大幅に削減できることを示す。 ニュートン=ルネッサはガウス埋め込みとほぼ同じ問題に依存しない局所収束率を享受していることを証明した。
  論文  参考訳（メタデータ） (2021-07-15T17:33:05Z)
• A Newton Frank-Wolfe Method for Constrained Self-Concordant Minimization [60.90222082871258]
  本稿では,制約集合上の線形最小化オラクル(LMO)を用いて,制約付き自己調和最小化問題のクラスをカラフルに解く方法を示す。 L-smoothの場合、我々の手法のLMO呼び出し数はFrank-Wolfe法とほぼ同じであることを示す。
  論文  参考訳（メタデータ） (2020-02-17T15:28:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。