論文の概要: Muon with Finite Newton-Schulz: The Smoothing Benefit in Nonsmooth Nonconvex Optimization

• arxiv url: http://arxiv.org/abs/2608.26288v1
• Date: Wed, 26 Aug 2026 18:14:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.141978
• Title: Muon with Finite Newton-Schulz: The Smoothing Benefit in Nonsmooth Nonconvex Optimization
• Title（参考訳）: 有限ニュートンシュルツを用いたミューオン:非滑らかな非凸最適化における滑らかなベネフィット
• Authors: Mingyi Li, Taira Tsuchiya,
• Abstract要約: 有限ニュートン・シュルツ反復は非滑らかな非最適化に有用であることを示す。 この議論はニュートン=シュルツを超えて、同じ性質の一般的なスペクトル写像にまで広がる。
• 参考スコア（独自算出の注目度）: 12.70261661948628
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Muon has emerged as a strong optimizer for the matrix-valued parameters in large language model pretraining, approximately orthogonalizing its momentum with a few Newton-Schulz iterations. Existing theory either replaces this iteration with the exact polar factor it approximates, or treats its finite depth as an approximation error, and thus the iteration Muon actually runs can only hurt the guarantees. We show that finite Newton-Schulz can instead be beneficial for nonsmooth nonconvex optimization. To this end, we analyze Muon through the online-to-nonconvex conversion, which views the update rule as an online learner and converts its regret bound into a stationarity guarantee. The finite Newton-Schulz iteration smooths the discontinuous polar map into a Lipschitz map of the singular values, and Muon with finite Newton-Schulz can be regarded as an online learner with a smoothed spectral potential. This smoothing is exactly what the conversion needs: we prove that a Newton-Schulz depth growing only logarithmically in the target accuracy suffices for convergence to stationary points in nonsmooth nonconvex optimization, whereas Muon with the exact-polar update may fail to converge. The resulting sample complexity bounds match the best-known guarantees for nonsmooth nonconvex optimization and are optimal for smooth nonconvex optimization up to problem-dependent factors. The argument extends beyond Newton-Schulz to general spectral maps with the same smoothing property.
• Abstract（参考訳）: ミューオンは大規模言語モデルの事前学習における行列値パラメータの強力な最適化器として現れ、ニュートン・シュルツの反復でその運動量をほぼ直交した。 既存の理論では、この反復を近似する正確な極因子に置き換えるか、あるいはその有限深さを近似誤差として扱うかのいずれかであり、したがって、実際にムーンが実行している反復は保証を損なうだけである。 有限ニュートン・シュルツは非滑らかな非凸最適化に有用であることを示す。 そこで我々は,更新ルールをオンライン学習者と見なすオンライン・非凸変換を用いてMuonの分析を行い,その後悔点を固定性保証に変換する。 有限ニュートン・シュルツ反復は特異値のリプシッツ写像に不連続極写像を滑らかにし、有限ニュートン・シュルツを持つムーンは滑らかなスペクトルポテンシャルを持つオンライン学習者と見なすことができる。 ニュートン=シュルツ深度が対数的にしか成長しないことは、非滑らかな非凸最適化において定常点への収束に十分であるのに対して、正確な極性更新を持つムオンは収束に失敗することを証明する。 得られたサンプル複雑性境界は、非滑らかな非凸最適化の最もよく知られた保証と一致し、問題依存因子まで滑らかな非凸最適化に最適である。 この議論はニュートン=シュルツを超えて、同じ滑らかな性質を持つ一般スペクトル写像にまで広がる。

関連論文リスト

• OptMuon: Closed-Loop Orthogonalized Momentum Methods for Stochastic Optimization with Zero-Noise Optimality [23.28384210732827]
  閉ループスカラー運動量を示す。 最適化はムオン型運動量と組み合わせることができる。 雑音適応性とゼロノイズ最適性を対数因子まで保ちながら最適化する。 これらの結果は,OptMuon-Aがノイズレートを達成することを示す。 (T-1/2+1/2T-1/2)を平均滑らかに、OptMuon-Iをノイズレートとする。 (T-1/2+)
  論文  参考訳（メタデータ） (2026-06-07T18:59:24Z)
• Muon is Not That Special: Random or Inverted Spectra Work Just as Well [50.969177887027115]
  正確な幾何構造が性能に影響を及ぼす重要な要因ではないことを実証する。 ここでは、Schatten (quasi-size)normsに基づく幾何学のファミリであるFreonを紹介する。 また、特異値をランダムノイズで置き換える不条理なKaonを導入する。
  論文  参考訳（メタデータ） (2026-05-11T19:42:48Z)
• Muon with Nesterov Momentum: Heavy-Tailed Noise and (Randomized) Inexact Polar Decomposition [11.258577546422295]
  我々は,非$行列最適化雑音における不正確な極分解の理論を開発する。 我々は、フルスペース法よりもはるかに効率的なランダム化された低ランク極性分解を解析する。
  論文  参考訳（メタデータ） (2026-05-07T19:32:39Z)
• Mousse: Rectifying the Geometry of Muon with Curvature-Aware Preconditioning [72.62839712454196]
  スペクトル最適化の最近の進歩、特にムーンは、スティーフェル多様体への更新ステップの制限が、トレーニングと改善を著しく加速することを示した。 我々は、この「利他的」制約は、曲率スペクトルが非常に重く、不調であることが知られているディープニューラルネットワークに最適であると主張している。 textbfShampoo の textbfStruct を利用した textbfMousse (textbfMuon textbfOptimization textbfUtilizing textbfShampoo's textbfStruct を提案する。
  論文  参考訳（メタデータ） (2026-03-10T14:03:49Z)
• UNSO: Unified Newton Schulz Orthogonalization [10.113387496783007]
  ニュートン・シュルツ (NS) はムーン多様体とスティーフェル多様体におけるその役割に対する関心が高まっている。 我々は反復構造を統一されたフレームワーク、Unified Newton-Schulz Orthogonalization (UNSO) に統合する。 これらの学習可能な係数は最適化され、安定した収束で優れた性能を達成する。
  論文  参考訳（メタデータ） (2026-01-18T17:54:43Z)
• Beyond the Ideal: Analyzing the Inexact Muon Update [54.70108543057578]
  本報告では,Muonコアにおける不正確な更新の初回解析について述べる。 この不正確さと最適なステップサイズと運動量との基本的な結合を明らかにする。
  論文  参考訳（メタデータ） (2025-10-22T18:01:07Z)
• Error Feedback for Muon and Friends [80.90330715662961]
  我々は、厳密な収束保証を備えた最初の通信効率非ユークリッドLMOであるEF21-Muonを紹介する。 我々の理論は、非ユークリッドの滑らかさとより一般的な$(L0, L1)$-smooth設定をカバーし、最もよく知られたユークリッドの速度と一致し、適切なノルム選択の下でより高速な収束を可能にする。
  論文  参考訳（メタデータ） (2025-10-01T08:20:08Z)
• Newton-LESS: Sparsification without Trade-offs for the Sketched Newton Update [88.73437209862891]
  2階最適化において、潜在的なボトルネックは繰り返しごとに最適化関数のヘシアン行列を計算することである。 本稿では,ガウススケッチ行列を劇的に分散させることにより,スケッチの計算コストを大幅に削減できることを示す。 ニュートン=ルネッサはガウス埋め込みとほぼ同じ問題に依存しない局所収束率を享受していることを証明した。
  論文  参考訳（メタデータ） (2021-07-15T17:33:05Z)
• Oracle Complexity in Nonsmooth Nonconvex Optimization [49.088972349825085]
  円滑で有界な$$stationaryポイントを考えると、Oracleベースのメソッドは円滑さの円滑な近似を見つけることができることがよく知られている。 本稿では,最適化と平滑化次元とのトレードオフを実証する。
  論文  参考訳（メタデータ） (2021-04-14T10:42:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。