論文の概要: Training-Loss Guarantees for Muon with Finite-Step Newton--Schulz Orthogonalization

• arxiv url: http://arxiv.org/abs/2610.03306v1
• Date: Fri, 02 Oct 2026 13:45:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.400931
• Title: Training-Loss Guarantees for Muon with Finite-Step Newton--Schulz Orthogonalization
• Title（参考訳）: 有限ステップニュートンを用いたミューオンの訓練損失保証-シュルツ直交化
• Abstract要約: チューニングされたニュートン・シュルツ写像は、更新のスペクトルノルムを束縛しながら運動量バッファとの整合性を保つことを示す。 数値実験は、十分な理論しきい値以下の幅でこれらのメカニズムを支持する。
• 参考スコア（独自算出の注目度）: 2.248800010440909
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing convergence analyses of Muon either assume exact orthogonalization or analyze classical Newton--Schulz polynomials, and guarantee only stationarity, so it is unresolved what Muon's five tuned Newton--Schulz steps preserve and whether that suffices to reach a prescribed neural-network training loss. We establish a finite-time training guarantee that accounts for both momentum accumulation before orthogonalization and the tuned finite-step update. For full-batch training of a sufficiently wide two-layer ReLU network with fixed random output weights and a positive-definite limiting neural tangent kernel, we prove that Muon reaches any target empirical squared loss $\varepsilon>0$ with high probability over initialization. For every momentum parameter $μ\in[0,1)$, a target-dependent constant learning rate proportional to $(1-μ)\sqrt{\varepsilon}$ yields a hitting-time bound of $O((1-μ)^{-1}\varepsilon^{-1/2})$, with other problem parameters fixed. The sufficient width is independent of both target accuracy and momentum. The analysis shows that the tuned Newton--Schulz map preserves alignment with the momentum buffer while bounding the update's spectral norm. Control of gradient variation near initialization transfers this alignment to the current gradient, ensuring descent until the target is reached without requiring exact orthogonalization. Numerical experiments support these mechanisms at widths below the sufficient theoretical threshold: gradient-update alignment remains above the analytical reference, and all 30 runs across six widths and five student initializations on a fixed teacher-student dataset reach the target loss while maintaining kernel positivity.
• Abstract（参考訳）: 既存のムオンの収束解析は、正確な直交化を仮定するか、古典的なニュートン-シュルツ多項式を解析し、定常性のみを保証する。 直交化前の運動量蓄積と調整された有限ステップ更新の両方を考慮に入れた有限時間トレーニング保証を確立する。 ランダムな出力重みが固定され、正定限のニューラル・タンジェント・カーネルを持つ十分に広い2層ReLUネットワークのフルバッチ・トレーニングにおいて、初期化よりも高い確率で、Muonが任意の目標2乗損失$\varepsilon>0$に達することを証明した。 すべての運動量パラメータ$μ\in[0,1)$に対して、目標依存定数学習レートは$(1-μ)\sqrt{\varepsilon}$に比例して$O((1-μ)^{-1}\varepsilon^{-1/2})$となる。 十分な幅は、目標精度と運動量の両方に依存しない。 解析により、調整されたニュートン-シュルツ写像は、更新のスペクトルノルムを束縛しながら運動量バッファとの整合を保っていることが示された。 初期化近傍の勾配変動の制御は、このアライメントを電流勾配に転送し、正確な直交化を必要とせずに目標に到達するまで降下を保証する。 勾配更新アライメントは解析基準より上であり、30人全員が6つの幅を走り、固定された教師-学生データセット上の5人の学生初期化は、カーネルの肯定性を保ちながら目標損失に達する。

関連論文リスト

• Convergence of Practical Muon with Finite Newton-Schulz Iterations and Nesterov Momentum [11.807444451741851]
  実践的なミューオンは運動量を維持し、各パラメータ行列に対して少数のニュートン-シュルツ反復を実行する。
  論文  参考訳（メタデータ） (2026-09-30T12:19:01Z)
• Learning Conditional Expectation Operators via Functional Newton Updates [20.68773389564316]
  本稿では,条件付き期待演算子の主特異構造を学習するための関数スペクトルニュートン法(FSNM)を提案する。 FSNMは、機能的ニュートン更新を交互に行い、中心となる結合と積の密度比のカーネルの低ランク表現に適合する。 FSNMは、低ランク密度比とその先行スペクトル構造を復元し、同じ学習されたカーネルが、再構成することなく複数の条件付きクエリに応答可能であることを示す。
  論文  参考訳（メタデータ） (2026-09-28T16:48:05Z)
• Convergence of Practical Muon [23.81536019182246]
  Muonは、大規模ニューラルネットワークトレーニングのためのAdamWに代わる有望な選択肢として浮上している。 実践的なムオンの解釈と収束を確立する。
  論文  参考訳（メタデータ） (2026-09-27T03:26:19Z)
• Uniform Statistical Convergence of Empirical Sinkhorn Potentials with Exponential and Polynomial Dependence on the Regularization Parameter [3.6552781109515853]
  本研究では,一様損失下でのエントロピー最適輸送電位の実験的シンクホーン推定器について検討した。 固定正規化パラメータ $varepsilon>0$ に対して、漸近的でない統計レート $n-1/2$ を確立する。 鍵となる要件は、シンクホーン写像の残留安定度推定である。
  論文  参考訳（メタデータ） (2026-08-29T08:59:00Z)
• Convergence Analysis of Newton's Method for Neural Networks in the Overparameterized Limit [0.0]
  ニューラルネットワークのトレーニングダイナミクスは,対象データに対して指数関数的に高速に収束することを示す。 収束は周波数スペクトルにわたって均一であり、勾配降下に固有のスペクトルバイアスに対処する。 正規化パラメータを選択するためのスケーリング公式を同定し、隠れたユニットの数が大きくなるにつれて適切な速度で消えることを示す。
  論文  参考訳（メタデータ） (2026-05-08T18:02:37Z)
• Unregularized Linear Convergence in Zero-Sum Game from Preference Feedback [50.89125374999765]
  NLHFにおける最適乗算重み更新(mathtOMWU$)に対する最初の収束保証を提供する。 本分析では, 稀に発生する行動の確率が指数関数的に小さい値から指数関数的に増大する新たな限界収束挙動を同定する。
  論文  参考訳（メタデータ） (2025-12-31T12:08:29Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Over-Parameterization Exponentially Slows Down Gradient Descent for Learning a Single Neuron [49.45105570960104]
  ランダム勾配降下のグローバル収束を$Oleft(T-3right)$ rateで証明する。 これら2つの境界は、収束率の正確な特徴づけを与える。 このポテンシャル関数は緩やかに収束し、損失関数の緩やかな収束率を示す。
  論文  参考訳（メタデータ） (2023-02-20T15:33:26Z)
• Finite-Time Analysis for Double Q-learning [50.50058000948908]
  二重Q-ラーニングのための非漸近的有限時間解析を初めて提供する。 同期と非同期の二重Q-ラーニングの両方が,グローバル最適化の$epsilon$-accurate近辺に収束することが保証されていることを示す。
  論文  参考訳（メタデータ） (2020-09-29T18:48:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。