論文の概要: From Spectral to Frobenius: When Muon Loses Its Spectral Implicit Bias

• arxiv url: http://arxiv.org/abs/2610.20112v1
• Date: Wed, 14 Oct 2026 12:42:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.142356
• Title: From Spectral to Frobenius: When Muon Loses Its Spectral Implicit Bias
• Title（参考訳）: スペクトルからフロベニウスへ:Muonがスペクトル不含のバイアスを失ったとき
• Abstract要約: 勾配勾配勾配は線形分離可能な問題に対してフロベニウス最大辺方向を選択することを示す。 また、指数移動平均とネステロフ型運動量の両方に対してこの挙動を確立する。 我々は,Muonがトレーニングよりも対数的に成長するNewton-Schulzにより,スペクトルの最大偏差を回復できることを示す。
• 参考スコア（独自算出の注目度）: 12.566099927333125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prior work on implicit bias shows that gradient descent selects the Frobenius max-margin direction on linearly separable problems, whereas Fan et al. (2025) established spectral max-margin behavior for spectral-norm steepest descent methods, including idealized Muon with exact orthogonalization. In practice, however, Muon approximates orthogonalization using finite Newton-Schulz iterations and a positive stabilization constant. We prove that these implementation choices cause Muon to select the Frobenius rather than the spectral max-margin direction in linear classification with separable data. We also establish this behavior for both exponential moving average and Nesterov-style momentum. The key technical ingredient is a summable perturbation argument showing that the resulting parameter trajectories remain at bounded distance from those of gradient descent. We then disentangle the roles of Newton-Schulz iteration count, the stabilization constant, and the Newton-Schulz polynomial, revealing distinct asymptotic behaviors, including directions that achieve neither Frobenius nor spectral max-margin. Finally, we show that Muon can recover its spectral max-margin bias with Newton-Schulz iterations growing logarithmically over training.
• Abstract（参考訳）: 一方、Fan et al (2025) は、直交化の理想化を含むスペクトル-ノルム急勾配法に対して、スペクトル-極勾配の挙動を確立した。 しかし実際には、ムオンは有限ニュートン・シュルツ反復と正の安定化定数を用いて直交化を近似する。 これらの実装選択は、分離可能なデータを用いた線形分類において、Muonがスペクトル最大辺方向よりもフロベニウスを選択することを引き起こすことを証明している。 また、指数移動平均とネステロフ型運動量の両方に対してこの挙動を確立する。 重要な技術的要素は、結果として生じるパラメータの軌道が勾配降下の軌道から有界な距離に留まっていることを示す、要約可能な摂動論である。 次に、ニュートン・シュルツ反復数、安定化定数、ニュートン・シュルツ多項式の役割を解き、フロベニウスもスペクトルマックスマージンも達成しない方向を含む異なる漸近的挙動を明らかにする。 最後に,Muon のスペクトル最大偏差をNewton-Schulz 反復法で再現できることを示す。

関連論文リスト

• Convergence of Practical Muon with Finite Newton-Schulz Iterations and Nesterov Momentum [11.807444451741851]
  実践的なミューオンは運動量を維持し、各パラメータ行列に対して少数のニュートン-シュルツ反復を実行する。
  論文  参考訳（メタデータ） (2026-09-30T12:19:01Z)
• Stochastic Optimization Under Power-Law Spectra: Tight Bounds and Shuffling Analysis [54.1075866464923]
  近年の研究では、データに対するパワーロースペクトル条件は、決定論的勾配勾配の厳密な収束境界を可能にすることが確認されている。 この結果を高次元機械学習の体制に拡張する。 我々の結果は、抽象スペクトル理論と実践的な訓練選択のギャップを埋め、データの最適化速度の統一的な画像を提供する。
  論文  参考訳（メタデータ） (2026-09-28T21:01:43Z)
• Nonsmooth Optimization via Orthogonalized Momentum [11.546795991978613]
  すべての固定運動量因子 $in[0,1)$ に対して、ムオンは凸リプシッツの目的として大域最適解に近づくことができないことを示す。 本稿では,運動量と勾配を結合したMAGDを提案する。
  論文  参考訳（メタデータ） (2026-09-12T03:08:36Z)
• OptMuon: Closed-Loop Orthogonalized Momentum Methods for Stochastic Optimization with Zero-Noise Optimality [23.28384210732827]
  閉ループスカラー運動量を示す。 最適化はムオン型運動量と組み合わせることができる。 雑音適応性とゼロノイズ最適性を対数因子まで保ちながら最適化する。 これらの結果は,OptMuon-Aがノイズレートを達成することを示す。 (T-1/2+1/2T-1/2)を平均滑らかに、OptMuon-Iをノイズレートとする。 (T-1/2+)
  論文  参考訳（メタデータ） (2026-06-07T18:59:24Z)
• The Spectral Dynamics and Noise Geometry of Muon [0.6335848702857036]
  Muon は行列勾配 $G=UVtop$ を極係数 $UVtop$ に置き換える。 この操作によって生成される最適化バイアスについて検討する。
  論文  参考訳（メタデータ） (2026-06-07T00:51:30Z)
• Spectral Flattening Is All Muon Needs: How Orthogonalization Controls Learning Rate and Convergence [15.754779716816174]
  ムオンの最大安定ステップサイズは、最大ではなく、勾配の平均特異値でスケールすることを示す。 我々はMuonを事前条件付き勾配法として再評価し、Kronecker-factored curvatureモデルの下で有効収束係数を改善することを示す。
  論文  参考訳（メタデータ） (2026-05-13T06:54:01Z)
• Constrained Stochastic Spectral Preconditioning Converges for Nonconvex Objectives [48.91820744387913]
  我々は,Muon と Scions に着目した事前条件付き勾配法を開発した。 我々は,様々な凸や非還元制約を扱えるアルゴリズム群を紹介した。
  論文  参考訳（メタデータ） (2026-05-12T09:36:13Z)
• Mousse: Rectifying the Geometry of Muon with Curvature-Aware Preconditioning [72.62839712454196]
  スペクトル最適化の最近の進歩、特にムーンは、スティーフェル多様体への更新ステップの制限が、トレーニングと改善を著しく加速することを示した。 我々は、この「利他的」制約は、曲率スペクトルが非常に重く、不調であることが知られているディープニューラルネットワークに最適であると主張している。 textbfShampoo の textbfStruct を利用した textbfMousse (textbfMuon textbfOptimization textbfUtilizing textbfShampoo's textbfStruct を提案する。
  論文  参考訳（メタデータ） (2026-03-10T14:03:49Z)
• Preconditioning Benefits of Spectral Orthogonalization in Muon [50.62925024212989]
  線形変圧器の行列分解と文脈内学習の2つのケーススタディにおいて,ミュオンの簡易版の有効性について検討した。 解析の結果,Muonのダイナミクスはスペクトル領域内の独立したスカラー配列の集合に分解され,それぞれが同様の収束挙動を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2026-01-20T00:08:31Z)
• Limit Theorems for Stochastic Gradient Descent with Infinite Variance [51.4853131023238]
  この勾配降下アルゴリズムは、適切なL'evy過程によって駆動されるオルンシュタイン-ルンシュタイン過程の定常分布として特徴付けられることを示す。 また、これらの結果の線形回帰モデルおよびロジスティック回帰モデルへの応用についても検討する。
  論文  参考訳（メタデータ） (2024-10-21T09:39:10Z)
• High-probability Bounds for Non-Convex Stochastic Optimization with Heavy Tails [55.561406656549686]
  我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。 本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
  論文  参考訳（メタデータ） (2021-06-28T00:17:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。