論文の概要: Constant Step Sizes for Muon-Type Spectral Optimizers on Strongly Convex Quadratics
- arxiv url: http://arxiv.org/abs/2610.27747v1
- Date: Tue, 20 Oct 2026 07:07:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.69419
- Title: Constant Step Sizes for Muon-Type Spectral Optimizers on Strongly Convex Quadratics
- Title（参考訳）: 強い凸四面体上のミューオン型スペクトルオプティマイザの定数ステップサイズ
- Abstract要約: 我々は、スペクトル変換された勾配でMuonと関連する更新について検討する。
実験では、どのようにスケールし、その大きさを近似しないかについて、我々の研究結果が検証された。
- 参考スコア（独自算出の注目度）: 9.161491572636958
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Muon and related optimizers update a weight matrix with a spectrally transformed gradient. In this work, we study such spectral optimizers with a constant step size on strongly convex matrix quadratics, which isolate the effect of the update from the confounds of nonconvexity, noise, and step size schedules. We analyze an update using two quantities: the gain, which is the factor by which it amplifies the gradient along each singular direction, and the length, which is the norm of the update. These two quantities place the popular spectral updates in three regimes with different behavior: (i) with a bounded gain, the iterates behave like preconditioned gradient descent and converge for step sizes set by the largest curvature; (ii) with an unbounded gain but a vanishing length, they still converge, with the admissible step sizes set by the total curvature instead; and (iii) with a non-vanishing length, they do not converge for almost every initialization. Interestingly, the practical variants of Muon fall in all three regimes, depending only on how the update is normalized and scaled and not on the polynomial that approximates the polar factor. Experiments validate these findings.
- Abstract（参考訳）: ミューオンと関連するオプティマイザは、スペクトル変換された勾配で重み行列を更新する。
本研究では,非凸性,ノイズ,ステップサイズスケジュールの整合性から更新の影響を分離する,強い凸行列2次数に対して一定のステップサイズを有するスペクトルオプティマイザについて検討する。
我々は,各特異方向に沿った勾配を増幅する利得と,更新の基準である長さの2つの値を用いて,更新を解析する。
これら2つの量では、人気のあるスペクトル更新を3つのレジームに配置する。
(i)有界ゲインを持つイテレートは、事前条件付き勾配降下のように振舞い、最大の曲率によって設定されたステップサイズに収束する。
(ii)非有界な利得を持つが、消滅する長さを持つ場合には、その代わりに全曲率によって設定された許容ステップサイズとともに収束する。
(iii) 消滅しない長さで、ほとんどすべての初期化に対して収束しない。
興味深いことに、ムオンの実践的な変種は、更新がどのように正規化されスケールするかにのみ依存し、極因子を近似する多項式には依存しない。
実験はこれらの結果を検証する。
関連論文リスト
- Geometry-Aware Multi-Objective Optimization: Norm-Constrained Oracles with Entropic Weight Updates [38.97446792838266]
多重勾配降下は典型的にはユークリッド幾何学で定式化されるが、行列対応のオラクルは他のノルムによって誘導される方向を使用する。
基準制約付き線形最小化とタスク重みのエントロピー更新を組み合わせた単一ループ多目的法を解析する。
実験では、この手法を既存のマルチタスクと比較し、ジオメトリ、重み付け、運動量選択を検討した。
論文 参考訳（メタデータ） (2026-10-09T15:55:53Z) - Nonsmooth Optimization via Orthogonalized Momentum [11.546795991978613]
すべての固定運動量因子 $in[0,1)$ に対して、ムオンは凸リプシッツの目的として大域最適解に近づくことができないことを示す。
本稿では,運動量と勾配を結合したMAGDを提案する。
論文 参考訳（メタデータ） (2026-09-12T03:08:36Z) - OptMuon: Closed-Loop Orthogonalized Momentum Methods for Stochastic Optimization with Zero-Noise Optimality [23.28384210732827]
閉ループスカラー運動量を示す。
最適化はムオン型運動量と組み合わせることができる。
雑音適応性とゼロノイズ最適性を対数因子まで保ちながら最適化する。
これらの結果は,OptMuon-Aがノイズレートを達成することを示す。
(T-1/2+1/2T-1/2)を平均滑らかに、OptMuon-Iをノイズレートとする。
(T-1/2+)
論文 参考訳（メタデータ） (2026-06-07T18:59:24Z) - Gradient Clipping Beyond Vector Norms: A Spectral Approach for Matrix-Valued Parameters [48.3175117923623]
ほとんどの勾配クリッピング規則は、全てのパラメータを重ベクトルとして扱い、現代のベクトルの行列構造を無視する。
実験により、データのアウトリーチは、少数のリード特異値のみを増幅することを示した。
この現象を動機として,特異値で安定化するクリッピングを提案する。
論文 参考訳（メタデータ） (2026-05-12T09:24:59Z) - Muon is Not That Special: Random or Inverted Spectra Work Just as Well [50.969177887027115]
正確な幾何構造が性能に影響を及ぼす重要な要因ではないことを実証する。
ここでは、Schatten (quasi-size)normsに基づく幾何学のファミリであるFreonを紹介する。
また、特異値をランダムノイズで置き換える不条理なKaonを導入する。
論文 参考訳（メタデータ） (2026-05-11T19:42:48Z) - AdaGrad Meets Muon: Adaptive Stepsizes for Orthogonal Updates [5.049533819651459]
我々は、標準ベースの更新とaGradタイプのステップを組み合わせた新しい適応型更新AdaGOを提案する。
AdaGOは更新の直交性を保持しており、これはスペクトル降下と解釈できる。
論文 参考訳（メタデータ） (2025-09-03T03:42:22Z) - Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。
漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
論文 参考訳（メタデータ） (2022-06-17T06:10:20Z) - Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with
Variance Reduction and its Application to Optimization [50.83356836818667]
勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。
本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
論文 参考訳（メタデータ） (2022-03-30T11:39:00Z) - Balancing Rates and Variance via Adaptive Batch-Size for Stochastic
Optimization Problems [120.21685755278509]
本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。
ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
論文 参考訳（メタデータ） (2020-07-02T16:02:02Z) - On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and
Non-Asymptotic Concentration [115.1954841020189]
The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。
一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
論文 参考訳（メタデータ） (2020-04-09T17:54:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。