論文の概要: Muon with Nesterov Momentum: Heavy-Tailed Noise and (Randomized) Inexact Polar Decomposition
- arxiv url: http://arxiv.org/abs/2605.06884v1
- Date: Thu, 07 May 2026 19:32:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-11 19:43:38.58277
- Title: Muon with Nesterov Momentum: Heavy-Tailed Noise and (Randomized) Inexact Polar Decomposition
- Title（参考訳）: Nesterov Momentum を用いたミューオン:重音と(ランダム化)不正確な極性分解
- Authors: Sayantan Choudhury, Xiaoran Cheng, Martin Takáč, Sen Na, Mladen Kolar,
- Abstract要約: 我々は,非$行列最適化雑音における不正確な極分解の理論を開発する。
我々は、フルスペース法よりもはるかに効率的なランダム化された低ランク極性分解を解析する。
- 参考スコア（独自算出の注目度）: 11.258577546422295
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most first-order optimizers treat matrix-valued parameters as vectors, ignoring the intrinsic geometry of hidden-layer weights in neural networks. Muon addresses this mismatch by updating along the polar factor of a momentum matrix, but its theoretical understanding has lagged behind practice. In particular, practical implementations incorporate Nesterov momentum, compute the polar factor only approximately, and operate with stochastic gradients that may be heavy-tailed. We close this gap by developing a convergence theory for Muon with Nesterov momentum and inexact polar decomposition in non-convex matrix optimization under heavy-tailed noise. Our analysis builds on a unified framework for inexact polar decomposition that captures practical iterative approximations such as Newton-Schulz and quantifies how their errors propagate through the optimization dynamics. Under this framework, we establish an optimal iteration and sample complexity of $O \left(\varepsilon^{\frac{-(3α-2)}{(α-1)}} \right)$ for finding an $\varepsilon$-stationary point, where $α\in(1,2]$ denotes the heavy-tail index. For the inexact-polar setting with $σ_1=0$, we also provide guarantees that do not require prior knowledge of $α$. We analyze a randomized low-rank polar decomposition that is substantially more efficient than full-space methods while remaining compatible with our theory. Numerical experiments further demonstrate the effectiveness of the proposed inexact and randomized variants.
- Abstract（参考訳）: ほとんどの一階最適化器は行列値パラメータをベクトルとして扱い、ニューラルネットワークの隠蔽層重みの固有の幾何学を無視している。
ミューオンは運動量行列の極因子に沿って更新することでこのミスマッチに対処するが、理論的な理解は実践に遅れを取っている。
特に、実践的な実装はネステロフ運動量を導入し、極性係数をおよそ計算し、重み付けされる確率勾配で操作する。
重み付き雑音下での非凸行列最適化において、ネステロフ運動量を持つムオンの収束理論と不正確な偏極分解を開発することにより、このギャップを埋める。
我々の分析は、ニュートン=シュルツのような実用的な反復近似を捉え、それらの誤差が最適化力学を通してどのように伝播するかを定量化する不正確な偏極分解のための統一的な枠組みに基づいている。
このフレームワークでは、$O \left(\varepsilon^{\frac{-(3α-2)}{(α-1)}} \right)$を$\varepsilon$-定常点を見つけるために最適な反復とサンプルの複雑さを確立する。
σ_1=0$ の非コンパクト極集合に対しては、$α$ の事前知識を必要としない保証も提供する。
我々は、我々の理論と相容れないまま、フルスペース法よりもかなり効率的であるランダム化された低ランク極分解を解析する。
数値実験は、提案された不正確な無作為な変種の有効性をさらに実証する。
関連論文リスト
- Provably Adaptive Linear Approximation for the Shapley Value and Beyond [73.0940890296463]
基本的で長期にわたる課題は、その効率的な近似である。
一般に用いられるすべての半値に対して$P(|hatboldsymbol-boldsymbol|_2geq)leq$を必要とする線形空間アルゴリズムを開発する。
本アルゴリズムは,各ユーティリティ関数の平均二乗誤差の明示的最小化を可能にする。
論文 参考訳（メタデータ） (2026-04-09T16:38:14Z) - Lyapunov Stability of Stochastic Vector Optimization: Theory and Numerical Implementation [0.0]
我々は、ドリフトが共通の降下方向によって誘導される非拘束ベクトル最適化にドリフト拡散モデルを用いる。
提案アルゴリズムは,マルチオブジェクト最適化のためのオープンソースのPythonフレームワークとして実装されている。
目的数3から15のDTLZ2の実証結果は、一貫したトレードオフを示している。
論文 参考訳（メタデータ） (2026-03-04T14:04:24Z) - Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。
一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。
グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
論文 参考訳（メタデータ） (2026-02-26T15:27:53Z) - Efficiently Solving Discounted MDPs with Predictions on Transition Matrices [6.199300239433395]
生成モデルに基づくDMDP(Discounted Markov Decision Processs)について検討した。
DMDPの解法において,遷移行列上での予測がサンプル効率をいかに向上させるかを検討するための新しい枠組みを提案する。
論文 参考訳（メタデータ） (2025-02-21T09:59:46Z) - Accelerated Stochastic Min-Max Optimization Based on Bias-corrected Momentum [30.01198677588252]
1次アルゴリズムは、$varepsilon-stationary pointを見つけるのに少なくとも$mathcalO(varepsilonepsilon-4)$ complexityを必要とする。
本稿では,高効率な変動複雑性を生かした新しい運動量アルゴリズムを提案する。
本手法の有効性は実世界のデータセットを用いてロジスティック回帰を用いて検証する。
論文 参考訳（メタデータ） (2024-06-18T20:14:52Z) - Achieving the Asymptotically Optimal Sample Complexity of Offline Reinforcement Learning: A DRO-Based Approach [36.88301225561535]
オフライン強化学習は、アクティブな探索なしに、事前に収集されたデータセットから学習することを目的としている。
既存のアプローチでは、不確実性に対する悲観的なスタンスを採用し、探索されていない状態-作用対の報酬を、保守的に値関数を推定する。
分散ロバスト最適化(DRO)に基づくアプローチはこれらの課題にも対処でき、漸近的に最小限の最適化であることを示す。
論文 参考訳（メタデータ） (2023-05-22T17:50:18Z) - Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation
Constrained Optimization [88.0031283949404]
多くの実世界の問題は複雑な非機能的制約を持ち、多くのデータポイントを使用する。
提案手法は,従来最もよく知られた結果で既存手法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-12-19T14:48:54Z) - Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。
漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
論文 参考訳（メタデータ） (2022-06-17T06:10:20Z) - Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with
Variance Reduction and its Application to Optimization [50.83356836818667]
勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。
本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
論文 参考訳（メタデータ） (2022-03-30T11:39:00Z) - Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。
また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
論文 参考訳（メタデータ） (2021-04-30T08:50:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。