論文の概要: Constrained Stochastic Spectral Preconditioning Converges for Nonconvex Objectives
- arxiv url: http://arxiv.org/abs/2605.11850v1
- Date: Tue, 12 May 2026 09:36:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-13 21:48:56.758691
- Title: Constrained Stochastic Spectral Preconditioning Converges for Nonconvex Objectives
- Title（参考訳）: 非凸対象に対する制約付き確率スペクトルプレコンディショニング
- Abstract要約: 我々は,Muon と Scions に着目した事前条件付き勾配法を開発した。
我々は,様々な凸や非還元制約を扱えるアルゴリズム群を紹介した。
- 参考スコア（独自算出の注目度）: 48.91820744387913
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this work, we develop proximal preconditioned gradient methods with a focus on spectral gradient methods providing a proximal extension to the Muon and Scion optimizers. We introduce a family of stochastic algorithms that can handle a wide variety of convex and nonconvex constraints and study its convergence under heavy-tailed noise, through a novel analysis tailored to the geometry of the proposed methods. We further propose a variance-reduced version, which achieves faster convergence under standard noise assumptions. Finally, we show that the polynomial iterations used in Muon are more accurately captured by a nonlinear preconditioner than by the ideal matrix sign, leading to a convergence analysis that more faithfully reflects practical implementations.
- Abstract（参考訳）: 本研究では,Muon と Scion のオプティマイザに近位拡張を与えるスペクトル勾配法に着目した近位条件付き勾配法を開発する。
本稿では,多種多様な凸制約と非凸制約を扱える確率論的アルゴリズム群を紹介し,その収束性について,提案手法の幾何学に合わせた新しい解析手法を用いて検討する。
さらに、標準雑音仮定の下でより高速な収束を実現する分散還元バージョンを提案する。
最後に、ムオンで使われる多項式の反復は、理想行列符号よりも非線形プレコンディショナーによりより正確に捕捉され、より忠実に実践的な実装を反映する収束解析が導かれることを示す。
関連論文リスト
- Non-convex Stochastic Composite Optimization with Polyak Momentum [25.060477077577154]
一般化近位勾配は広く用いられる勾配降下法(SGD)の強力な一般化である。
しかし、メソッドがマシン内の多くのアプリケーションに収束しないことは知られている。
論文 参考訳（メタデータ） (2024-03-05T13:43:58Z) - Moreau Envelope ADMM for Decentralized Weakly Convex Optimization [55.2289666758254]
本稿では,分散最適化のための乗算器の交互方向法(ADMM)の近位変種を提案する。
数値実験の結果,本手法は広く用いられている手法よりも高速かつ堅牢であることが示された。
論文 参考訳（メタデータ） (2023-08-31T14:16:30Z) - Provable convergence guarantees for black-box variational inference [19.421222110188605]
ブラックボックスの変分推論は、最適化が成功する証拠がない状況で広く使われている。
我々は,現実的な推論問題に実際に用いられている手法と同様の手法が収束するという厳密な保証を提供する。
論文 参考訳（メタデータ） (2023-06-04T11:31:41Z) - Convex and Non-convex Optimization Under Generalized Smoothness [69.69521650503431]
凸法と非最適化法の分析は、しばしばリプシッツ勾配を必要とし、この軌道による解析を制限する。
最近の研究は、非一様滑らか性条件を通した勾配設定を一般化している。
論文 参考訳（メタデータ） (2023-06-02T04:21:59Z) - First Order Methods with Markovian Noise: from Acceleration to Variational Inequalities [91.46841922915418]
本稿では,一階変分法の理論解析のための統一的アプローチを提案する。
提案手法は非線形勾配問題とモンテカルロの強い問題の両方をカバーする。
凸法最適化問題の場合、オラクルに強く一致するような境界を与える。
論文 参考訳（メタデータ） (2023-05-25T11:11:31Z) - Min-Max Optimization Made Simple: Approximating the Proximal Point
Method via Contraction Maps [77.8999425439444]
本稿では,凸/凹凸 min-max 問題に対して,ほぼ最適収束率を許容する一階法を提案する。
我々の研究は、近点法の更新規則を精度良く近似できるという事実に基づいている。
論文 参考訳（メタデータ） (2023-01-10T12:18:47Z) - Adaptive Zeroth-Order Optimisation of Nonconvex Composite Objectives [1.7640556247739623]
ゼロ階エントロピー合成目的のためのアルゴリズムを解析し,次元依存性に着目した。
これは、ミラー降下法と推定類似関数を用いて、決定セットの低次元構造を利用して達成される。
勾配を改善するため、Rademacherに基づく古典的なサンプリング法を置き換え、ミニバッチ法が非ユークリ幾何学に対処することを示す。
論文 参考訳（メタデータ） (2022-08-09T07:36:25Z) - A Unified Convergence Theorem for Stochastic Optimization Methods [4.94128206910124]
一連の統一最適化手法に対する収束結果の導出に使用される基本的な統一収束定理を提供する。
直接応用として、一般的な設定下での収束結果をほぼ確実に回復する。
論文 参考訳（メタデータ） (2022-06-08T14:01:42Z) - Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient
Clipping [69.9674326582747]
そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。
この場合、最先端の結果を上回る新たな複雑さが証明される。
本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
論文 参考訳（メタデータ） (2020-05-21T17:05:27Z) - A Unified Convergence Analysis for Shuffling-Type Gradient Methods [32.8097849940763]
有限項問題を解くための一般化勾配シャッフル型法に対する統一収束解析を提案する。
以上の結果から,特定の神経シャッフル変種でのトレーニングに適する選択が示唆された。
論文 参考訳（メタデータ） (2020-02-19T15:45:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。