論文の概要: Adaptive SGD with Line-Search and Polyak Stepsizes: Nonconvex Convergence and Accelerated Rates
- arxiv url: http://arxiv.org/abs/2511.20207v4
- Date: Mon, 01 Dec 2025 02:16:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-02 17:41:00.170091
- Title: Adaptive SGD with Line-Search and Polyak Stepsizes: Nonconvex Convergence and Accelerated Rates
- Title（参考訳）: 線形探索とポリアークステップサイズを持つ適応SGD:非凸収束と加速速度
- Authors: Haotian Wu,
- Abstract要約: 本稿では,2024年におけるAdaSLSとAdaPSの分析について述べる。
コントリビューションには、非一般の非関数の解析が含まれる。
- 参考スコア（独自算出の注目度）: 3.153882470827463
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We extend the convergence analysis of AdaSLS and AdaSPS in [Jiang and Stich, 2024] to the nonconvex setting, presenting a unified convergence analysis of stochastic gradient descent with adaptive Armijo line-search (AdaSLS) and Polyak stepsize (AdaSPS) for nonconvex optimization. Our contributions include: (1) an $\mathcal{O}(1/\sqrt{T})$ convergence rate for general nonconvex smooth functions, (2) an $\mathcal{O}(1/T)$ rate under quasar-convexity and interpolation, and (3) an $\mathcal{O}(1/T)$ rate under the strong growth condition for general nonconvex functions.
- Abstract（参考訳）: 我々は,[Jiang and Stich, 2024] における AdaSLS と AdaSPS の収束解析を非凸設定に拡張し,非凸最適化のための適応Armijo line-search (AdaSLS) と Polyak stepsize (AdaSPS) を用いた確率勾配勾配の収束解析を行った。
コントリビューションには、(1)一般非凸滑らかな函数に対する$\mathcal{O}(1/\sqrt{T})$収束率、(2)準凸性および補間の下での$\mathcal{O}(1/T)$レート、(3)一般非凸函数の強い成長条件下での$\mathcal{O}(1/T)$レートが含まれる。
関連論文リスト
- Convergence Analysis of the PAGE Stochastic Algorithm for Weakly Convex Finite-Sum Optimization [56.57092765118707]
このアルゴリズムは、このタイプの作業の平均点を定常的に見つけるように設計されている。
これは、一般的なフレームワーク(tautauL$)と変更率の間で改善される連続的な非滑らかなケース(tautauL$)を提供する。
論文 参考訳（メタデータ） (2025-08-31T08:06:53Z) - Analysis of Schedule-Free Nonconvex Optimization [0.0]
大規模学習アルゴリズムの根底にある一階法であるが、その収束性は慎重にスケジュールされたステップのヒンジを保証し、前例のないスケジュール自由地平線に依存する。
我々の$Oレートが$O(log T)$に束縛されていることを示す。
我々の研究はSFの地平線を拡張し、最適な非滑らかな速度で将来の方向をグラフ化する。
論文 参考訳（メタデータ） (2025-08-08T22:54:35Z) - Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
構造密度の重み付き雑音によるクリップ最適化問題を考察する。
勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。
得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
論文 参考訳（メタデータ） (2023-11-07T17:39:17Z) - A Unified Analysis on the Subgradient Upper Bounds for the Subgradient Methods Minimizing Composite Nonconvex, Nonsmooth and Non-Lipschitz Functions [7.972544890243396]
本稿では, 近位降下法(Prox-SubGrad) 型アプローチの統一解析について述べる。
我々は, 誤差有界条件, 対象の下位次数の成長条件, および主次次次次次次数反復の挙動を, 極めて広い目的関数のクラスに関連付けることができる。
論文 参考訳（メタデータ） (2023-08-30T23:34:11Z) - Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。
また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
論文 参考訳（メタデータ） (2023-04-27T06:27:37Z) - Randomized Coordinate Subgradient Method for Nonsmooth Composite
Optimization [11.017632675093628]
非滑らかな問題に対処するコーディネート型劣階法は、リプシッツ型仮定の性質のセットのため、比較的過小評価されている。
論文 参考訳（メタデータ） (2022-06-30T02:17:11Z) - Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。
漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
論文 参考訳（メタデータ） (2022-06-17T06:10:20Z) - Stochastic Zeroth order Descent with Structured Directions [10.604744518360464]
我々は, 有限差分法であるStructured Zeroth Order Descent (SSZD)を導入・解析し, 集合 $lleq d 方向の勾配を近似し, $d は周囲空間の次元である。
凸凸に対して、すべての$c1/2$に対して$O( (d/l) k-c1/2$)$ 上の関数の収束はほぼ確実に証明する。
論文 参考訳（メタデータ） (2022-06-10T14:00:06Z) - A Simple Convergence Proof of Adam and Adagrad [74.24716715922759]
我々はAdam Adagradと$O(d(N)/st)$アルゴリズムの収束の証明を示す。
Adamはデフォルトパラメータで使用する場合と同じ収束$O(d(N)/st)$で収束する。
論文 参考訳（メタデータ） (2020-03-05T01:56:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。