論文の概要: Towards Weaker Variance Assumptions for Stochastic Optimization
- arxiv url: http://arxiv.org/abs/2504.09951v1
- Date: Mon, 14 Apr 2025 07:26:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-15 16:53:53.308481
- Title: Towards Weaker Variance Assumptions for Stochastic Optimization
- Title（参考訳）: 確率最適化のためのウェイカー変数推定に向けて
- Authors: Ahmet Alacaoglu, Yura Malitsky, Stephen J. Wright,
- Abstract要約: 次数次法の2乗ノルムを最適化変数の2乗ノルムの2乗ノルムと同程度の速さで成長させることができるような勾配アルゴリズムを解析するための古典的な仮定を再検討する。
関数的制約や正規化された凸凹 min-max 問題を用いて凸問題を解析する。
実現可能な集合の有界性を必要としない最適度測度に対するレートを得る。
- 参考スコア（独自算出の注目度）: 19.339358874690568
- License:
- Abstract: We revisit a classical assumption for analyzing stochastic gradient algorithms where the squared norm of the stochastic subgradient (or the variance for smooth problems) is allowed to grow as fast as the squared norm of the optimization variable. We contextualize this assumption in view of its inception in the 1960s, its seemingly independent appearance in the recent literature, its relationship to weakest-known variance assumptions for analyzing stochastic gradient algorithms, and its relevance in deterministic problems for non-Lipschitz nonsmooth convex optimization. We build on and extend a connection recently made between this assumption and the Halpern iteration. For convex nonsmooth, and potentially stochastic, optimization, we analyze horizon-free, anytime algorithms with last-iterate rates. For problems beyond simple constrained optimization, such as convex problems with functional constraints or regularized convex-concave min-max problems, we obtain rates for optimality measures that do not require boundedness of the feasible set.
- Abstract（参考訳）: 確率次数次数(あるいは滑らかな問題に対する分散)の2乗ノルムを最適化変数の2乗ノルムと同じ速さで成長させる確率次数次アルゴリズムを解析するための古典的な仮定を再検討する。
1960年代におけるこの仮定の出現、近年の文献における一見独立な出現、確率勾配アルゴリズムの解析における最も弱い既知の分散仮定との関係、および非リプシッツ非滑らか凸最適化における決定論的問題との関連性について、文脈論的に考察する。
この仮定とHalpernイテレーションの間に最近作られたコネクションを構築して拡張します。
凸非滑らかで確率的、最適化の可能な凸非滑らかな場合、最短定レートで地平線フリーのアルゴリズムを解析する。
関数的制約付き凸問題や正規化された凸凹 min-max 問題など、単純な制約付き最適化以上の問題に対しては、実現可能な集合の有界性を必要としない最適度測度に対するレートを得る。
関連論文リスト
- Independently-Normalized SGD for Generalized-Smooth Nonconvex Optimization [19.000530691874516]
我々は、多くの非機械学習問題が従来の非スムーズな非スムーズな状態を超えるような条件を満たすことを示した。
独立サンプリングと正規化を利用する独立正規化勾配降下アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-10-17T21:52:00Z) - Convex and Non-convex Optimization Under Generalized Smoothness [69.69521650503431]
凸法と非最適化法の分析は、しばしばリプシッツ勾配を必要とし、この軌道による解析を制限する。
最近の研究は、非一様滑らか性条件を通した勾配設定を一般化している。
論文 参考訳（メタデータ） (2023-06-02T04:21:59Z) - High-Probability Bounds for Stochastic Optimization and Variational
Inequalities: the Case of Unbounded Variance [59.211456992422136]
制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。
これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
論文 参考訳（メタデータ） (2023-02-02T10:37:23Z) - Optimal Rates for Random Order Online Optimization [60.011653053877126]
敵が損失関数を選択できるカテットガルバー2020onlineについて検討するが、一様にランダムな順序で提示される。
2020onlineアルゴリズムが最適境界を達成し,安定性を著しく向上することを示す。
論文 参考訳（メタデータ） (2021-06-29T09:48:46Z) - High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。
そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
論文 参考訳（メタデータ） (2021-06-10T17:54:21Z) - Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
論文 参考訳（メタデータ） (2020-12-11T08:28:51Z) - Convergence of adaptive algorithms for weakly convex constrained
optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。
我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文 参考訳（メタデータ） (2020-06-11T17:43:19Z) - Adaptive First-and Zeroth-order Methods for Weakly Convex Stochastic
Optimization Problems [12.010310883787911]
我々は、弱凸(おそらく非滑らかな)最適化問題の重要なクラスを解くための、適応的な段階的な新しい手法の族を解析する。
実験結果から,提案アルゴリズムが0次勾配降下と設計変動を経験的に上回ることを示す。
論文 参考訳（メタデータ） (2020-05-19T07:44:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。