論文の概要: Convergence of a Stochastic Gradient Method with Momentum for Non-Smooth Non-Convex Optimization

• arxiv url: http://arxiv.org/abs/2002.05466v2
• Date: Thu, 11 Feb 2021 14:52:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-01 13:49:10.105650
• Title: Convergence of a Stochastic Gradient Method with Momentum for Non-Smooth Non-Convex Optimization
• Title（参考訳）: 非スムース非凸最適化のための運動量付き確率勾配法の収束
• Authors: Vien V. Mai and Mikael Johansson
• Abstract要約: 本稿では,制約問題に対する運動量を持つ非滑らかな過渡法の割合の収束性を確立する。 問題としては、制約のないケースが、最先端技術よりも弱い仮定の下でどのように分析できるかを示す。
• 参考スコア（独自算出の注目度）: 25.680334940504405
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stochastic gradient methods with momentum are widely used in applications and at the core of optimization subroutines in many popular machine learning libraries. However, their sample complexities have not been obtained for problems beyond those that are convex or smooth. This paper establishes the convergence rate of a stochastic subgradient method with a momentum term of Polyak type for a broad class of non-smooth, non-convex, and constrained optimization problems. Our key innovation is the construction of a special Lyapunov function for which the proven complexity can be achieved without any tuning of the momentum parameter. For smooth problems, we extend the known complexity bound to the constrained case and demonstrate how the unconstrained case can be analyzed under weaker assumptions than the state-of-the-art. Numerical results confirm our theoretical developments.
• Abstract（参考訳）: モーメントを持つ確率勾配法は、多くの一般的な機械学習ライブラリのアプリケーションや最適化サブルーチンのコアで広く使われている。 しかし、それらのサンプルの複雑さは凸や滑らかな問題以外には得られていない。 本稿では,非滑らか,非凸,制約付き最適化問題の幅広いクラスに対して,Polyak型のモーメント項を持つ確率的次数分解法の収束率を確立する。 我々の重要な革新は、運動量パラメータのチューニングなしに証明された複雑性を達成できる特別なリャプノフ函数の構築である。 スムーズな問題に対しては、制約されたケースに縛られた既知の複雑性を拡張し、制約のないケースが最先端技術よりも弱い仮定の下でどのように分析できるかを示す。 数値的な結果は我々の理論的発展を裏付ける。

関連論文リスト

• Independently-Normalized SGD for Generalized-Smooth Nonconvex Optimization [19.000530691874516]
  我々は、多くの非機械学習問題が従来の非スムーズな非スムーズな状態を超えるような条件を満たすことを示した。 独立サンプリングと正規化を利用する独立正規化勾配降下アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-17T21:52:00Z)
• A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
  近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。 本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
  論文  参考訳（メタデータ） (2024-05-24T21:09:19Z)
• Non-Convex Stochastic Composite Optimization with Polyak Momentum [25.060477077577154]
  一般化近位勾配は広く用いられる勾配降下法(SGD)の強力な一般化である。 しかし、メソッドがマシン内の多くのアプリケーションに収束しないことは知られている。
  論文  参考訳（メタデータ） (2024-03-05T13:43:58Z)
• High-Probability Convergence for Composite and Distributed Stochastic Minimization and Variational Inequalities with Heavy-Tailed Noise [96.80184504268593]
  グラデーション、クリッピングは、優れた高確率保証を導き出すアルゴリズムの鍵となる要素の1つである。 クリッピングは、合成および分散最適化の一般的な方法の収束を損なう可能性がある。
  論文  参考訳（メタデータ） (2023-10-03T07:49:17Z)
• High-Probability Bounds for Stochastic Optimization and Variational Inequalities: the Case of Unbounded Variance [59.211456992422136]
  制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。 これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
  論文  参考訳（メタデータ） (2023-02-02T10:37:23Z)
• Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation Constrained Optimization [88.0031283949404]
  多くの実世界の問題は複雑な非機能的制約を持ち、多くのデータポイントを使用する。 提案手法は,従来最もよく知られた結果で既存手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-12-19T14:48:54Z)
• Learning to Optimize with Stochastic Dominance Constraints [103.26714928625582]
  本稿では,不確実量を比較する問題に対して,単純かつ効率的なアプローチを開発する。 我々はラグランジアンの内部最適化をサロゲート近似の学習問題として再考した。 提案したライト-SDは、ファイナンスからサプライチェーン管理に至るまで、いくつかの代表的な問題において優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-14T21:54:31Z)
• Optimization on manifolds: A symplectic approach [127.54402681305629]
  本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。 我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
  論文  参考訳（メタデータ） (2021-07-23T13:43:34Z)
• Nonsmooth Implicit Differentiation for Machine Learning and Optimization [0.0]
  ますます複雑化する学習アーキテクチャの訓練の観点から、演算計算を用いた非滑らかな暗黙関数定理を確立する。 この結果は、古典的可逆条件の非滑らかな形式が満たされることを前提として、最も実践的な問題(すなわち、定義可能な問題)に適用できる。 例えば、クラーク・ヤコビアンによる微分式を通常の微分公式で置き換えることは完全に正当化される。
  論文  参考訳（メタデータ） (2021-06-08T13:59:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。