論文の概要: On Almost Sure Convergence Rates of Stochastic Gradient Methods

• arxiv url: http://arxiv.org/abs/2202.04295v1
• Date: Wed, 9 Feb 2022 06:05:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-10 16:10:40.360709
• Title: On Almost Sure Convergence Rates of Stochastic Gradient Methods
• Title（参考訳）: 確率勾配法のほぼ確実に収束速度について
• Authors: Jun Liu and Ye Yuan
• Abstract要約: 勾配法で得られるほぼ確実な収束速度が、可能な限り最適な収束速度に任意に近づくことを示す。 非客観的関数に対しては、二乗勾配ノルムの重み付き平均がほぼ確実に収束するだけでなく、ほぼ確実に0となることを示す。
• 参考スコア（独自算出の注目度）: 11.367487348673793
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The vast majority of convergence rates analysis for stochastic gradient methods in the literature focus on convergence in expectation, whereas trajectory-wise almost sure convergence is clearly important to ensure that any instantiation of the stochastic algorithms would converge with probability one. Here we provide a unified almost sure convergence rates analysis for stochastic gradient descent (SGD), stochastic heavy-ball (SHB), and stochastic Nesterov's accelerated gradient (SNAG) methods. We show, for the first time, that the almost sure convergence rates obtained for these stochastic gradient methods on strongly convex functions, are arbitrarily close to their optimal convergence rates possible. For non-convex objective functions, we not only show that a weighted average of the squared gradient norms converges to zero almost surely, but also the last iterates of the algorithms. We further provide last-iterate almost sure convergence rates analysis for stochastic gradient methods on weakly convex smooth functions, in contrast with most existing results in the literature that only provide convergence in expectation for a weighted average of the iterates.
• Abstract（参考訳）: 文献における確率勾配法における収束率解析の大多数は期待の収束に焦点をあてるが、軌跡的にはほぼ確実な収束は確率1に収束することを確実にするために明らかに重要である。 ここでは,確率勾配降下 (sgd), 確率重球 (shb) および確率的ネステロフ加速勾配 (snag) 法について, ほぼ確実に収束する収束率解析を行う。 強凸関数上のこれらの確率的勾配法で得られるほぼ確実に収束する確率は、その最適収束速度に任意に近いことを初めて示す。 非凸目的関数に対しては、二乗勾配ノルムの重み付き平均がほぼ確実にゼロに収束するだけでなく、アルゴリズムの最後の反復も示している。 さらに, 弱凸滑らかな関数に対する確率的勾配法について, 重み付き平均値に対する期待値の収束のみを提供する文献の既存の結果と対照的に, ほぼ確実に収束率解析を行う。

関連論文リスト

• Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation [51.248784084461334]
  我々はNesterov加速度アンダーホ条件の一般化版に対する新しい収束率を証明した。 本分析により, 従来の研究に比べて, 強い成長定数への依存度を$$$から$sqrt$に下げることができた。
  論文  参考訳（メタデータ） (2024-04-03T00:41:19Z)
• Almost-sure convergence of iterates and multipliers in stochastic sequential quadratic optimization [21.022322975077653]
  等式制約付き連続最適化問題の解法が近年注目されている。 収束保証は、ゼロを測定するための勾配の期待値に制限されている。 また,SQPアルゴリズムにより生成した予備値,ラグランジュ測度,ステーション測度に対する新たなほぼ収束保証を証明した。
  論文  参考訳（メタデータ） (2023-08-07T16:03:40Z)
• High-Probability Bounds for Stochastic Optimization and Variational Inequalities: the Case of Unbounded Variance [59.211456992422136]
  制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。 これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
  論文  参考訳（メタデータ） (2023-02-02T10:37:23Z)
• Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
  滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。 漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2022-06-17T06:10:20Z)
• A Unified Convergence Theorem for Stochastic Optimization Methods [4.94128206910124]
  一連の統一最適化手法に対する収束結果の導出に使用される基本的な統一収束定理を提供する。 直接応用として、一般的な設定下での収束結果をほぼ確実に回復する。
  論文  参考訳（メタデータ） (2022-06-08T14:01:42Z)
• Last-iterate convergence analysis of stochastic momentum methods for neural networks [3.57214198937538]
  運動量法は、ニューラルネットワークの大規模最適化問題を解決するために用いられる。 人工環境下での運動量測定法の電流収束結果 運動量係数は、既存の時間よりも定数に固定することができる。
  論文  参考訳（メタデータ） (2022-05-30T02:17:44Z)
• Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
  本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。 定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。 我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
  論文  参考訳（メタデータ） (2021-06-30T18:32:46Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• High-probability Bounds for Non-Convex Stochastic Optimization with Heavy Tails [55.561406656549686]
  我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。 本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
  論文  参考訳（メタデータ） (2021-06-28T00:17:01Z)
• Convergence of Gradient Algorithms for Nonconvex $C^{1+\alpha}$ Cost Functions [2.538209532048867]
  勾配が収束する副生成物を示し、収束率に明示的な上限を与える。 これにより、ドオブマルティンの超ガレ収束定理によるほぼ確実な収束を証明できる。
  論文  参考訳（メタデータ） (2020-12-01T16:48:59Z)
• Almost sure convergence rates for Stochastic Gradient Descent and Stochastic Heavy Ball [17.33867778750777]
  一般近似問題に対する勾配降下法(SGD)と重球法(SHB)について検討した。 SGD の場合、凸と滑らかな設定において、イテレートの重み付き平均に対して、最初の最も確実な収束式を提供する。
  論文  参考訳（メタデータ） (2020-06-14T11:12:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。