論文の概要: On the Convergence of Nesterov's Accelerated Gradient Method in Stochastic Settings

• arxiv url: http://arxiv.org/abs/2002.12414v2
• Date: Sat, 27 Jun 2020 20:01:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 08:14:12.666424
• Title: On the Convergence of Nesterov's Accelerated Gradient Method in Stochastic Settings
• Title（参考訳）: 確率的設定におけるネステロフ加速勾配法の収束について
• Authors: Mahmoud Assran and Michael Rabbat
• Abstract要約: 定常ステップサイズおよび運動量パラメータを用いたネステロフ加速勾配法について検討した。 有限サム設定では、ネステロフの方法が通常のステップサイズと運動量の選択と分岐することを証明している。
• 参考スコア（独自算出の注目度）: 5.101801159418223
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study Nesterov's accelerated gradient method with constant step-size and momentum parameters in the stochastic approximation setting (unbiased gradients with bounded variance) and the finite-sum setting (where randomness is due to sampling mini-batches). To build better insight into the behavior of Nesterov's method in stochastic settings, we focus throughout on objectives that are smooth, strongly-convex, and twice continuously differentiable. In the stochastic approximation setting, Nesterov's method converges to a neighborhood of the optimal point at the same accelerated rate as in the deterministic setting. Perhaps surprisingly, in the finite-sum setting, we prove that Nesterov's method may diverge with the usual choice of step-size and momentum, unless additional conditions on the problem related to conditioning and data coherence are satisfied. Our results shed light as to why Nesterov's method may fail to converge or achieve acceleration in the finite-sum setting.
• Abstract（参考訳）: 確率近似設定(有界分散の偏りのない勾配)と有限サム設定(標本のミニバッチによるランダム性)において,ステップサイズと運動量パラメータが一定であるネステロフの加速度勾配法について検討した。 確率的な設定でネステロフの手法の振る舞いをよりよく理解するために、滑らかで強い凸性があり、連続的に2回微分可能な目的に焦点を当てる。 確率近似設定では、ネステロフの方法は決定論的設定と同じ加速速度で最適点の近傍に収束する。 意外なことに、有限サム設定では、条件付けやデータコヒーレンスに関連する問題に関する追加条件が満たさない限り、ネステロフの方法が通常のステップサイズと運動量の選択と分岐することを証明する。 我々の結果は、なぜネステロフの手法が有限サム集合における収束や加速に失敗したのかについて光を当てた。

関連論文リスト

• Trust-Region Sequential Quadratic Programming for Stochastic Optimization with Random Models [57.52124921268249]
  本稿では,1次と2次の両方の定常点を見つけるための信頼逐次準計画法を提案する。 本手法は, 1次定常点に収束するため, 対象対象の近似を最小化して定義された各イテレーションの勾配ステップを計算する。 2階定常点に収束するため,本手法は負曲率を減少するヘッセン行列を探索する固有ステップも計算する。
  論文  参考訳（メタデータ） (2024-09-24T04:39:47Z)
• Accelerated gradient methods for nonconvex optimization: Escape trajectories from strict saddle points and convergence to local minima [9.66353475649122]
  本稿ではその問題を考察する。 加速勾配法の一般一般の凸挙動を理解すること。 非アプティック関数。 これは、運動量可変ネステロフの加速法(NAG)が、厳密なサドル点をほぼ確実に避けていることを示している。
  論文  参考訳（メタデータ） (2023-07-13T19:11:07Z)
• Convex and Non-convex Optimization Under Generalized Smoothness [69.69521650503431]
  凸法と非最適化法の分析は、しばしばリプシッツ勾配を必要とし、この軌道による解析を制限する。 最近の研究は、非一様滑らか性条件を通した勾配設定を一般化している。
  論文  参考訳（メタデータ） (2023-06-02T04:21:59Z)
• Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
  滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。 漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2022-06-17T06:10:20Z)
• Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond [63.59034509960994]
  シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。 ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。 我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
  論文  参考訳（メタデータ） (2021-10-20T02:25:25Z)
• Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
  本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。 定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。 我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
  論文  参考訳（メタデータ） (2021-06-30T18:32:46Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• A Continuized View on Nesterov Acceleration for Stochastic Gradient Descent and Randomized Gossip [23.519404358187156]
  連続時間パラメータで変数をインデックス化したNesterov加速度の近変種である連続Nesterov加速度を導入する。 離散化はネステロフ加速度と同じ構造であるが、ランダムパラメータを持つことを示す。 非同期ゴシップアルゴリズムの最初の厳密な高速化を提供する。
  論文  参考訳（メタデータ） (2021-06-10T08:35:55Z)
• Convergence of Gradient Algorithms for Nonconvex $C^{1+\alpha}$ Cost Functions [2.538209532048867]
  勾配が収束する副生成物を示し、収束率に明示的な上限を与える。 これにより、ドオブマルティンの超ガレ収束定理によるほぼ確実な収束を証明できる。
  論文  参考訳（メタデータ） (2020-12-01T16:48:59Z)
• Stochastic gradient-free descents [8.663453034925363]
  本稿では,最適化問題の解法として,モーメント付き勾配法と加速勾配を提案する。 本研究では,これらの手法の収束挙動を平均分散フレームワークを用いて解析する。
  論文  参考訳（メタデータ） (2019-12-31T13:56:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。