論文の概要: The Instability of Accelerated Gradient Descent

• arxiv url: http://arxiv.org/abs/2102.02167v1
• Date: Wed, 3 Feb 2021 17:50:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-04 17:37:33.095268
• Title: The Instability of Accelerated Gradient Descent
• Title（参考訳）: 加速度勾配降下の不安定性
• Authors: Amit Attia and Tomer Koren
• Abstract要約: 本研究では,ネステロフ加速勾配法のアルゴリズム安定性について検討する。 凸2次目的に対して、カテッシェン2018安定度は最適化ステップの数とともに、一様安定性が2次的に増加することを証明した。 我々はこの予想を否定し、安定性の2つの概念に対して、ネステロフの加速法の安定性は、勾配のステップの数とともに指数関数的に急速に悪化することを示した。
• 参考スコア（独自算出の注目度）: 26.613126943532357
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the algorithmic stability of Nesterov's accelerated gradient method. For convex quadratic objectives, \citet{chen2018stability} proved that the uniform stability of the method grows quadratically with the number of optimization steps, and conjectured that the same is true for the general convex and smooth case. We disprove this conjecture and show, for two notions of stability, that the stability of Nesterov's accelerated method in fact deteriorates \emph{exponentially fast} with the number of gradient steps. This stands in sharp contrast to the bounds in the quadratic case, but also to known results for non-accelerated gradient methods where stability typically grows linearly with the number of steps.
• Abstract（参考訳）: ネステロフの加速度勾配法のアルゴリズム安定性について検討した。 凸二次目的に対して、 \citet{chen2018stability} は、方法の均一な安定性が最適化ステップの数で二次的に成長することを証明し、一般凸と滑らかな場合にも同じことが当てはまると仮定した。 この予想を否定し、安定性の2つの概念に対して、ネステロフの加速法の安定性は、実際には勾配のステップの数で\emph{exponentially fast} を劣化させることを示した。 これは二次の場合の境界に対して鋭い反面、安定度が通常ステップ数とともに線形に増加する非加速勾配法に対する既知の結果とも対照的である。

関連論文リスト

• Trust-Region Sequential Quadratic Programming for Stochastic Optimization with Random Models [57.52124921268249]
  本稿では,1次と2次の両方の定常点を見つけるための信頼逐次準計画法を提案する。 本手法は, 1次定常点に収束するため, 対象対象の近似を最小化して定義された各イテレーションの勾配ステップを計算する。 2階定常点に収束するため,本手法は負曲率を減少するヘッセン行列を探索する固有ステップも計算する。
  論文  参考訳（メタデータ） (2024-09-24T04:39:47Z)
• Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation [51.248784084461334]
  我々はNesterov加速度アンダーホ条件の一般化版に対する新しい収束率を証明した。 本分析により, 従来の研究に比べて, 強い成長定数への依存度を$$$から$sqrt$に下げることができた。
  論文  参考訳（メタデータ） (2024-04-03T00:41:19Z)
• Acceleration and Implicit Regularization in Gaussian Phase Retrieval [5.484345596034159]
  この設定では、Polyak や Nesterov の運動量の暗黙的な正規化による手法が、よい凸降下を保証することを証明している。 実験的な証拠は、これらの手法が実際には勾配降下よりも早く収束していることを示している。
  論文  参考訳（メタデータ） (2023-11-21T04:10:03Z)
• Accelerated gradient methods for nonconvex optimization: Escape trajectories from strict saddle points and convergence to local minima [9.66353475649122]
  本稿ではその問題を考察する。 加速勾配法の一般一般の凸挙動を理解すること。 非アプティック関数。 これは、運動量可変ネステロフの加速法(NAG)が、厳密なサドル点をほぼ確実に避けていることを示している。
  論文  参考訳（メタデータ） (2023-07-13T19:11:07Z)
• Convex and Non-convex Optimization Under Generalized Smoothness [69.69521650503431]
  凸法と非最適化法の分析は、しばしばリプシッツ勾配を必要とし、この軌道による解析を制限する。 最近の研究は、非一様滑らか性条件を通した勾配設定を一般化している。
  論文  参考訳（メタデータ） (2023-06-02T04:21:59Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• A Continuized View on Nesterov Acceleration for Stochastic Gradient Descent and Randomized Gossip [23.519404358187156]
  連続時間パラメータで変数をインデックス化したNesterov加速度の近変種である連続Nesterov加速度を導入する。 離散化はネステロフ加速度と同じ構造であるが、ランダムパラメータを持つことを示す。 非同期ゴシップアルゴリズムの最初の厳密な高速化を提供する。
  論文  参考訳（メタデータ） (2021-06-10T08:35:55Z)
• Stability and Convergence of Stochastic Gradient Clipping: Beyond Lipschitz Continuity and Smoothness [23.22461721824713]
  グラデーションクリッピングは、爆発グラデーション問題が発生しやすい問題のトレーニングプロセスを安定化させる技術です。 本稿では,非滑らか凸関数に対する勾配クリッピング(サブ)勾配法(SGD)の定性的および定量的な結果を確立する。 また,特殊ケースとしてSGDをクリップした運動量を用いたクリップ方式の収束性についても検討した。
  論文  参考訳（メタデータ） (2021-02-12T12:41:42Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)
• Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping [69.9674326582747]
  そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。 この場合、最先端の結果を上回る新たな複雑さが証明される。 本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
  論文  参考訳（メタデータ） (2020-05-21T17:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。