論文の概要: Exit Time Analysis for Approximations of Gradient Descent Trajectories Around Saddle Points

• arxiv url: http://arxiv.org/abs/2006.01106v2
• Date: Tue, 1 Feb 2022 19:28:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-26 07:50:37.060374
• Title: Exit Time Analysis for Approximations of Gradient Descent Trajectories Around Saddle Points
• Title（参考訳）: サドル点周辺の勾配降下軌道近似のための出口時間解析
• Authors: Rishabh Dixit, Mert Gurbuzbalaban, and Waheed U. Bajwa
• Abstract要約: 本稿では, 厳密なサドル地区周辺における勾配日射法について, 厳密な幾何学的解析を行った。 これは任意の初期条件に対して近似的な勾配軌道を生成するのに使用できる重要な結果を与える。 この解析により, 一定の初期条件下での勾配差分法に対する線形出口時間解が導かれる。
• 参考スコア（独自算出の注目度）: 9.66353475649122
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper considers the problem of understanding the exit time for trajectories of gradient-related first-order methods from saddle neighborhoods under some initial boundary conditions. Given the `flat' geometry around saddle points, first-order methods can struggle to escape these regions in a fast manner due to the small magnitudes of gradients encountered. In particular, while it is known that gradient-related first-order methods escape strict-saddle neighborhoods, existing analytic techniques do not explicitly leverage the local geometry around saddle points in order to control behavior of gradient trajectories. It is in this context that this paper puts forth a rigorous geometric analysis of the gradient-descent method around strict-saddle neighborhoods using matrix perturbation theory. In doing so, it provides a key result that can be used to generate an approximate gradient trajectory for any given initial conditions. In addition, the analysis leads to a linear exit-time solution for gradient-descent method under certain necessary initial conditions, which explicitly bring out the dependence on problem dimension, conditioning of the saddle neighborhood, and more, for a class of strict-saddle functions.
• Abstract（参考訳）: 本稿では,初期境界条件下でのサドル地区からの勾配関連一階法軌跡の退避時間について考察する。 サドル点を取り囲む「平坦」な幾何学を考えると、一階法は、遭遇する勾配の小さいため、これらの領域を素早く脱出するのに苦労する。 特に、勾配関連一階法は厳密なサドル近傍を逃れることが知られているが、既存の解析手法は勾配軌道の挙動を制御するためにサドル点周辺の局所幾何学を明示的に活用していない。 この文脈では, 行列摂動理論を用いて, 厳密なサドル近傍における勾配-日射法の厳密な幾何学的解析を行う。 そうすることで、任意の初期条件に対して近似勾配軌道を生成するのに使用できる重要な結果が得られる。 さらに, 本解析は, 問題次元への依存, サドル近傍の条件付けなど, 厳密なサドル関数のクラスを明示的に引き出すような, 一定の初期条件下での勾配-descent法に対する線形終了時間解を導出する。

関連論文リスト

• Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
  研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。 この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
  論文  参考訳（メタデータ） (2023-11-04T11:12:24Z)
• Accelerated gradient methods for nonconvex optimization: Escape trajectories from strict saddle points and convergence to local minima [9.66353475649122]
  本稿ではその問題を考察する。 加速勾配法の一般一般の凸挙動を理解すること。 非アプティック関数。 これは、運動量可変ネステロフの加速法(NAG)が、厳密なサドル点をほぼ確実に避けていることを示している。
  論文  参考訳（メタデータ） (2023-07-13T19:11:07Z)
• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Convex and Non-convex Optimization Under Generalized Smoothness [69.69521650503431]
  凸法と非最適化法の分析は、しばしばリプシッツ勾配を必要とし、この軌道による解析を制限する。 最近の研究は、非一様滑らか性条件を通した勾配設定を一般化している。
  論文  参考訳（メタデータ） (2023-06-02T04:21:59Z)
• Almost Sure Saddle Avoidance of Stochastic Gradient Methods without the Bounded Gradient Assumption [11.367487348673793]
  勾配勾配降下法(SGD)、重ボール法(SHB)、ネステロフ加速勾配法(SNAG)など、様々な勾配勾配降下法が、厳密なサドル多様体をほぼ確実に避けていることを示す。 SHB法とSNAG法でこのような結果が得られたのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-02-15T18:53:41Z)
• Min-Max Optimization Made Simple: Approximating the Proximal Point Method via Contraction Maps [77.8999425439444]
  本稿では,凸/凹凸 min-max 問題に対して,ほぼ最適収束率を許容する一階法を提案する。 我々の研究は、近点法の更新規則を精度良く近似できるという事実に基づいている。
  論文  参考訳（メタデータ） (2023-01-10T12:18:47Z)
• HOUDINI: Escaping from Moderately Constrained Saddles [14.277428617774875]
  本研究では,不等式制約の対数的数の下で,(ノイズの多い)勾配降下法がサドル点から逃れることができることを示す。 我々の結果は、正規降下と勾配降下の両方に当てはまる。
  論文  参考訳（メタデータ） (2022-05-27T03:36:27Z)
• Point Cloud Denoising via Momentum Ascent in Gradient Fields [72.93429911044903]
  ニューラルネットワークを用いて雑音点雲から勾配場を推定する勾配法を提案した。 そこで我々は, 過去の反復情報を利用して, 点の軌道を決定する運動量勾配上昇法を開発した。 実験により, 提案手法は, 様々な点群, ノイズタイプ, 騒音レベルを有する最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-02-21T10:21:40Z)
• Leveraging Non-uniformity in First-order Non-convex Optimization [93.6817946818977]
  目的関数の非一様洗練は、emphNon-uniform Smoothness(NS)とemphNon-uniform Lojasiewicz inequality(NL)につながる 新しい定義は、古典的な$Omega (1/t2)$下界よりも早く大域的最適性に収束する新しい幾何学的一階法を刺激する。
  論文  参考訳（メタデータ） (2021-05-13T04:23:07Z)
• Boundary Conditions for Linear Exit Time Gradient Trajectories Around Saddle Points: Analysis and Algorithm [9.69596041242667]
  厳密なサドル点の景観における多目的関数の理解について述べる。 厳密なサドル点の最大値を持つ局所的な景観に収束する近傍の解析についても述べる。
  論文  参考訳（メタデータ） (2021-01-07T16:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。