論文の概要: Convergence, Sticking and Escape: Stochastic Dynamics Near Critical Points in SGD

• arxiv url: http://arxiv.org/abs/2505.18535v1
• Date: Sat, 24 May 2025 06:00:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.485599
• Title: Convergence, Sticking and Escape: Stochastic Dynamics Near Critical Points in SGD
• Title（参考訳）: 収束・粘着・脱出:SGDの臨界点付近の確率的ダイナミクス
• Authors: Dmitry Dudukalov, Artem Logachov, Vladimir Lotov, Timofei Prasolov, Evgeny Prokopenko, Anton Tarasenko,
• Abstract要約: 一次元景観におけるグラディエントDescentの収束特性とエスケープダイナミクスについて検討する。 我々の主な焦点は、SGDが同じ 'basin'' において初期点から局所最小点へ確実に移動する時間スケールを特定することである。 以上の結果から,SGDの局所的最大値と最小値の推移は,ノイズ特性と機能幾何学的特徴の両方に影響されることが明らかとなった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the convergence properties and escape dynamics of Stochastic Gradient Descent (SGD) in one-dimensional landscapes, separately considering infinite- and finite-variance noise. Our main focus is to identify the time scales on which SGD reliably moves from an initial point to the local minimum in the same ''basin''. Under suitable conditions on the noise distribution, we prove that SGD converges to the basin's minimum unless the initial point lies too close to a local maximum. In that near-maximum scenario, we show that SGD can linger for a long time in its neighborhood. For initial points near a ''sharp'' maximum, we show that SGD does not remain stuck there, and we provide results to estimate the probability that it will reach each of the two neighboring minima. Overall, our findings present a nuanced view of SGD's transitions between local maxima and minima, influenced by both noise characteristics and the underlying function geometry.
• Abstract（参考訳）: 本研究では,SGD(Stochastic Gradient Descent)の1次元景観における収束特性とエスケープダイナミクスについて検討する。 我々の主な焦点は、SGDが同じ 'basin'' において初期点から局所最小点へ確実に移動する時間スケールを特定することである。 雑音分布の適切な条件下では、初期点が局所的な最大値に近すぎる限り、SGDが盆地の最小値に収束することが証明される。 最寄りのシナリオでは、SGD が近隣で長時間言語化できることが示される。 最大値 'sharp' に近い初期点について、SGD がそこにとどまらないことを示すとともに、隣り合う2つのミニマのそれぞれに到達する確率を推定する結果を与える。 以上の結果から,SGDの局所的最大値と最小値の推移は,ノイズ特性と機能幾何学的特徴の両方に影響されることが明らかとなった。

関連論文リスト

• High-probability Convergence Bounds for Nonlinear Stochastic Gradient Descent Under Heavy-tailed Noise [59.25598762373543]
  重み付き雑音の存在下でのストリーミングデータにおける学習の精度保証について検討した。 解析的に、与えられた問題に対する設定の選択に$ta$を使うことができることを実証する。
  論文  参考訳（メタデータ） (2023-10-28T18:53:41Z)
• Convergence of stochastic gradient descent under a local Lojasiewicz condition for deep neural networks [7.9626223030099545]
  局所収束の収束を正の勾配で確立する。 仮定が持つ有限幅のニューラルネットワークの例を示す。
  論文  参考訳（メタデータ） (2023-04-18T18:20:52Z)
• From Gradient Flow on Population Loss to Learning with Stochastic Gradient Descent [50.4531316289086]
  SGD(Gradient Descent)は、大規模非ルートモデルの学習方法である。 集団損失のGFが収束すると仮定して、総合的な条件 SGD が収束する。 我々は、凸損失のような古典的な設定だけでなく、Retrieval Matrix sq-rootのようなより複雑な問題に対してもGD/SGDを統一的に解析する。
  論文  参考訳（メタデータ） (2022-10-13T03:55:04Z)
• When does SGD favor flat minima? A quantitative characterization via linear stability [7.252584656056866]
  勾配降下(SGD)は平らなミニマを好む。 線形ネットワークとランダム特徴モデル(RFM)に対するSGDノイズの有効保持特性
  論文  参考訳（メタデータ） (2022-07-06T12:40:09Z)
• Non Asymptotic Bounds for Optimization via Online Multiplicative Stochastic Gradient Descent [0.0]
  グラディエントDescent(SGD)の勾配雑音は,その特性において重要な役割を担っていると考えられている。 ミニバッチによるSGDの平均と共分散構造を持つ雑音クラスは、同様の特性を持つことを示す。 また,M-SGDアルゴリズムの強い凸状態における収束の限界を定めている。
  論文  参考訳（メタデータ） (2021-12-14T02:25:43Z)
• SGD with a Constant Large Learning Rate Can Converge to Local Maxima [4.014524824655106]
  我々は、勾配降下が奇妙で望ましくない振る舞いを示す可能性があることを示す最悪の最適化問題を構築する。 具体的には、SGDが局所的な最大値に収束するようにランドスケープとデータ分布を構築する。 本結果は,ミニバッチサンプリング,離散時間更新ルール,現実的な景観を同時に解析することの重要性を強調した。
  論文  参考訳（メタデータ） (2021-07-25T10:12:18Z)
• Dynamic of Stochastic Gradient Descent with State-Dependent Noise [84.64013284862733]
  勾配降下(SGD)とその変種は、ディープニューラルネットワークを訓練するための主流の方法である。 局所ミニマの局所領域におけるSGDのノイズの共分散は状態の二次関数であることを示す。 本稿では,SGDのダイナミクスを近似するために,状態依存拡散を伴う新しいパワーローダイナミクスを提案する。
  論文  参考訳（メタデータ） (2020-06-24T13:34:38Z)
• Stability of Stochastic Gradient Descent on Nonsmooth Convex Losses [52.039438701530905]
  任意のリプシッツ非平滑凸損失に対して,数種類の勾配勾配降下(SGD)に対して,鋭い上下境界を与える。 我々の限界は、極端に過剰な集団リスクを伴う、微分的にプライベートな非平滑凸最適化のための新しいアルゴリズムを導出することを可能にする。
  論文  参考訳（メタデータ） (2020-06-12T02:45:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。