論文の概要: A Local Convergence Theory for the Stochastic Gradient Descent Method in
Non-Convex Optimization With Non-isolated Local Minima
- arxiv url: http://arxiv.org/abs/2203.10973v1
- Date: Mon, 21 Mar 2022 13:33:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-22 15:14:04.109885
- Title: A Local Convergence Theory for the Stochastic Gradient Descent Method in
Non-Convex Optimization With Non-isolated Local Minima
- Title(参考訳): 非分離型局所最小値を用いた非凸最適化における確率勾配の局所収束理論
- Authors: Taehee Ko and Xiantao Li
- Abstract要約: 非孤立ミニマは、未探索のままのユニークな挑戦を示す。
本稿では, 勾配降下法の非溶解大域ミニマへの局所収束について検討する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Non-convex loss functions arise frequently in modern machine learning, and
for the theoretical analysis of stochastic optimization methods, the presence
of non-isolated minima presents a unique challenge that has remained
under-explored. In this paper, we study the local convergence of the stochastic
gradient descent method to non-isolated global minima. Under mild assumptions,
we estimate the probability for the iterations to stay near the minima by
adopting the notion of stochastic stability. After establishing such stability,
we present the lower bound complexity in terms of various error criteria for a
given error tolerance $\epsilon$ and a failure probability $\gamma$.
- Abstract(参考訳): 現代の機械学習では非凸損失関数が頻繁に発生し、確率的最適化法の理論解析では、非孤立化ミニマの存在は、まだ探索されていないユニークな課題である。
本稿では,非分離大域的ミニマへの確率的勾配降下法の局所収束について検討する。
軽度の仮定の下では、確率安定性の概念を採用することにより、反復がミニマの近くに留まる確率を推定する。
そのような安定性を確立した後、与えられたエラー許容度$\epsilon$と失敗確率$\gamma$の様々なエラー基準で下界の複雑さを示す。
関連論文リスト
- On the Hardness of Meaningful Local Guarantees in Nonsmooth Nonconvex Optimization [37.41427897807821]
暗号非既知の正規最適化の複雑さを示す。
リプシッツ関数に作用する局所アルゴリズムは、最悪の場合、亜指数最小値の値に関して有意義な局所を与えることができない。
論文 参考訳(メタデータ) (2024-09-16T14:35:00Z) - High-probability minimax lower bounds [2.5993680263955947]
ミニマックス量子化の概念を導入し、その量子化レベルへの依存を明確にする。
我々は、古典的なル・カム法とファノ法の高確率変種を開発し、局所的なミニマックスリスクの下限をミニマックス量子化上の下限に変換する技術を開発した。
論文 参考訳(メタデータ) (2024-06-19T11:15:01Z) - A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。
本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
論文 参考訳(メタデータ) (2024-05-24T21:09:19Z) - Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。
この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
論文 参考訳(メタデータ) (2023-11-04T11:12:24Z) - A Stability Principle for Learning under Non-Stationarity [1.1510009152620668]
非定常環境における統計的学習のための多目的フレームワークを開発する。
解析の中心には、関数間の類似性の尺度と、非定常データ列を準定常断片に分割するセグメンテーション技法の2つの新しい要素がある。
論文 参考訳(メタデータ) (2023-10-27T17:53:53Z) - High-Probability Bounds for Stochastic Optimization and Variational
Inequalities: the Case of Unbounded Variance [59.211456992422136]
制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。
これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
論文 参考訳(メタデータ) (2023-02-02T10:37:23Z) - Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。
GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。
この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
論文 参考訳(メタデータ) (2022-06-08T21:32:50Z) - Probabilistic learning inference of boundary value problem with
uncertainties based on Kullback-Leibler divergence under implicit constraints [0.0]
本稿では,境界値問題に対する後続確率モデルを事前確率モデルから推定できる確率論的学習推定法を提案する。
制約を表す暗黙マッピングの統計的代理モデルを導入する。
第2部では、提案した理論を説明するために応用を提示し、また、不均一な線形弾性媒体の3次元均質化への寄与も示している。
論文 参考訳(メタデータ) (2022-02-10T16:00:10Z) - Optimal variance-reduced stochastic approximation in Banach spaces [114.8734960258221]
可分バナッハ空間上で定義された収縮作用素の定点を推定する問題について検討する。
演算子欠陥と推定誤差の両方に対して漸近的でない境界を確立する。
論文 参考訳(メタデータ) (2022-01-21T02:46:57Z) - Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector
Problems [98.34292831923335]
オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。
我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
論文 参考訳(メタデータ) (2021-12-29T18:46:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。