論文の概要: On uniform-in-time diffusion approximation for stochastic gradient
descent
- arxiv url: http://arxiv.org/abs/2207.04922v1
- Date: Mon, 11 Jul 2022 14:58:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-12 13:31:57.939054
- Title: On uniform-in-time diffusion approximation for stochastic gradient
descent
- Title(参考訳): 確率勾配降下に対する一様時間拡散近似について
- Authors: Lei Li, Yuliang Wang
- Abstract要約: 本稿では,勾配降下の時間内均一拡散近似(SGD)を確立する。
主な手法は、後方のコルモゴロフ方程式への解の微分の指数的崩壊率を確立することである。
- 参考スコア(独自算出の注目度): 11.437892757715877
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The diffusion approximation of stochastic gradient descent (SGD) in current
literature is only valid on a finite time interval. In this paper, we establish
the uniform-in-time diffusion approximation of SGD, by only assuming that the
expected loss is strongly convex and some other mild conditions, without
assuming the convexity of each random loss function. The main technique is to
establish the exponential decay rates of the derivatives of the solution to the
backward Kolmogorov equation. The uniform-in-time approximation allows us to
study asymptotic behaviors of SGD via the continuous stochastic differential
equation (SDE) even when the random objective function $f(\cdot;\xi)$ is not
strongly convex.
- Abstract(参考訳): 現在の文献における確率勾配降下(SGD)の拡散近似は、有限時間間隔でのみ有効である。
本稿では、sgd の均一時間拡散近似を、各ランダム損失関数の凸性を仮定せずに、期待損失が強い凸およびその他の穏やかな条件であることを仮定することによって確立する。
主な手法は、逆コルモゴロフ方程式に対する解の微分の指数的減衰率を確立することである。
一様時間近似により、ランダム目的関数 $f(\cdot;\xi)$ が強凸でない場合でも、連続確率微分方程式 (SDE) を通してSGDの漸近挙動を研究することができる。
関連論文リスト
- Computing the Variance of Shuffling Stochastic Gradient Algorithms via
Power Spectral Density Analysis [6.497816402045099]
理論上の利点を持つ勾配降下(SGD)の2つの一般的な選択肢は、ランダムリシャッフル(SGDRR)とシャッフルオンス(SGD-SO)である。
本研究では,SGD,SGDRR,SGD-SOの定常変動について検討した。
論文 参考訳(メタデータ) (2022-06-01T17:08:04Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳(メタデータ) (2021-10-13T17:47:39Z) - Mean-Square Analysis with An Application to Optimal Dimension Dependence
of Langevin Monte Carlo [60.785586069299356]
この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。
我々の理論解析は数値実験によってさらに検証される。
論文 参考訳(メタデータ) (2021-09-08T18:00:05Z) - Improving the Transient Times for Distributed Stochastic Gradient
Methods [5.215491794707911]
拡散適応段階法(EDAS)と呼ばれる分散勾配アルゴリズムについて検討する。
EDASが集中勾配降下(SGD)と同じネットワーク独立収束率を達成することを示す。
我々の知る限り、EDASは$n$のコスト関数の平均が強い凸である場合に最も短い時間を達成する。
論文 参考訳(メタデータ) (2021-05-11T08:09:31Z) - The Connection between Discrete- and Continuous-Time Descriptions of
Gaussian Continuous Processes [60.35125735474386]
我々は、一貫した推定子をもたらす離散化が粗粒化下での不変性を持つことを示す。
この結果は、導関数再構成のための微分スキームと局所時間推論アプローチの組み合わせが、2次または高次微分方程式の時系列解析に役立たない理由を説明する。
論文 参考訳(メタデータ) (2021-01-16T17:11:02Z) - Faster Convergence of Stochastic Gradient Langevin Dynamics for
Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。
我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文 参考訳(メタデータ) (2020-10-19T15:23:18Z) - AR-DAE: Towards Unbiased Neural Entropy Gradient Estimation [8.24001702529974]
ログ密度関数の勾配を近似するアモルト化残留復調オートエンコーダ(AR-DAE)を提案する。
我々は,変分オートエンコーダを用いた密度推定とソフトアクター・クリティックによる連続制御における最先端性能を示す。
論文 参考訳(メタデータ) (2020-06-09T10:11:28Z) - On Learning Rates and Schr\"odinger Operators [105.32118775014015]
本稿では,学習率の影響に関する一般的な理論的分析を行う。
学習速度は、幅広い非ニューラルクラス関数に対してゼロとなる傾向にある。
論文 参考訳(メタデータ) (2020-04-15T09:52:37Z) - On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and
Non-Asymptotic Concentration [115.1954841020189]
The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。
一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
論文 参考訳(メタデータ) (2020-04-09T17:54:18Z) - Convergence rates and approximation results for SGD and its
continuous-time counterpart [16.70533901524849]
本稿では,非増加ステップサイズを有する凸勾配Descent (SGD) の完全理論的解析を提案する。
まず、結合を用いた不均一微分方程式(SDE)の解により、SGDを確実に近似できることを示す。
連続的手法による決定論的および最適化手法の最近の分析において, 連続過程の長期的挙動と非漸近的境界について検討する。
論文 参考訳(メタデータ) (2020-04-08T18:31:34Z) - Non-Convex Optimization via Non-Reversible Stochastic Gradient Langevin
Dynamics [27.097121544378528]
グラディエント・ランゲヴィン・ダイナミクス (Gradient Langevin Dynamics, SGLD) は、非目的勾配を最適化する強力なアルゴリズムである。
NSGLDは非可逆拡散の離散化に基づいている。
論文 参考訳(メタデータ) (2020-04-06T17:11:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。