Fugu-MT 論文翻訳(概要): A sharp uniform-in-time error estimate for Stochastic Gradient Langevin Dynamics

論文の概要: A sharp uniform-in-time error estimate for Stochastic Gradient Langevin Dynamics

arxiv url: http://arxiv.org/abs/2207.09304v1
Date: Tue, 19 Jul 2022 14:38:52 GMT
ステータス: 処理完了
システム内更新日: 2022-07-20 13:32:23.363799
Title: A sharp uniform-in-time error estimate for Stochastic Gradient Langevin Dynamics
Title（参考訳）: 確率勾配ランゲヴィンダイナミクスの急激な均一時間誤差推定
Authors: Lei Li and Yuliang Wang
Abstract要約: グラディエント・ランゲヴィン・ダイナミクス(SGLD)の急激な一様誤差推定法を確立する。我々は、SGLD反復とランゲヴィン拡散の間のKL分割に対する一様時間$O(eta2)$バウンドを得る。
参考スコア（独自算出の注目度）: 11.437892757715877
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We establish a sharp uniform-in-time error estimate for the Stochastic Gradient Langevin Dynamics (SGLD), which is a popular sampling algorithm. Under mild assumptions, we obtain a uniform-in-time $O(\eta^2)$ bound for the KL-divergence between the SGLD iteration and the Langevin diffusion, where $\eta$ is the step size (or learning rate). Our analysis is also valid for varying step sizes. Based on this, we are able to obtain an $O(\eta)$ bound for the distance between the SGLD iteration and the invariant distribution of the Langevin diffusion, in terms of Wasserstein or total variation distances.
Abstract（参考訳）: 一般的なサンプリングアルゴリズムである確率勾配ランジュバンダイナミクス (sgld) に対するシャープな一様時間誤差推定法を確立した。穏やかな仮定の下で、SGLD 反復とランゲヴィン拡散の間の KL 分割に対する一様時間 $O(\eta^2)$ が得られ、$\eta$ はステップサイズ(あるいは学習率)である。我々の分析は、様々なステップサイズでも有効である。これに基づいて、SGLD 反復とランゲヴィン拡散の不変分布の間の距離に対する$O(\eta)$バウンドをワッサーシュタインあるいは全変分距離の観点から得ることができる。

関連論文リスト

Nonasymptotic Analysis of Stochastic Gradient Descent with the Richardson-Romberg Extrapolation [22.652143194356864]
ステップサイズが一定となる勾配勾配(SGD)アルゴリズムを用いて, 強い凸と滑らかな問題を解く問題に対処する。得られた推定子の平均二乗誤差を$n$の反復数に対して拡張する。我々は、この鎖が定義された重み付きワッサーシュタイン半計量に関して幾何学的にエルゴード的であることを確証する。
論文参考訳（メタデータ） (2024-10-07T15:02:48Z)
Symmetric Mean-field Langevin Dynamics for Distributional Minimax Problems [78.96969465641024]
平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
論文参考訳（メタデータ） (2023-12-02T13:01:29Z)
Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
論文参考訳（メタデータ） (2023-06-12T16:28:11Z)
Subsampling Error in Stochastic Gradient Langevin Diffusions [0.7900303955225063]
グラディエント・ランゲヴィン・ダイナミクス(英語版)(SGLD)は、統計的学習手順におけるベイズ的後続分布を大規模データで近似するために一般的に用いられる。第1のエラーは、Langevin拡散プロセスのEuler-Maruyama離散化によって導入され、第2のエラーは、大規模なデータ設定での使用を可能にするデータサブサンプリングに由来する。 SLGDiffの指数的エルゴード性を示し、SGLDiffの後方と制限分布の間のワッサーシュタイン距離が平均待ち時間の分断パワーによって上界していることを示す。
論文参考訳（メタデータ） (2023-05-23T10:03:40Z)
Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
論文参考訳（メタデータ） (2022-03-30T11:39:00Z)
Mean-Square Analysis with An Application to Optimal Dimension Dependence of Langevin Monte Carlo [60.785586069299356]
この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。我々の理論解析は数値実験によってさらに検証される。
論文参考訳（メタデータ） (2021-09-08T18:00:05Z)
Wasserstein distance estimates for the distributions of numerical approximations to ergodic stochastic differential equations [0.3553493344868413]
エルゴード微分方程式のイン分布と強い対数凸の場合の分布との間のワッサースタイン距離について検討した。これにより、過減衰および過減衰ランジュバン力学の文献で提案されている多くの異なる近似を統一的に研究することができる。
論文参考訳（メタデータ） (2021-04-26T07:50:04Z)
Optimal dimension dependence of the Metropolis-Adjusted Langevin Algorithm [22.19906823739798]
ログスムースと強くログ凹分布のクラス上のMALAの混合時間は$O(d)$です。メトロポリタン調整の投影特性に基づく新しい技術は、ランゲビンSDEのよく研究された離散分析にMALAの研究を減少させる。
論文参考訳（メタデータ） (2020-12-23T17:14:06Z)
Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文参考訳（メタデータ） (2020-10-19T15:23:18Z)
On the Almost Sure Convergence of Stochastic Gradient Descent in Non-Convex Problems [75.58134963501094]
本稿では,勾配降下(SGD)の軌跡を解析する。我々はSGDが厳格なステップサイズポリシーのために1ドルでサドルポイント/マニフォールドを避けることを示す。
論文参考訳（メタデータ） (2020-06-19T14:11:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。