論文の概要: Geometric ergodicity of SGLD via reflection coupling
- arxiv url: http://arxiv.org/abs/2301.06769v2
- Date: Sat, 24 Aug 2024 17:46:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-28 01:37:08.512983
- Title: Geometric ergodicity of SGLD via reflection coupling
- Title（参考訳）: 反射結合によるSGLDの幾何学的エルゴディディティ
- Authors: Lei Li, Jian-Guo Liu, Yuliang Wang,
- Abstract要約: 非変分条件下でのグラディエント・ランゲヴィン・ダイナミクス(SGLD)アルゴリズムのエルゴディディティを考察する。
SGLD の Wasserstein 座標系は、目標分布が数セットの外側でのみ対数凹であるときに証明する。
- 参考スコア（独自算出の注目度）: 7.483270274259962
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the geometric ergodicity of the Stochastic Gradient Langevin Dynamics (SGLD) algorithm under nonconvexity settings. Via the technique of reflection coupling, we prove the Wasserstein contraction of SGLD when the target distribution is log-concave only outside some compact set. The time discretization and the minibatch in SGLD introduce several difficulties when applying the reflection coupling, which are addressed by a series of careful estimates of conditional expectations. As a direct corollary, the SGLD with constant step size has an invariant distribution and we are able to obtain its geometric ergodicity in terms of $W_1$ distance. The generalization to non-gradient drifts is also included.
- Abstract（参考訳）: 非凸条件下での確率勾配ランゲヴィンダイナミクス(SGLD)の幾何学的エルゴディディティを考察する。
反射結合の技法により、目標分布がコンパクトな集合の外側のみに対数展開されているとき、SGLDのワッサーシュタイン収縮を証明できる。
SGLDにおける時間離散化とミニバッチは、条件付き予測の一連の注意深く見積もられたリフレクション結合の適用においていくつかの困難をもたらす。
直系として、一定のステップサイズを持つSGLDは不変分布を持ち、その幾何学的エルゴディディティを$W_1$距離で得ることができる。
非勾配ドリフトへの一般化も含んでいる。
関連論文リスト
- Langevin Dynamics: A Unified Perspective on Optimization via Lyapunov Potentials [15.718093624695552]
我々は、リアプノフポテンシャルと最適化に基づいて、グラディエント・ランゲヴィン・ダイナミクス(SGLD)のグローバル・ミニマへの収束を分析する。
2) SGLD に対する最初の有限勾配複雑性、3) 連続時間ランゲヴィンダイナミクスが最適化に成功するなら、次に離散時間 SGLD が穏やかな正則性仮定の下で成功することを証明する。
論文 参考訳（メタデータ） (2024-07-05T05:34:10Z) - Curvature-Independent Last-Iterate Convergence for Games on Riemannian
Manifolds [77.4346324549323]
本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。
我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
論文 参考訳（メタデータ） (2023-06-29T01:20:44Z) - Convergence of mean-field Langevin dynamics: Time and space
discretization, stochastic gradient, and variance reduction [49.66486092259376]
平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。
近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。
有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
論文 参考訳（メタデータ） (2023-06-12T16:28:11Z) - Implicit Bias of Gradient Descent for Logistic Regression at the Edge of
Stability [69.01076284478151]
機械学習の最適化において、勾配降下(GD)はしばしば安定性の端(EoS)で動く
本稿では,EoS系における線形分離可能なデータに対するロジスティック回帰のための定数段差GDの収束と暗黙バイアスについて検討する。
論文 参考訳（メタデータ） (2023-05-19T16:24:47Z) - From Gradient Flow on Population Loss to Learning with Stochastic
Gradient Descent [50.4531316289086]
SGD(Gradient Descent)は、大規模非ルートモデルの学習方法である。
集団損失のGFが収束すると仮定して、総合的な条件 SGD が収束する。
我々は、凸損失のような古典的な設定だけでなく、Retrieval Matrix sq-rootのようなより複雑な問題に対してもGD/SGDを統一的に解析する。
論文 参考訳（メタデータ） (2022-10-13T03:55:04Z) - Time-independent Generalization Bounds for SGLD in Non-convex Settings [23.833787505938858]
分離性およびユークリッド勾配射影の仮定に基づき,ランゲヴィン力学(SGLD)の一般化誤差境界を一定の学習率で確立する。
我々の分析は、異なる離散化法を使用する変種や、非is-is-noiseプロジェクションを使用する変種もサポートする。
論文 参考訳（メタデータ） (2021-11-25T02:31:52Z) - Faster Convergence of Stochastic Gradient Langevin Dynamics for
Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。
我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文 参考訳（メタデータ） (2020-10-19T15:23:18Z) - Dimension-free convergence rates for gradient Langevin dynamics in RKHS [47.198067414691174]
グラディエントランゲヴィンダイナミクス(GLD)とSGLDは近年注目されている。
空間が無限次元空間であるとき、収束解析 GLD と SGLD を提供する。
論文 参考訳（メタデータ） (2020-02-29T17:14:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。