論文の概要: Provable Convergence and Limitations of Geometric Tempering for Langevin Dynamics
- arxiv url: http://arxiv.org/abs/2410.09697v1
- Date: Sun, 13 Oct 2024 02:24:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-30 08:36:49.251650
- Title: Provable Convergence and Limitations of Geometric Tempering for Langevin Dynamics
- Title（参考訳）: ランゲヴィンダイナミクスのための幾何学的テンパリングの確率収束と限界
- Authors: Omar Chehab, Anna Korba, Austin Stromme, Adrien Vacher,
- Abstract要約: 幾何的テンパリングは、挑戦的な多モード確率分布からサンプリングする一般的なアプローチである。
本稿では,サンプリングアルゴリズムがランゲヴィン力学である場合のこのアプローチの音質について理論的に検討する。
以上の結果から,幾何的テンパリングは役に立たず,収束に有害である可能性が示唆された。
- 参考スコア（独自算出の注目度）: 8.683011785637824
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Geometric tempering is a popular approach to sampling from challenging multi-modal probability distributions by instead sampling from a sequence of distributions which interpolate, using the geometric mean, between an easier proposal distribution and the target distribution. In this paper, we theoretically investigate the soundness of this approach when the sampling algorithm is Langevin dynamics, proving both upper and lower bounds. Our upper bounds are the first analysis in the literature under functional inequalities. They assert the convergence of tempered Langevin in continuous and discrete-time, and their minimization leads to closed-form optimal tempering schedules for some pairs of proposal and target distributions. Our lower bounds demonstrate a simple case where the geometric tempering takes exponential time, and further reveal that the geometric tempering can suffer from poor functional inequalities and slow convergence, even when the target distribution is well-conditioned. Overall, our results indicate that geometric tempering may not help, and can even be harmful for convergence.
- Abstract（参考訳）: 幾何学的テンパリング(geometric tempering)は、より簡単な提案分布と目的分布の間に、幾何学的平均を用いて補間する分布列からサンプリングすることで、挑戦的な多モード確率分布からサンプリングする一般的なアプローチである。
本稿では,サンプリングアルゴリズムがランゲヴィン力学である場合のこのアプローチの音質を理論的に検討し,上界と下界の両方を証明した。
我々の上界は、機能的不等式の下での文献における最初の分析である。
彼らは、連続時間と離散時間におけるテンパー付きランゲヴィンの収束を主張し、その最小化はいくつかの提案と対象分布に対して閉形式の最適テンパリングスケジュールをもたらす。
我々の下界は、幾何的テンパリングが指数時間を要する単純な場合を示し、さらに、幾何的テンパリングが、目標分布が十分に条件付きであっても、機能的不等式や緩やかな収束に悩まされることを明らかにする。
総じて, 幾何学的テンパリングは役に立たず, 収束には有害である可能性が示唆された。
関連論文リスト
- Constrained Sampling with Primal-Dual Langevin Monte Carlo [15.634831573546041]
この研究は、正規化定数まで既知の確率分布からサンプリングする問題を考察する。
一般非線形関数の期待値によって定義された統計的制約の集合を満たす。
我々は,目標分布とサンプルを同時に制約する離散時間原始二元Langevin Monte Carloアルゴリズム(PD-LMC)を提唱した。
論文 参考訳（メタデータ） (2024-11-01T13:26:13Z) - An Improved Analysis of Langevin Algorithms with Prior Diffusion for
Non-Log-Concave Sampling [27.882407333690267]
本研究では, 先行拡散を用いた改良型ランゲヴィンアルゴリズムが, 強対数対数対象分布に対して独立に次元を収束させることができることを示す。
また、修正したランゲヴィンアルゴリズムは、異なるステップサイズスケジュールを持つKL発散の次元非依存収束も得ることを証明した。
論文 参考訳（メタデータ） (2024-03-10T11:50:34Z) - Symmetric Mean-field Langevin Dynamics for Distributional Minimax
Problems [78.96969465641024]
平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。
また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
論文 参考訳（メタデータ） (2023-12-02T13:01:29Z) - Taming under isoperimetry [0.0]
本稿では,ログの増大に伴う分布のサンプル化を目的としたLangevinベースのスキームであるmathbfsTULA$を提案する。
非漸近KLを導出し、結果としてLog-Sobolevの不等式を満たす。
論文 参考訳（メタデータ） (2023-11-15T14:44:16Z) - Curvature-Independent Last-Iterate Convergence for Games on Riemannian
Manifolds [77.4346324549323]
本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。
我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
論文 参考訳（メタデータ） (2023-06-29T01:20:44Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳（メタデータ） (2023-06-27T08:15:28Z) - Convergence of the Riemannian Langevin Algorithm [10.279748604797911]
計量$g$の多様体上の自然測度に関して、密度$nu$の分布からサンプリングする問題を研究する。
対数障壁によって定義されるポリトープに制限された等尺的密度をサンプリングする手法が,本手法の特例である。
論文 参考訳（メタデータ） (2022-04-22T16:56:00Z) - Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector
Problems [98.34292831923335]
オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。
我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
論文 参考訳（メタデータ） (2021-12-29T18:46:52Z) - Unadjusted Langevin algorithm for sampling a mixture of weakly smooth
potentials [0.0]
我々は,ポアンカーの不等式や球体の外側の非強凸の下での収束保証を証明した。
また、滑らかなポテンシャルに対する$L_beta$-Wasserstein 計量の収束も提供する。
論文 参考訳（メタデータ） (2021-12-17T04:10:09Z) - Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and
Beyond [63.59034509960994]
シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。
ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。
我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
論文 参考訳（メタデータ） (2021-10-20T02:25:25Z) - Mean-Square Analysis with An Application to Optimal Dimension Dependence
of Langevin Monte Carlo [60.785586069299356]
この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。
我々の理論解析は数値実験によってさらに検証される。
論文 参考訳（メタデータ） (2021-09-08T18:00:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。