論文の概要: Fast Convergence of $Φ$-Divergence Along the Unadjusted Langevin Algorithm and Proximal Sampler
- arxiv url: http://arxiv.org/abs/2410.10699v2
- Date: Wed, 12 Feb 2025 15:52:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-13 13:45:22.970088
- Title: Fast Convergence of $Φ$-Divergence Along the Unadjusted Langevin Algorithm and Proximal Sampler
- Title（参考訳）: 非調整ランゲヴィンアルゴリズムと近距離サンプリングによる$$$-divergenceの高速収束
- Authors: Siddharth Mitra, Andre Wibisono,
- Abstract要約: 連続空間における2つの一般的な離散時間マルコフ連鎖の混合時間について検討する。
二つの微分可能な厳密凸函数から生じる任意の$Phi$-divergenceが、これらのマルコフ連鎖に沿って指数的に0$に収束することを示す。
- 参考スコア（独自算出の注目度）: 14.34147140416535
- License:
- Abstract: We study the mixing time of two popular discrete-time Markov chains in continuous space, the Unadjusted Langevin Algorithm and the Proximal Sampler, which are discretizations of the Langevin dynamics. We extend mixing time analyses for these Markov chains to hold in $\Phi$-divergence. We show that any $\Phi$-divergence arising from a twice-differentiable strictly convex function $\Phi$ converges to $0$ exponentially fast along these Markov chains, under the assumption that their stationary distributions satisfy the corresponding $\Phi$-Sobolev inequality, which holds for example when the target distribution of the Langevin dynamics is strongly log-concave. Our setting includes as special cases popular mixing time regimes, namely the mixing in chi-squared divergence under a Poincar\'e inequality, and the mixing in relative entropy under a log-Sobolev inequality. Our results follow by viewing the sampling algorithms as noisy channels and bounding the contraction coefficients arising in the appropriate strong data processing inequalities.
- Abstract（参考訳）: 連続空間における2つの有名な離散時間マルコフ連鎖の混合時間、不調整ランゲヴィンアルゴリズムと、ランゲヴィン力学の離散化である近距離サンプリングについて検討する。
これらのマルコフ連鎖に対する混合時間解析を$\Phi$-divergenceで保持するように拡張する。
二つの微分可能厳密凸関数から生じる$\Phi$-divergence がこれらのマルコフ連鎖に沿って指数関数的に$0$に収束することを示し、それらの定常分布が対応する$\Phi$-Sobolevの不等式を満たすことを仮定すると、ランゲヴィン力学のターゲット分布が強い対数対数である。
我々の設定には、一般的な混合時間体制、すなわちポアンカーの不等式の下での2乗発散の混合、対数ソボレフ不等式の下での相対エントロピーの混合などが含まれる。
その結果,サンプリングアルゴリズムをノイズのあるチャネルとみなし,適切なデータ処理の不等式に起因した収縮係数を限定した。
関連論文リスト
- Efficiently learning and sampling multimodal distributions with data-based initialization [20.575122468674536]
静止測度から少数のサンプルを与えられたマルコフ連鎖を用いて多重モーダル分布をサンプリングする問題を考察する。
マルコフ連鎖が$k$dのスペクトルギャップを持つ場合、静止分布からのサンプルは、静止測度からテレビ距離において$varepsilon$-closeの条件法則を持つサンプルを効率よく生成する。
論文 参考訳（メタデータ） (2024-11-14T01:37:02Z) - Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。
本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。
我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
論文 参考訳（メタデータ） (2024-10-03T09:07:13Z) - In-and-Out: Algorithmic Diffusion for Sampling Convex Bodies [7.70133333709347]
高次元凸体を一様にサンプリングするための新しいランダムウォークを提案する。
出力をより強力な保証で、最先端のランタイムの複雑さを実現する。
論文 参考訳（メタデータ） (2024-05-02T16:15:46Z) - Characterizing Dependence of Samples along the Langevin Dynamics and Algorithms via Contraction of $Φ$-Mutual Information [16.54557731304283]
連続空間サンプリングにおいて,サンプルがマルコフ連鎖に沿ってほぼ独立になる速度について検討する。
我々の証明手法は,マルコフ連鎖に沿ったSDPI(Strong Data Processing Inequality)を示すものである。
論文 参考訳（メタデータ） (2024-02-26T23:05:02Z) - Symmetric Mean-field Langevin Dynamics for Distributional Minimax
Problems [78.96969465641024]
平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。
また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
論文 参考訳（メタデータ） (2023-12-02T13:01:29Z) - Proximal Algorithms for Accelerated Langevin Dynamics [57.08271964961975]
我々は,確率化Nesterovスキームに基づくMCMCアルゴリズムの新たなクラスを開発する。
統計処理と画像処理の異なるモデルに対して,Langevinサンプルよりも提案手法の優れた性能を示す。
論文 参考訳（メタデータ） (2023-11-24T19:56:01Z) - Taming under isoperimetry [0.0]
本稿では,ログの増大に伴う分布のサンプル化を目的としたLangevinベースのスキームであるmathbfsTULA$を提案する。
非漸近KLを導出し、結果としてLog-Sobolevの不等式を満たす。
論文 参考訳（メタデータ） (2023-11-15T14:44:16Z) - Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
構造密度の重み付き雑音によるクリップ最適化問題を考察する。
勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。
得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
論文 参考訳（メタデータ） (2023-11-07T17:39:17Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳（メタデータ） (2023-06-27T08:15:28Z) - Mean-Square Analysis with An Application to Optimal Dimension Dependence
of Langevin Monte Carlo [60.785586069299356]
この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。
我々の理論解析は数値実験によってさらに検証される。
論文 参考訳（メタデータ） (2021-09-08T18:00:05Z) - Finite-Time Convergence Rates of Nonlinear Two-Time-Scale Stochastic
Approximation under Markovian Noise [2.0305676256390934]
2つの連結非線形作用素の根を探すためのシミュレーションベースアプローチである,いわゆる2時間スケール近似について検討する。
特に、マルコフプロセスによってメソッド内のデータが生成されるシナリオを考える。
演算子とマルコフ過程に関するかなり標準的な仮定の下で、この方法によって生成される平均二乗誤差の収束率を 0 に特徴づける公式を提供する。
論文 参考訳（メタデータ） (2021-04-04T15:19:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。