論文の概要: Characterizing Dependence of Samples along the Langevin Dynamics and Algorithms via Contraction of $Φ$-Mutual Information
- arxiv url: http://arxiv.org/abs/2402.17067v2
- Date: Sat, 08 Feb 2025 18:00:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-11 14:24:20.248907
- Title: Characterizing Dependence of Samples along the Langevin Dynamics and Algorithms via Contraction of $Φ$-Mutual Information
- Title（参考訳）: 約$$-Mutual Informationの縮約によるランゲヴィンダイナミクスとアルゴリズムに沿ったサンプルの依存性のキャラクタリゼーション
- Authors: Jiaming Liang, Siddharth Mitra, Andre Wibisono,
- Abstract要約: 連続空間サンプリングにおいて,サンプルがマルコフ連鎖に沿ってほぼ独立になる速度について検討する。
我々の証明手法は,マルコフ連鎖に沿ったSDPI(Strong Data Processing Inequality)を示すものである。
- 参考スコア（独自算出の注目度）: 16.54557731304283
- License:
- Abstract: The mixing time of a Markov chain determines how fast the iterates of the Markov chain converge to the stationary distribution; however, it does not control the dependencies between samples along the Markov chain. In this paper, we study the question of how fast the samples become approximately independent along popular Markov chains for continuous-space sampling: the Langevin dynamics in continuous time, and the Unadjusted Langevin Algorithm and the Proximal Sampler in discrete time. We measure the dependence between samples via $\Phi$-mutual information, which is a broad generalization of the standard mutual information, and which is equal to $0$ if and only if the the samples are independent. We show that along these Markov chains, the $\Phi$-mutual information between the first and the $k$-th iterate decreases to $0$ exponentially fast in $k$ when the target distribution is strongly log-concave. Our proof technique is based on showing the Strong Data Processing Inequalities (SDPIs) hold along the Markov chains. To prove fast mixing of the Markov chains, we only need to show the SDPIs hold for the stationary distribution. In contrast, to prove the contraction of $\Phi$-mutual information, we need to show the SDPIs hold along the entire trajectories of the Markov chains; we prove this when the iterates along the Markov chains satisfy the corresponding $\Phi$-Sobolev inequality, which is implied by the strong log-concavity of the target distribution.
- Abstract（参考訳）: マルコフ鎖の混合時間は、マルコフ鎖の反復が定常分布にどれだけ早く収束するかを決定するが、マルコフ鎖に沿ったサンプル間の依存関係を制御しない。
本稿では,連続時間におけるランゲヴィンダイナミクスと,離散時間における非調整ランゲヴィンアルゴリズムと近距離サンプリングという,一般的なマルコフ連鎖に沿って,サンプルがどの程度の速度で独立になるのかを考察する。
サンプル間の依存度を$\Phi$-mutual information, これは標準相互情報の広範な一般化であり、サンプルが独立である場合に限り$0$と等しい。
これらのマルコフ連鎖に沿って、ターゲット分布が強い対数展開の場合、第1次と第1次を繰り返す$k$-番目の繰り返しの間の$\Phi$-mutual情報は、$k$で指数関数的に$0$に減少することを示す。
我々の証明手法は,マルコフ連鎖に沿ったSDPI(Strong Data Processing Inequality)を示すものである。
マルコフ連鎖の高速混合を証明するためには、静止分布に対してSDPIが保持されていることを示す必要がある。
対照的に、$\Phi$-mutual 情報の縮約を証明するためには、SDPIがマルコフ連鎖の全軌道に沿って保持されていることを示す必要がある。
関連論文リスト
- Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。
本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。
我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
論文 参考訳（メタデータ） (2024-10-03T09:07:13Z) - An Improved Analysis of Langevin Algorithms with Prior Diffusion for
Non-Log-Concave Sampling [27.882407333690267]
本研究では, 先行拡散を用いた改良型ランゲヴィンアルゴリズムが, 強対数対数対象分布に対して独立に次元を収束させることができることを示す。
また、修正したランゲヴィンアルゴリズムは、異なるステップサイズスケジュールを持つKL発散の次元非依存収束も得ることを証明した。
論文 参考訳（メタデータ） (2024-03-10T11:50:34Z) - Time Series Diffusion in the Frequency Domain [54.60573052311487]
周波数領域における時系列表現がスコアベース拡散モデルに有用な帰納バイアスであるか否かを解析する。
重要なニュアンスを持つ周波数領域において、二重拡散過程が生じることを示す。
周波数領域に拡散モデルを実装するために,デノナイジングスコアマッチング手法を適用する方法を示す。
論文 参考訳（メタデータ） (2024-02-08T18:59:05Z) - Symmetric Mean-field Langevin Dynamics for Distributional Minimax
Problems [78.96969465641024]
平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。
また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
論文 参考訳（メタデータ） (2023-12-02T13:01:29Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳（メタデータ） (2023-06-27T08:15:28Z) - Subsampling Error in Stochastic Gradient Langevin Diffusions [0.7900303955225063]
グラディエント・ランゲヴィン・ダイナミクス(英語版)(SGLD)は、統計的学習手順におけるベイズ的後続分布を大規模データで近似するために一般的に用いられる。
第1のエラーは、Langevin拡散プロセスのEuler-Maruyama離散化によって導入され、第2のエラーは、大規模なデータ設定での使用を可能にするデータサブサンプリングに由来する。
SLGDiffの指数的エルゴード性を示し、SGLDiffの後方と制限分布の間のワッサーシュタイン距離が平均待ち時間の分断パワーによって上界していることを示す。
論文 参考訳（メタデータ） (2023-05-23T10:03:40Z) - Resolving the Mixing Time of the Langevin Algorithm to its Stationary
Distribution for Log-Concave Sampling [34.66940399825547]
本稿では,Langevinアルゴリズムの定常分布に対する混合時間の特徴について述べる。
本稿では,差分プライバシー文献からサンプリング文献へのアプローチを紹介する。
論文 参考訳（メタデータ） (2022-10-16T05:11:16Z) - Diffusion-GAN: Training GANs with Diffusion [135.24433011977874]
GAN(Generative Adversarial Network)は、安定してトレーニングすることが難しい。
フォワード拡散チェーンを利用してインスタンスノイズを生成する新しいGANフレームワークであるDiffusion-GANを提案する。
我々は,Diffusion-GANにより,最先端のGANよりも高い安定性とデータ効率で,よりリアルな画像を生成することができることを示す。
論文 参考訳（メタデータ） (2022-06-05T20:45:01Z) - Time-inhomogeneous diffusion geometry and topology [69.55228523791897]
拡散凝縮(英: Diffusion condensation)は、各ステップが最初に計算し、そのデータに拡散演算子を適用する時間不均質な過程である。
我々はこの過程の収束と進化を幾何学的、スペクトル的、位相的観点から理論的に分析する。
我々の研究は拡散凝縮の収束に関する理論的洞察を与え、トポロジカルデータ解析と幾何学的データ解析のリンクを提供することを示している。
論文 参考訳（メタデータ） (2022-03-28T16:06:17Z) - Spread of Correlations in Strongly Disordered Lattice Systems with
Long-Range Coupling [0.0]
本研究では, 高オンサイトエネルギー障害を有する1次元格子系における励起による相関関係の拡散について検討した。
初期焼成ノードと与えられたノードとの相関の増大は、時間2次、時間2次、時間2次、飽和の3つのフェーズを示す。
論文 参考訳（メタデータ） (2021-06-15T15:47:20Z) - Exponential ergodicity of mirror-Langevin diffusions [16.012656579770827]
我々はNewton-Langevin拡散と呼ばれる拡散のクラスを提案し、それらが指数関数的に定常性に収束することを証明した。
本研究では, 内部点法に着想を得た戦略を用いて, 凸体上の均一分布からのサンプリング問題に適用する。
論文 参考訳（メタデータ） (2020-05-19T18:00:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。