論文の概要: An Improved Analysis of Langevin Algorithms with Prior Diffusion for
Non-Log-Concave Sampling
- arxiv url: http://arxiv.org/abs/2403.06183v1
- Date: Sun, 10 Mar 2024 11:50:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 07:17:43.277821
- Title: An Improved Analysis of Langevin Algorithms with Prior Diffusion for
Non-Log-Concave Sampling
- Title(参考訳): 非対数サンプリングのための事前拡散を用いたLangevinアルゴリズムの改良
- Authors: Xunpeng Huang, Hanze Dong, Difan Zou, Tong Zhang
- Abstract要約: 本研究では, 先行拡散を用いた改良型ランゲヴィンアルゴリズムが, 強対数対数対象分布に対して独立に次元を収束させることができることを示す。
また、修正したランゲヴィンアルゴリズムは、異なるステップサイズスケジュールを持つKL発散の次元非依存収束も得ることを証明した。
- 参考スコア(独自算出の注目度): 27.882407333690267
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding the dimension dependency of computational complexity in
high-dimensional sampling problem is a fundamental problem, both from a
practical and theoretical perspective. Compared with samplers with unbiased
stationary distribution, e.g., Metropolis-adjusted Langevin algorithm (MALA),
biased samplers, e.g., Underdamped Langevin Dynamics (ULD), perform better in
low-accuracy cases just because a lower dimension dependency in their
complexities. Along this line, Freund et al. (2022) suggest that the modified
Langevin algorithm with prior diffusion is able to converge dimension
independently for strongly log-concave target distributions. Nonetheless, it
remains open whether such property establishes for more general cases. In this
paper, we investigate the prior diffusion technique for the target
distributions satisfying log-Sobolev inequality (LSI), which covers a much
broader class of distributions compared to the strongly log-concave ones. In
particular, we prove that the modified Langevin algorithm can also obtain the
dimension-independent convergence of KL divergence with different step size
schedules. The core of our proof technique is a novel construction of an
interpolating SDE, which significantly helps to conduct a more accurate
characterization of the discrete updates of the overdamped Langevin dynamics.
Our theoretical analysis demonstrates the benefits of prior diffusion for a
broader class of target distributions and provides new insights into developing
faster sampling algorithms.
- Abstract(参考訳): 高次元サンプリング問題における計算複雑性の次元依存性を理解することは、実用的・理論的観点からの根本的な問題である。
メトロポリス調整ランゲヴィンアルゴリズム(MALA)やバイアスサンプリング器(例えばアンダーダム化ランゲヴィンダイナミクス(ULD))など、バイアスのない定常分布を持つサンプル機と比較して、それらの複雑さの低次元依存性のため、低精度の場合の方が優れている。
この線に沿って、Freund et al. (2022) は、事前拡散を伴う修正ランゲヴィンアルゴリズムは、強い対数対数対象分布に対して独立に次元を収束させることができることを示唆している。
それでも、そのような性質がより一般的な場合に成立するかどうかは不明である。
本稿では,log-sobolev不等式(lsi)を満たす対象分布の事前拡散手法について検討する。
特に,修正したランゲヴィンアルゴリズムは,ステップサイズの異なるKL分散の次元非依存収束も得ることを示す。
本手法のコアは補間SDEの新規な構築であり, 過度に損傷したランゲヴィン力学の離散的更新のより正確な評価を行うのに有効である。
本理論解析は,より広い範囲のターゲット分布に対する事前拡散の利点を示し,より高速なサンプリングアルゴリズムの開発への新たな知見を提供する。
関連論文リスト
- Non-asymptotic Convergence of Discrete-time Diffusion Models: New
Approach and Improved Rate [54.596887384531236]
我々は離散時間拡散モデルの下で、分布のかなり大きなクラスに対する収束保証を確立する。
パラメータ依存を明示した分布の興味深いクラスに対して,結果の専門化を行う。
本稿では,新しい加速サンプリング器を提案し,対応する正則サンプリング器の収束率を桁違いに向上することを示す。
論文 参考訳(メタデータ) (2024-02-21T16:11:47Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳(メタデータ) (2024-01-29T02:08:40Z) - Sampling and estimation on manifolds using the Langevin diffusion [48.898189211250234]
離散化マルコフ過程に基づく$mu_phi $の線形汎函数の2つの推定器を検討する。
誤差境界は、本質的に定義されたランゲヴィン拡散の離散化を用いてサンプリングと推定のために導出される。
論文 参考訳(メタデータ) (2023-12-22T18:01:11Z) - Symmetric Mean-field Langevin Dynamics for Distributional Minimax
Problems [78.96969465641024]
平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。
また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
論文 参考訳(メタデータ) (2023-12-02T13:01:29Z) - Convergence of mean-field Langevin dynamics: Time and space
discretization, stochastic gradient, and variance reduction [49.66486092259376]
平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。
近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。
有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
論文 参考訳(メタデータ) (2023-06-12T16:28:11Z) - Reweighted Interacting Langevin Diffusions: an Accelerated Sampling
Methodfor Optimization [28.25662317591378]
本稿では, サンプリング手法を高速化し, 難解な最適化問題の解法を提案する。
提案手法は, 後部分布サンプリングとLangevin Dynamicsを用いた最適化の関連性について検討する。
論文 参考訳(メタデータ) (2023-01-30T03:48:20Z) - Resolving the Mixing Time of the Langevin Algorithm to its Stationary
Distribution for Log-Concave Sampling [34.66940399825547]
本稿では,Langevinアルゴリズムの定常分布に対する混合時間の特徴について述べる。
本稿では,差分プライバシー文献からサンプリング文献へのアプローチを紹介する。
論文 参考訳(メタデータ) (2022-10-16T05:11:16Z) - Robust Estimation for Nonparametric Families via Generative Adversarial
Networks [92.64483100338724]
我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。
我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。
技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
論文 参考訳(メタデータ) (2022-02-02T20:11:33Z) - Optimal dimension dependence of the Metropolis-Adjusted Langevin
Algorithm [22.19906823739798]
ログスムースと強くログ凹分布のクラス上のMALAの混合時間は$O(d)$です。
メトロポリタン調整の投影特性に基づく新しい技術は、ランゲビンSDEのよく研究された離散分析にMALAの研究を減少させる。
論文 参考訳(メタデータ) (2020-12-23T17:14:06Z) - Wasserstein Control of Mirror Langevin Monte Carlo [2.7145834528620236]
離散化ランゲヴィン拡散は高次元ターゲット密度からサンプリングする効率的なモンテカルロ法である。
ヘッセン型多様体上のランゲヴィン拡散を考察し、ミラー・ドネサンススキームと密接な関係を持つ離散化を研究する。
論文 参考訳(メタデータ) (2020-02-11T13:16:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。