論文の概要: An Improved Analysis of Langevin Algorithms with Prior Diffusion for Non-Log-Concave Sampling

• arxiv url: http://arxiv.org/abs/2403.06183v1
• Date: Sun, 10 Mar 2024 11:50:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 07:17:43.277821
• Title: An Improved Analysis of Langevin Algorithms with Prior Diffusion for Non-Log-Concave Sampling
• Title（参考訳）: 非対数サンプリングのための事前拡散を用いたLangevinアルゴリズムの改良
• Authors: Xunpeng Huang, Hanze Dong, Difan Zou, Tong Zhang
• Abstract要約: 本研究では, 先行拡散を用いた改良型ランゲヴィンアルゴリズムが, 強対数対数対象分布に対して独立に次元を収束させることができることを示す。 また、修正したランゲヴィンアルゴリズムは、異なるステップサイズスケジュールを持つKL発散の次元非依存収束も得ることを証明した。
• 参考スコア（独自算出の注目度）: 27.882407333690267
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding the dimension dependency of computational complexity in high-dimensional sampling problem is a fundamental problem, both from a practical and theoretical perspective. Compared with samplers with unbiased stationary distribution, e.g., Metropolis-adjusted Langevin algorithm (MALA), biased samplers, e.g., Underdamped Langevin Dynamics (ULD), perform better in low-accuracy cases just because a lower dimension dependency in their complexities. Along this line, Freund et al. (2022) suggest that the modified Langevin algorithm with prior diffusion is able to converge dimension independently for strongly log-concave target distributions. Nonetheless, it remains open whether such property establishes for more general cases. In this paper, we investigate the prior diffusion technique for the target distributions satisfying log-Sobolev inequality (LSI), which covers a much broader class of distributions compared to the strongly log-concave ones. In particular, we prove that the modified Langevin algorithm can also obtain the dimension-independent convergence of KL divergence with different step size schedules. The core of our proof technique is a novel construction of an interpolating SDE, which significantly helps to conduct a more accurate characterization of the discrete updates of the overdamped Langevin dynamics. Our theoretical analysis demonstrates the benefits of prior diffusion for a broader class of target distributions and provides new insights into developing faster sampling algorithms.
• Abstract（参考訳）: 高次元サンプリング問題における計算複雑性の次元依存性を理解することは、実用的・理論的観点からの根本的な問題である。 メトロポリス調整ランゲヴィンアルゴリズム(MALA)やバイアスサンプリング器(例えばアンダーダム化ランゲヴィンダイナミクス(ULD))など、バイアスのない定常分布を持つサンプル機と比較して、それらの複雑さの低次元依存性のため、低精度の場合の方が優れている。 この線に沿って、Freund et al. (2022) は、事前拡散を伴う修正ランゲヴィンアルゴリズムは、強い対数対数対象分布に対して独立に次元を収束させることができることを示唆している。 それでも、そのような性質がより一般的な場合に成立するかどうかは不明である。 本稿では,log-sobolev不等式(lsi)を満たす対象分布の事前拡散手法について検討する。 特に,修正したランゲヴィンアルゴリズムは,ステップサイズの異なるKL分散の次元非依存収束も得ることを示す。 本手法のコアは補間SDEの新規な構築であり, 過度に損傷したランゲヴィン力学の離散的更新のより正確な評価を行うのに有効である。 本理論解析は,より広い範囲のターゲット分布に対する事前拡散の利点を示し,より高速なサンプリングアルゴリズムの開発への新たな知見を提供する。

関連論文リスト

• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• Faster Sampling via Stochastic Gradient Proximal Sampler [28.422547264326468]
  非log-concave分布からのサンプリングのための近位サンプリング器 (SPS) について検討した。 対象分布への収束性は,アルゴリズムの軌道が有界である限り保証可能であることを示す。 我々は、Langevin dynamics(SGLD)とLangevin-MALAの2つの実装可能な変種を提供し、SPS-SGLDとSPS-MALAを生み出した。
  論文  参考訳（メタデータ） (2024-05-27T00:53:18Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Symmetric Mean-field Langevin Dynamics for Distributional Minimax Problems [78.96969465641024]
  平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。 また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
  論文  参考訳（メタデータ） (2023-12-02T13:01:29Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• Resolving the Mixing Time of the Langevin Algorithm to its Stationary Distribution for Log-Concave Sampling [34.66940399825547]
  本稿では,Langevinアルゴリズムの定常分布に対する混合時間の特徴について述べる。 本稿では,差分プライバシー文献からサンプリング文献へのアプローチを紹介する。
  論文  参考訳（メタデータ） (2022-10-16T05:11:16Z)
• Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
  我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。 我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。 技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-02T20:11:33Z)
• Optimal dimension dependence of the Metropolis-Adjusted Langevin Algorithm [22.19906823739798]
  ログスムースと強くログ凹分布のクラス上のMALAの混合時間は$O(d)$です。 メトロポリタン調整の投影特性に基づく新しい技術は、ランゲビンSDEのよく研究された離散分析にMALAの研究を減少させる。
  論文  参考訳（メタデータ） (2020-12-23T17:14:06Z)
• Wasserstein Control of Mirror Langevin Monte Carlo [2.7145834528620236]
  離散化ランゲヴィン拡散は高次元ターゲット密度からサンプリングする効率的なモンテカルロ法である。 ヘッセン型多様体上のランゲヴィン拡散を考察し、ミラー・ドネサンススキームと密接な関係を持つ離散化を研究する。
  論文  参考訳（メタデータ） (2020-02-11T13:16:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。