論文の概要: Sampling with Adaptive Variance for Multimodal Distributions
- arxiv url: http://arxiv.org/abs/2411.15220v1
- Date: Wed, 20 Nov 2024 22:05:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-26 14:22:22.900322
- Title: Sampling with Adaptive Variance for Multimodal Distributions
- Title（参考訳）: 適応変数を用いたマルチモーダル分布のサンプリング
- Authors: Björn Engquist, Kui Ren, Yunan Yang,
- Abstract要約: 本研究では,有界領域に対する分布サンプリングアルゴリズムのクラスを提案し,解析する。
そこで,ギブズポテンシャルに関する情報を使わずに,導関数のないバージョンをサンプリングに利用できることを示す。
- 参考スコア（独自算出の注目度）: 14.121491356732188
- License:
- Abstract: We propose and analyze a class of adaptive sampling algorithms for multimodal distributions on a bounded domain, which share a structural resemblance to the classic overdamped Langevin dynamics. We first demonstrate that this class of linear dynamics with adaptive diffusion coefficients and vector fields can be interpreted and analyzed as weighted Wasserstein gradient flows of the Kullback--Leibler (KL) divergence between the current distribution and the target Gibbs distribution, which directly leads to the exponential convergence of both the KL and $\chi^2$ divergences, with rates depending on the weighted Wasserstein metric and the Gibbs potential. We then show that a derivative-free version of the dynamics can be used for sampling without gradient information of the Gibbs potential and that for Gibbs distributions with nonconvex potentials, this approach could achieve significantly faster convergence than the classical overdamped Langevin dynamics. A comparison of the mean transition times between local minima of a nonconvex potential further highlights the better efficiency of the derivative-free dynamics in sampling.
- Abstract（参考訳）: 本稿では,古典的過剰なランゲヴィン力学に類似した構造を持つ有界領域上の多モード分布に対する適応サンプリングアルゴリズムのクラスを提案し,解析する。
まず、適応拡散係数とベクトル場を持つ線形力学のクラスを、現在の分布と目標ギブズ分布の間の重み付きワッサーシュタイン勾配流として解釈し、解析し、重み付きワッサーシュタイン計量とギブズポテンシャルに依存する速度でKLと$\chi^2$の発散を直接的に収束させることを示した。
そこで,非凸ポテンシャルを持つギブス分布は,古典的過度なランゲヴィン力学よりもはるかに高速な収束を実現することができることを示す。
非凸ポテンシャルの局所最小値間の平均遷移時間の比較は、サンプリングにおける微分自由力学のより良い効率をさらに強調する。
関連論文リスト
- Sampling in Unit Time with Kernel Fisher-Rao Flow [0.0]
非正規化対象密度からサンプリングするための平均場ODEと対応する相互作用粒子系(IPS)を導入する。
IPSは勾配のない閉形式であり、参照密度からサンプリングし、(正規化されていない)ターゲット-参照密度比を計算する能力のみを必要とする。
論文 参考訳（メタデータ） (2024-01-08T13:43:56Z) - Symmetric Mean-field Langevin Dynamics for Distributional Minimax
Problems [78.96969465641024]
平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。
また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
論文 参考訳（メタデータ） (2023-12-02T13:01:29Z) - Noise-Free Sampling Algorithms via Regularized Wasserstein Proximals [3.4240632942024685]
ポテンシャル関数が支配する分布からサンプリングする問題を考察する。
本研究は, 決定論的な楽譜に基づくMCMC法を提案し, 粒子に対する決定論的進化をもたらす。
論文 参考訳（メタデータ） (2023-08-28T23:51:33Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳（メタデータ） (2023-06-27T08:15:28Z) - A Geometric Perspective on Diffusion Models [57.27857591493788]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳（メタデータ） (2023-05-31T15:33:16Z) - An optimal control perspective on diffusion-based generative modeling [9.806130366152194]
微分方程式(SDE)に基づく最適制御と生成モデルとの接続を確立する。
特にハミルトン・ヤコビ・ベルマン方程式を導出し、基礎となるSDE限界の対数密度の進化を制御している。
非正規化密度から抽出する新しい拡散法を開発した。
論文 参考訳（メタデータ） (2022-11-02T17:59:09Z) - Birth-death dynamics for sampling: Global convergence, approximations
and their asymptotics [9.011881058913184]
純粋死動力学に基づく実用的な数値システムを構築した。
核化されたダイナミクスは有限時間間隔で収束し、純粋な勾配死ダイナミクスは0に縮まる。
最後に、Gibs測度に対する核化されたダイナミクスの状態の収束に関する長時間の結果を証明する。
論文 参考訳（メタデータ） (2022-11-01T13:30:26Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳（メタデータ） (2022-02-23T06:11:49Z) - Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
平均場ランゲヴィン力学の収束速度解析について述べる。
ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
論文 参考訳（メタデータ） (2022-01-25T17:13:56Z) - Stochastic Normalizing Flows [52.92110730286403]
微分方程式(SDE)を用いた最大推定と変分推論のための正規化フロー(VI)を導入する。
粗い経路の理論を用いて、基礎となるブラウン運動は潜在変数として扱われ、近似され、神経SDEの効率的な訓練を可能にする。
これらのSDEは、与えられたデータセットの基盤となる分布からサンプリングする効率的なチェーンを構築するために使用することができる。
論文 参考訳（メタデータ） (2020-02-21T20:47:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。