論文の概要: Relative Entropy Gradient Sampler for Unnormalized Distributions
- arxiv url: http://arxiv.org/abs/2110.02787v1
- Date: Wed, 6 Oct 2021 14:10:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-07 22:15:21.864000
- Title: Relative Entropy Gradient Sampler for Unnormalized Distributions
- Title(参考訳): 非正規分布に対する相対エントロピー勾配サンプリング器
- Authors: Xingdong Feng, Yuan Gao, Jian Huang, Yuling Jiao, Xu Liu
- Abstract要約: 非正規分布からのサンプリングのための相対エントロピー勾配サンプリング器(REGS)
REGSは、参照分布からサンプルへの初期サンプルを非正規化対象分布から反復的に押し出す単純な非線形変換の列を求める粒子法である。
- 参考スコア(独自算出の注目度): 14.060615420986796
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a relative entropy gradient sampler (REGS) for sampling from
unnormalized distributions. REGS is a particle method that seeks a sequence of
simple nonlinear transforms iteratively pushing the initial samples from a
reference distribution into the samples from an unnormalized target
distribution. To determine the nonlinear transforms at each iteration, we
consider the Wasserstein gradient flow of relative entropy. This gradient flow
determines a path of probability distributions that interpolates the reference
distribution and the target distribution. It is characterized by an ODE system
with velocity fields depending on the density ratios of the density of evolving
particles and the unnormalized target density. To sample with REGS, we need to
estimate the density ratios and simulate the ODE system with particle
evolution. We propose a novel nonparametric approach to estimating the
logarithmic density ratio using neural networks. Extensive simulation studies
on challenging multimodal 1D and 2D mixture distributions and Bayesian logistic
regression on real datasets demonstrate that the REGS outperforms the
state-of-the-art sampling methods included in the comparison.
- Abstract(参考訳): 非正規分布からのサンプリングのための相対エントロピー勾配サンプリング器(REGS)を提案する。
REGSは、参照分布からサンプルへの初期サンプルを非正規化対象分布から反復的に押し出す単純な非線形変換の列を求める粒子法である。
各反復における非線形変換を決定するために、相対エントロピーのワッサーシュタイン勾配流を考える。
この勾配流れは、基準分布と対象分布を補間する確率分布の経路を決定する。
進化する粒子の密度と非正規化対象密度の密度比に依存する速度場を持つodeシステムによって特徴付けられる。
REGSをサンプリングするには,密度比を推定し,粒子進化を伴うODE系をシミュレートする必要がある。
ニューラルネットワークを用いて対数密度比を推定する新しい非パラメトリック手法を提案する。
マルチモーダルな1Dと2Dの混合分布の挑戦と実際のデータセット上のベイジアンロジスティック回帰に関する大規模なシミュレーション研究は、REGSが比較に含まれる最先端のサンプリング手法よりも優れていることを示した。
関連論文リスト
- Particle Denoising Diffusion Sampler [34.23716415769885]
Particle Denoising Diffusion Sampler (PDDS) は、軽微な仮定の下で一貫した推定を提供する。
マルチモーダルおよび高次元サンプリングタスクにおけるPDDSの実証を行った。
論文 参考訳(メタデータ) (2024-02-09T11:01:35Z) - Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [111.90150190668555]
反復Denoising Energy Matching (iDEM)
iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。
提案手法は,全測定値の最先端性能を達成し,2~5倍の速さでトレーニングを行う。
論文 参考訳(メタデータ) (2024-02-09T01:11:23Z) - Sampling in Unit Time with Kernel Fisher-Rao Flow [0.0]
非正規化対象密度からサンプリングするための平均場ODEと対応する相互作用粒子系(IPS)を導入する。
IPSは勾配のない閉形式であり、参照密度からサンプリングし、(正規化されていない)ターゲット-参照密度比を計算する能力のみを必要とする。
論文 参考訳(メタデータ) (2024-01-08T13:43:56Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳(メタデータ) (2023-06-27T08:15:28Z) - A Geometric Perspective on Diffusion Models [60.69328526215776]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングを検証し,そのサンプリングダイナミクスの興味深い構造を明らかにした。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳(メタデータ) (2023-05-31T15:33:16Z) - Denoising Diffusion Samplers [41.796349001299156]
拡散モデルの認知は、多くの領域で最先端の結果を提供する生成モデルの一般的なクラスである。
我々は、非正規化確率密度関数から大まかにサンプリングし、それらの正規化定数を推定する類似のアイデアを探求する。
この文脈ではスコアマッチングは適用できないが、モンテカルロサンプリングのために生成的モデリングで導入された多くのアイデアを利用することができる。
論文 参考訳(メタデータ) (2023-02-27T14:37:16Z) - Unsupervised Learning of Sampling Distributions for Particle Filters [80.6716888175925]
観測結果からサンプリング分布を学習する4つの方法を提案する。
実験により、学習されたサンプリング分布は、設計された最小縮退サンプリング分布よりも優れた性能を示すことが示された。
論文 参考訳(メタデータ) (2023-02-02T15:50:21Z) - Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。
粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
論文 参考訳(メタデータ) (2021-10-06T16:58:34Z) - Generative Modeling with Denoising Auto-Encoders and Langevin Sampling [88.83704353627554]
DAEとDSMの両方がスムーズな人口密度のスコアを推定することを示した。
次に、この結果をarXiv:1907.05600のホモトピー法に適用し、その経験的成功を理論的に正当化する。
論文 参考訳(メタデータ) (2020-01-31T23:50:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。