論文の概要: Continuously-Tempered PDMP Samplers
- arxiv url: http://arxiv.org/abs/2205.09559v1
- Date: Thu, 19 May 2022 13:32:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-20 23:59:40.163924
- Title: Continuously-Tempered PDMP Samplers
- Title(参考訳): 連続型PDMPサンプリング器
- Authors: Matthew Sutton, Robert Salomone, Augustin Chevallier, Paul Fearnhead
- Abstract要約: 提案手法は, 断片的決定論的マルコフ過程の混合をいかに促進するかを示す。
後部分布の状態と逆温度に定義された拡張分布を導入する。
本稿では,PDMP,特にZig-Zagサンプルを,このような拡張分布からサンプルとして実装する方法を示す。
- 参考スコア(独自算出の注目度): 2.294014185517203
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: New sampling algorithms based on simulating continuous-time stochastic
processes called piece-wise deterministic Markov processes (PDMPs) have shown
considerable promise. However, these methods can struggle to sample from
multi-modal or heavy-tailed distributions. We show how tempering ideas can
improve the mixing of PDMPs in such cases. We introduce an extended
distribution defined over the state of the posterior distribution and an
inverse temperature, which interpolates between a tractable distribution when
the inverse temperature is 0 and the posterior when the inverse temperature is
1. The marginal distribution of the inverse temperature is a mixture of a
continuous distribution on [0,1) and a point mass at 1: which means that we
obtain samples when the inverse temperature is 1, and these are draws from the
posterior, but sampling algorithms will also explore distributions at lower
temperatures which will improve mixing. We show how PDMPs, and particularly the
Zig-Zag sampler, can be implemented to sample from such an extended
distribution. The resulting algorithm is easy to implement and we show
empirically that it can outperform existing PDMP-based samplers on challenging
multimodal posteriors.
- Abstract(参考訳): 部分的決定論的マルコフ過程 (PDMP) と呼ばれる連続時間確率過程のシミュレーションに基づく新しいサンプリングアルゴリズムは、かなり有望である。
しかし、これらの手法はマルチモーダル分布やヘビーテール分布のサンプリングに苦慮する。
このような場合、PDMPの混合により、テンパリングアイデアがいかに改善できるかを示す。
逆温度が0の場合と逆温度が1の場合の後方分布との間を補間する後分布状態と逆温度の状態とで定義される拡張分布を導入する。
逆温度の限界分布は、[0,1) の連続分布と 1 の点質量の混合物であり、逆温度が 1 のときにサンプルを得ることを意味し、これらが後から引き出されることを意味するが、サンプリングアルゴリズムはより低い温度の分布を探索し、混合を改善する。
本稿では,PDMP,特にZig-Zagサンプルを,このような拡張分布からサンプルとして実装する方法を示す。
提案アルゴリズムは実装が容易で,既存のPDMPベースのサンプルを多モード後部よりも優れていることを示す。
関連論文リスト
- Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [111.90150190668555]
反復Denoising Energy Matching (iDEM)
iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。
提案手法は,全測定値の最先端性能を達成し,2~5倍の速さでトレーニングを行う。
論文 参考訳(メタデータ) (2024-02-09T01:11:23Z) - Noise-Free Sampling Algorithms via Regularized Wasserstein Proximals [3.4240632942024685]
ポテンシャル関数が支配する分布からサンプリングする問題を考察する。
本研究は, 決定論的な楽譜に基づくMCMC法を提案し, 粒子に対する決定論的進化をもたらす。
論文 参考訳(メタデータ) (2023-08-28T23:51:33Z) - DPM-OT: A New Diffusion Probabilistic Model Based on Optimal Transport [26.713392774427653]
DPM-OTは高速DPMのための統合学習フレームワークであり、直接高速道路はOTマップで表される。
約10の関数評価で高品質なサンプルを生成することができる。
実験は、DPM-OTの有効性と利点を、速度と品質の観点から検証した。
論文 参考訳(メタデータ) (2023-07-21T02:28:54Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳(メタデータ) (2023-06-27T08:15:28Z) - Alleviating Exposure Bias in Diffusion Models through Sampling with Shifted Time Steps [23.144083737873263]
拡散確率モデル (DPM) は高品質な画像の合成において顕著な有効性を示した。
これまでの研究は、トレーニング中に入力を摂動することでこの問題を緩和しようと試みてきた。
モデルを再学習することなく,提案する新しいサンプリング手法を提案する。
論文 参考訳(メタデータ) (2023-05-24T21:39:27Z) - Restoration-Degradation Beyond Linear Diffusions: A Non-Asymptotic
Analysis For DDIM-Type Samplers [90.45898746733397]
本研究では拡散生成モデルに用いる決定論的サンプリング器の非漸近解析のためのフレームワークを開発する。
確率フローODEに沿った1ステップは,1) 条件付き対数線上を無限に先行して上昇する回復ステップ,2) 雑音を現在の勾配に向けて前向きに進行する劣化ステップの2段階で表すことができる。
論文 参考訳(メタデータ) (2023-03-06T18:59:19Z) - Denoising Diffusion Samplers [41.796349001299156]
拡散モデルの認知は、多くの領域で最先端の結果を提供する生成モデルの一般的なクラスである。
我々は、非正規化確率密度関数から大まかにサンプリングし、それらの正規化定数を推定する類似のアイデアを探求する。
この文脈ではスコアマッチングは適用できないが、モンテカルロサンプリングのために生成的モデリングで導入された多くのアイデアを利用することができる。
論文 参考訳(メタデータ) (2023-02-27T14:37:16Z) - Conditioning Normalizing Flows for Rare Event Sampling [61.005334495264194]
本稿では,ニューラルネットワーク生成構成に基づく遷移経路サンプリング手法を提案する。
本手法は遷移領域の熱力学と運動学の両方の解法を可能にすることを示す。
論文 参考訳(メタデータ) (2022-07-29T07:56:10Z) - Relative Entropy Gradient Sampler for Unnormalized Distributions [14.060615420986796]
非正規分布からのサンプリングのための相対エントロピー勾配サンプリング器(REGS)
REGSは、参照分布からサンプルへの初期サンプルを非正規化対象分布から反復的に押し出す単純な非線形変換の列を求める粒子法である。
論文 参考訳(メタデータ) (2021-10-06T14:10:38Z) - Learning Energy-Based Models by Diffusion Recovery Likelihood [61.069760183331745]
本稿では,エネルギーベースモデルから気軽に学習・サンプルできる拡散回復可能性法を提案する。
学習後、ガウスの白色雑音分布から初期化するサンプリングプロセスにより合成画像を生成することができる。
非条件 CIFAR-10 では,本手法は FID 9.58 と開始スコア 8.30 を達成する。
論文 参考訳(メタデータ) (2020-12-15T07:09:02Z) - Denoising Diffusion Implicit Models [117.03720513930335]
DDPMと同様の訓練手順を施した反復的暗黙的確率モデルに対して,拡散暗黙モデル(DDIM)を提案する。
DDIMsは、DDPMsと比較して、壁面時間で10倍から50倍高速な高品質のサンプルを作成できる。
論文 参考訳(メタデータ) (2020-10-06T06:15:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。