論文の概要: Continuously-Tempered PDMP Samplers

• arxiv url: http://arxiv.org/abs/2205.09559v1
• Date: Thu, 19 May 2022 13:32:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-20 23:59:40.163924
• Title: Continuously-Tempered PDMP Samplers
• Title（参考訳）: 連続型PDMPサンプリング器
• Authors: Matthew Sutton, Robert Salomone, Augustin Chevallier, Paul Fearnhead
• Abstract要約: 提案手法は, 断片的決定論的マルコフ過程の混合をいかに促進するかを示す。 後部分布の状態と逆温度に定義された拡張分布を導入する。 本稿では,PDMP,特にZig-Zagサンプルを,このような拡張分布からサンプルとして実装する方法を示す。
• 参考スコア（独自算出の注目度）: 2.294014185517203
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: New sampling algorithms based on simulating continuous-time stochastic processes called piece-wise deterministic Markov processes (PDMPs) have shown considerable promise. However, these methods can struggle to sample from multi-modal or heavy-tailed distributions. We show how tempering ideas can improve the mixing of PDMPs in such cases. We introduce an extended distribution defined over the state of the posterior distribution and an inverse temperature, which interpolates between a tractable distribution when the inverse temperature is 0 and the posterior when the inverse temperature is 1. The marginal distribution of the inverse temperature is a mixture of a continuous distribution on [0,1) and a point mass at 1: which means that we obtain samples when the inverse temperature is 1, and these are draws from the posterior, but sampling algorithms will also explore distributions at lower temperatures which will improve mixing. We show how PDMPs, and particularly the Zig-Zag sampler, can be implemented to sample from such an extended distribution. The resulting algorithm is easy to implement and we show empirically that it can outperform existing PDMP-based samplers on challenging multimodal posteriors.
• Abstract（参考訳）: 部分的決定論的マルコフ過程 (PDMP) と呼ばれる連続時間確率過程のシミュレーションに基づく新しいサンプリングアルゴリズムは、かなり有望である。 しかし、これらの手法はマルチモーダル分布やヘビーテール分布のサンプリングに苦慮する。 このような場合、PDMPの混合により、テンパリングアイデアがいかに改善できるかを示す。 逆温度が0の場合と逆温度が1の場合の後方分布との間を補間する後分布状態と逆温度の状態とで定義される拡張分布を導入する。 逆温度の限界分布は、[0,1) の連続分布と 1 の点質量の混合物であり、逆温度が 1 のときにサンプルを得ることを意味し、これらが後から引き出されることを意味するが、サンプリングアルゴリズムはより低い温度の分布を探索し、混合を改善する。 本稿では,PDMP,特にZig-Zagサンプルを,このような拡張分布からサンプルとして実装する方法を示す。 提案アルゴリズムは実装が容易で,既存のPDMPベースのサンプルを多モード後部よりも優れていることを示す。

関連論文リスト

• Enhancing Diffusion Posterior Sampling for Inverse Problems by Integrating Crafted Measurements [45.70011319850862]
  拡散モデルは視覚生成のための強力な基礎モデルとして登場してきた。 現在の後方サンプリングに基づく手法では、測定結果を後方サンプリングに取り込み、対象データの分布を推定する。 本研究は, 早期に高周波情報を早期に導入し, より大きい推定誤差を生じさせることを示す。 工芸品計測を取り入れた新しい拡散後サンプリング手法DPS-CMを提案する。
  論文  参考訳（メタデータ） (2024-11-15T00:06:57Z)
• Think Twice Before You Act: Improving Inverse Problem Solving With MCMC [40.5682961122897]
  事前学習した拡散モデルを用いて逆問題を解決するためにtextbfDiffusion textbfPosterior textbfDPMC(textbfDPMC)を提案する。 提案アルゴリズムは,ほぼすべてのタスクにおいてDPSよりも性能が優れており,既存手法と競合する。
  論文  参考訳（メタデータ） (2024-09-13T06:10:54Z)
• Piecewise deterministic generative models [35.23259982653664]
  部分的決定論的マルコフ過程(PDMP)に基づく生成モデルのクラスを導入する。 我々は,PDMPの条件密度に応じて,対応する時間反転のジャンプ率とカーネルが明示的な表現を認めていることを示す。
  論文  参考訳（メタデータ） (2024-07-28T09:53:02Z)
• Amortized Posterior Sampling with Diffusion Prior Distillation [55.03585818289934]
  逆問題の解法として, 後方分布からのサンプルの変分推論手法を提案する。 本手法はユークリッド空間の標準信号や多様体上の信号に適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-07-25T09:53:12Z)
• Stochastic Gradient Piecewise Deterministic Monte Carlo Samplers [3.487370856323828]
  近年の研究では、モンテカルロ法を用いて、目的とする関心の分布から標本を抽出することを提案している。 後方分布からのスケーラブルサンプリングのためのサブサンプリングによるPDMPの近似シミュレーションを提案する。 これらの手法は実装が容易であることが示され、近似誤差の結果を示し、このアルゴリズムのクラスが勾配ランゲヴィン力学と類似の効率を持つことを示す。
  論文  参考訳（メタデータ） (2024-06-27T09:59:28Z)
• Boosting Diffusion Models with Moving Average Sampling in Frequency Domain [101.43824674873508]
  拡散モデルは、現在のサンプルに頼って次のサンプルをノイズ化し、おそらく不安定化を引き起こす。 本稿では,反復的復調過程をモデル最適化として再解釈し,移動平均機構を利用して全ての先行サンプルをアンサンブルする。 周波数領域における平均サンプリング(MASF)の動作」という完全なアプローチを命名する。
  論文  参考訳（メタデータ） (2024-03-26T16:57:55Z)
• Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [109.23137009609519]
  反復Denoising Energy Matching (iDEM) iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。 提案手法は,全測定値の最先端性能を達成し,2～5倍の速さでトレーニングを行う。
  論文  参考訳（メタデータ） (2024-02-09T01:11:23Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Restoration-Degradation Beyond Linear Diffusions: A Non-Asymptotic Analysis For DDIM-Type Samplers [90.45898746733397]
  本研究では拡散生成モデルに用いる決定論的サンプリング器の非漸近解析のためのフレームワークを開発する。 確率フローODEに沿った1ステップは,1) 条件付き対数線上を無限に先行して上昇する回復ステップ,2) 雑音を現在の勾配に向けて前向きに進行する劣化ステップの2段階で表すことができる。
  論文  参考訳（メタデータ） (2023-03-06T18:59:19Z)
• Denoising Diffusion Samplers [41.796349001299156]
  拡散モデルの認知は、多くの領域で最先端の結果を提供する生成モデルの一般的なクラスである。 我々は、非正規化確率密度関数から大まかにサンプリングし、それらの正規化定数を推定する類似のアイデアを探求する。 この文脈ではスコアマッチングは適用できないが、モンテカルロサンプリングのために生成的モデリングで導入された多くのアイデアを利用することができる。
  論文  参考訳（メタデータ） (2023-02-27T14:37:16Z)
• Learning Energy-Based Models by Diffusion Recovery Likelihood [61.069760183331745]
  本稿では,エネルギーベースモデルから気軽に学習・サンプルできる拡散回復可能性法を提案する。 学習後、ガウスの白色雑音分布から初期化するサンプリングプロセスにより合成画像を生成することができる。 非条件 CIFAR-10 では,本手法は FID 9.58 と開始スコア 8.30 を達成する。
  論文  参考訳（メタデータ） (2020-12-15T07:09:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。