論文の概要: Accelerating Markov Chain Monte Carlo sampling with diffusion models
- arxiv url: http://arxiv.org/abs/2309.01454v1
- Date: Mon, 4 Sep 2023 09:03:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-06 19:12:35.686663
- Title: Accelerating Markov Chain Monte Carlo sampling with diffusion models
- Title（参考訳）: 拡散モデルによるマルコフ連鎖モンテカルロサンプリングの高速化
- Authors: N. T. Hunt-Smith, W. Melnitchouk, F. Ringer, N. Sato, A. W Thomas, M.
J. White
- Abstract要約: 本稿では,Metropolis-Hastingsアルゴリズムと拡散モデルを組み合わせることで,マルコフ・チェイン・モンテカルロ(MCMC)サンプリングを高速化する新しい手法を提案する。
画像合成の文脈における拡散モデルについて概観し、低次元データアレイに適した流線形拡散モデルを提供する。
提案手法は,後方の正確な表現を得るために必要な可能性評価の回数を大幅に削減する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Global fits of physics models require efficient methods for exploring
high-dimensional and/or multimodal posterior functions. We introduce a novel
method for accelerating Markov Chain Monte Carlo (MCMC) sampling by pairing a
Metropolis-Hastings algorithm with a diffusion model that can draw global
samples with the aim of approximating the posterior. We briefly review
diffusion models in the context of image synthesis before providing a
streamlined diffusion model tailored towards low-dimensional data arrays. We
then present our adapted Metropolis-Hastings algorithm which combines local
proposals with global proposals taken from a diffusion model that is regularly
trained on the samples produced during the MCMC run. Our approach leads to a
significant reduction in the number of likelihood evaluations required to
obtain an accurate representation of the Bayesian posterior across several
analytic functions, as well as for a physical example based on a global
analysis of parton distribution functions. Our method is extensible to other
MCMC techniques, and we briefly compare our method to similar approaches based
on normalizing flows. A code implementation can be found at
https://github.com/NickHunt-Smith/MCMC-diffusion.
- Abstract（参考訳）: 物理モデルの大域的適合は、高次元および/または多様後続関数を探索するための効率的な方法を必要とする。
本研究では,metropolis-hastingsアルゴリズムとグローバルサンプルを近似して描画可能な拡散モデルとを組み合わせることで,マルコフ連鎖モンテカルロサンプリングを高速化する新しい手法を提案する。
画像合成の文脈における拡散モデルについて概観し、低次元データアレイに適した流線形拡散モデルを提供する。
そこで我々は,MCMC実行中に発生するサンプルに基づいて定期的に訓練された拡散モデルから得られた局所的提案とグローバルな提案とを組み合わせたメトロポリス・ハスティングスアルゴリズムを提案する。
本手法は,いくつかの解析関数にまたがるベイズ後流の正確な表現を得るのに必要な可能性評価の数を著しく削減し,パートン分布関数の大域的解析に基づく物理的例を導出する。
提案手法は他のMCMC手法と拡張可能であり,本手法を正規化フローに基づく類似手法と比較した。
コード実装はhttps://github.com/NickHunt-Smith/MCMC-diffusionで見ることができる。
関連論文リスト
- Understanding Reinforcement Learning-Based Fine-Tuning of Diffusion Models: A Tutorial and Review [63.31328039424469]
このチュートリアルは、下流の報酬関数を最適化するための微調整拡散モデルのための方法を網羅的に調査する。
PPO,微分可能最適化,報酬重み付きMLE,値重み付きサンプリング,経路整合性学習など,様々なRLアルゴリズムの適用について説明する。
論文 参考訳（メタデータ） (2024-07-18T17:35:32Z) - The Poisson Midpoint Method for Langevin Dynamics: Provably Efficient Discretization for Diffusion Models [9.392691963008385]
ランゲヴィン・モンテカルロ(Langevin Monte Carlo、LMC)は、最も単純かつ最も研究されたアルゴリズムである。
本稿では, ステップサイズが大きい小型LCCを近似したPoisson Midpoint Methodを提案する。
DDPMは,わずか50～80のニューラルネットワークコールで1000件のニューラルネットワークコールで品質を維持し,同様の計算でODEベースの手法より優れていることを示す。
論文 参考訳（メタデータ） (2024-05-27T11:40:42Z) - Improved off-policy training of diffusion samplers [93.66433483772055]
本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。
シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。
我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
論文 参考訳（メタデータ） (2024-02-07T18:51:49Z) - Reverse Diffusion Monte Carlo [19.35592726471155]
逆拡散モンテカルロ(rdMC)と呼ばれる新しいモンテカルロサンプリングアルゴリズムを提案する。
rdMCはマルコフ連鎖モンテカルロ(MCMC)法とは異なる。
論文 参考訳（メタデータ） (2023-07-05T05:42:03Z) - Object based Bayesian full-waveform inversion for shear elastography [0.0]
組織中の異常画像のせん断エラストグラフィーにおける不確かさを定量化する計算手法を開発した。
パラメータフィールドの後方確率は異常の幾何とそのせん断率を表わす。
滑らかで不規則な形状の合成2次元試験に対するアプローチを実証する。
論文 参考訳（メタデータ） (2023-05-11T08:25:25Z) - Fast Inference in Denoising Diffusion Models via MMD Finetuning [23.779985842891705]
拡散モデルの高速サンプリング法であるMDD-DDMを提案する。
我々のアプローチは、学習した分布を所定の予算のタイムステップで微調整するために、最大平均離散性(MMD)を使用するという考え方に基づいている。
提案手法は,広範に普及した拡散モデルで要求されるわずかな時間で高品質なサンプルを生成できることが示唆された。
論文 参考訳（メタデータ） (2023-01-19T09:48:07Z) - Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。
これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文 参考訳（メタデータ） (2021-10-20T12:25:22Z) - Oops I Took A Gradient: Scalable Sampling for Discrete Distributions [53.3142984019796]
このアプローチは、多くの困難な設定において、ジェネリックサンプリングよりも優れていることを示す。
また,高次元離散データを用いた深部エネルギーモデルトレーニングのための改良型サンプリング器についても実演した。
論文 参考訳（メタデータ） (2021-02-08T20:08:50Z) - Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。
本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。
本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
論文 参考訳（メタデータ） (2021-02-04T02:21:08Z) - Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
異種データセットから学習した後続分布を融合する手法を提案する。
我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
論文 参考訳（メタデータ） (2020-07-13T03:27:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。