論文の概要: Reverse Diffusion Monte Carlo
- arxiv url: http://arxiv.org/abs/2307.02037v2
- Date: Mon, 2 Oct 2023 05:45:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-03 13:54:16.375518
- Title: Reverse Diffusion Monte Carlo
- Title（参考訳）: 逆拡散モンテカルロ
- Authors: Xunpeng Huang, Hanze Dong, Yifan Hao, Yian Ma, Tong Zhang
- Abstract要約: スコア推定は遷移カーネルの分解により平均推定問題に変換可能であることを示す。
逆拡散過程から新しいモンテカルロサンプリングアルゴリズムを導出する。
このアルゴリズムは従来のLangevinスタイルのMCMCサンプリング法よりも大幅に改善されていることを示す。
- 参考スコア（独自算出の注目度）: 19.35592726471155
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The efficacy of modern generative models is commonly contingent upon the
precision of score estimation along the diffusion path, with a focus on
diffusion models and their ability to generate high-quality data samples. This
study delves into the application of reverse diffusion to Monte Carlo sampling.
It is shown that score estimation can be transformed into a mean estimation
problem via the decomposition of the transition kernel. By estimating the mean
of the posterior distribution, we derive a novel Monte Carlo sampling algorithm
from the reverse diffusion process, which is distinct from traditional Markov
Chain Monte Carlo (MCMC) methods. We calculate the error requirements and
sample size for the posterior distribution, and use the result to derive an
algorithm that can approximate the target distribution to any desired accuracy.
Additionally, by estimating the log-Sobolev constant of the posterior
distribution, we show under suitable conditions the problem of sampling from
the posterior can be easier than direct sampling from the target distribution
using traditional MCMC techniques. For Gaussian mixture models, we demonstrate
that the new algorithm achieves significant improvement over the traditional
Langevin-style MCMC sampling methods both theoretically and practically. Our
algorithm offers a new perspective and solution beyond classical MCMC
algorithms for challenging complex distributions.
- Abstract（参考訳）: 現代の生成モデルの有効性は、拡散経路に沿ったスコア推定の精度に共通しており、拡散モデルと高品質なデータサンプルを生成する能力に注目している。
本研究はモンテカルロサンプリングへの逆拡散の適用について考察する。
スコア推定は遷移核の分解によって平均推定問題に変換できることを示した。
後方分布の平均を推定することにより,従来のマルコフ連鎖モンテカルロ法とは異なる逆拡散法からモンテカルロサンプリングアルゴリズムを導出する。
後続分布の誤差要件とサンプルサイズを算出し,その結果を用いて,対象分布を任意の精度で近似できるアルゴリズムを導出する。
さらに, 後部分布の対数ソボレフ定数を推定することにより, 従来のMCMC法を用いて, 対象分布からの直接サンプリングよりも, 後部からのサンプリングが容易であることを示す。
ガウス混合モデルでは, 従来のランジュバン型mcmcサンプリング法に比べて, 理論上, 実質的にも大きな改善が得られた。
我々のアルゴリズムは、古典的MCMCアルゴリズムを超える新しい視点と解決策を提供し、複雑な分布に挑戦する。
関連論文リスト
- Convergence Bounds for Sequential Monte Carlo on Multimodal Distributions using Soft Decomposition [6.872242798058046]
逐次モンテカルロ法(SMC)アルゴリズムにより得られたサンプルの実証測度の下での関数の分散に関するバウンダリを証明した。
我々は,局所MCMC力学に依存する混合時間を用いて,真のマルチモーダル設定でバウンダリが得られることを示す。
論文 参考訳（メタデータ） (2024-05-29T22:43:45Z) - Zeroth-Order Sampling Methods for Non-Log-Concave Distributions: Alleviating Metastability by Denoising Diffusion [13.832359344815043]
本稿では,非正規化密度の問合せに基づく非ログコンケーブ分布からのサンプリング問題について考察する。
最初に、モンテカルロ推定器によって近似された点数を持つ偏微分拡散過程のシミュレーションに基づいて、DDMC(Denoising Diffusion Monte Carlo)というフレームワークを記述した。
DDMCを真のアルゴリズムであるZOD-MC(Zeroth-Order Diffusion Monte Carlo)に変換する。
論文 参考訳（メタデータ） (2024-02-27T21:00:00Z) - Combining Normalizing Flows and Quasi-Monte Carlo [0.0]
近年の機械学習の進歩はモンテカルロ法を改良するための新しい手法の開発に繋がった。
数値実験により,この組み合わせにより,従来のモンテカルロを用いて流れをサンプリングした場合よりも,分散度が著しく低い推定器が得られることを示した。
論文 参考訳（メタデータ） (2024-01-11T14:17:06Z) - Online Variational Sequential Monte Carlo [49.97673761305336]
我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。
オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
論文 参考訳（メタデータ） (2023-12-19T21:45:38Z) - Accelerating Markov Chain Monte Carlo sampling with diffusion models [0.0]
本稿では,Metropolis-Hastingsアルゴリズムと拡散モデルを組み合わせることで,マルコフ・チェイン・モンテカルロ(MCMC)サンプリングを高速化する新しい手法を提案する。
画像合成の文脈における拡散モデルについて概観し、低次元データアレイに適した流線形拡散モデルを提供する。
提案手法は,後方の正確な表現を得るために必要な可能性評価の回数を大幅に削減する。
論文 参考訳（メタデータ） (2023-09-04T09:03:41Z) - Bayesian Decision Trees Inspired from Evolutionary Algorithms [64.80360020499555]
我々は、マルコフ連鎖モンテカルロ(MCMC)を本質的に並列なアルゴリズムであるシーケンシャルモンテカルロ(SMC)に置き換えることを提案する。
実験により、SMCと進化的アルゴリズム(EA)を組み合わせることで、MCMCの100倍のイテレーションでより正確な結果が得られることが示された。
論文 参考訳（メタデータ） (2023-05-30T06:17:35Z) - Low-variance estimation in the Plackett-Luce model via quasi-Monte Carlo
sampling [58.14878401145309]
PLモデルにおいて,より標本効率の高い予測値を生成するための新しい手法を開発した。
Amazon MusicのリアルなレコメンデーションデータとYahooの学習からランクへの挑戦を理論的にも実証的にも使用しています。
論文 参考訳（メタデータ） (2022-05-12T11:15:47Z) - Continual Repeated Annealed Flow Transport Monte Carlo [93.98285297760671]
我々はCRAFT(Continuous Repeated Annealed Flow Transport Monte Carlo)を提案する。
シーケンシャルなモンテカルロサンプリングと正規化フローを用いた変分推論を組み合わせる。
CRAFTは格子場の実例で驚くほど正確な結果が得られることを示す。
論文 参考訳（メタデータ） (2022-01-31T10:58:31Z) - Annealed Flow Transport Monte Carlo [91.20263039913912]
Annealed Flow Transport (AFT) built on Annealed Importance Smpling (AIS) and Sequential Monte Carlo (SMC)
AFTは、連続したターゲットに向かって粒子をプッシュするために順次学習されるNFに依存します。
AFTの人口バージョンの連続時間スケーリング限界は、Feynman--Kac測度によって与えられることを示した。
論文 参考訳（メタデータ） (2021-02-15T12:05:56Z) - Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。
本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。
本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
論文 参考訳（メタデータ） (2021-02-04T02:21:08Z) - Non-convex Learning via Replica Exchange Stochastic Gradient MCMC [25.47669573608621]
本稿では,適応的複製交換SGMCMC(reSGMCMC)を提案し,バイアスを自動的に補正し,対応する特性について検討する。
実験では,様々な設定の広範囲な実験を通じてアルゴリズムを検証し,その結果を得た。
論文 参考訳（メタデータ） (2020-08-12T15:02:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。