論文の概要: Zeroth-Order Sampling Methods for Non-Log-Concave Distributions:
Alleviating Metastability by Denoising Diffusion
- arxiv url: http://arxiv.org/abs/2402.17886v1
- Date: Tue, 27 Feb 2024 21:00:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 17:16:33.709943
- Title: Zeroth-Order Sampling Methods for Non-Log-Concave Distributions:
Alleviating Metastability by Denoising Diffusion
- Title（参考訳）: 非対数凹分布のゼロ次サンプリング法:拡散による転移性軽減
- Authors: Ye He, Kevin Rojas, Molei Tao
- Abstract要約: 本稿では,非正規化密度の問合せに基づく非ログコンケーブ分布からのサンプリング問題について考察する。
最初に、ディフュージョン・モンテカルロ(DMC)というフレームワークについて記述し、モンテカルロ推定器で近似されたスコア関数を持つ偏微分拡散過程のシミュレーションに基づく。
我々は、サンプリング拒絶に基づくこのオラクルの実装を提供し、これによりDMCをZODMC(ZerothOrder Diffusion Monte Carlo)と呼ばれる真のアルゴリズムに変換する。
- 参考スコア（独自算出の注目度）: 15.546185695472982
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This paper considers the problem of sampling from non-logconcave
distribution, based on queries of its unnormalized density. It first describes
a framework, Diffusion Monte Carlo (DMC), based on the simulation of a
denoising diffusion process with its score function approximated by a generic
Monte Carlo estimator. DMC is an oracle-based meta-algorithm, where its oracle
is the assumed access to samples that generate a Monte Carlo score estimator.
Then we provide an implementation of this oracle, based on rejection sampling,
and this turns DMC into a true algorithm, termed Zeroth-Order Diffusion Monte
Carlo (ZOD-MC). We provide convergence analyses by first constructing a general
framework, i.e. a performance guarantee for DMC, without assuming the target
distribution to be log-concave or satisfying any isoperimetric inequality. Then
we prove that ZOD-MC admits an inverse polynomial dependence on the desired
sampling accuracy, albeit still suffering from the curse of dimensionality.
Consequently, for low dimensional distributions, ZOD-MC is a very efficient
sampler, with performance exceeding latest samplers, including
also-denoising-diffusion-based RDMC and RS-DMC. Last, we experimentally
demonstrate the insensitivity of ZOD-MC to increasingly higher barriers between
modes or discontinuity in non-convex potential.
- Abstract（参考訳）: 本稿では,非正規化密度の問合せに基づいて,非logconcave分布からのサンプリング問題を考察する。
最初に、一般化モンテカルロ推定器によって近似されたスコア関数を持つ消音拡散過程のシミュレーションに基づいて、拡散モンテカルロ(dmc)という枠組みを記述する。
dmcはoracleベースのメタアルゴリズムであり、oracleはモンテカルロスコア推定器を生成するサンプルへのアクセスを想定している。
次に、このオラクルの実装を拒絶サンプリングに基づいて提供し、DMCをZOD-MC(Zeroth-Order Diffusion Monte Carlo)と呼ばれる真のアルゴリズムに変換する。
対象分布が対数凸である、あるいは任意の等長不等式を満たすと仮定することなく、まず汎用フレームワーク、すなわちdmcの性能保証を構築することにより収束解析を行う。
そして、ZOD-MCが所望のサンプリング精度に逆多項式依存があることを証明した。
その結果、低次元分布では、ZOD-MCは非常に効率的なサンプリング装置であり、RDMCやRS-DMCを含む最新のサンプリング器よりも性能が高い。
最後に,ZOD-MCの非凸電位におけるモード間や不連続性に対する感受性を実験的に実証した。
関連論文リスト
- Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。
その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。
この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
論文 参考訳（メタデータ） (2024-10-17T16:42:12Z) - Think Twice Before You Act: Improving Inverse Problem Solving With MCMC [40.5682961122897]
事前学習した拡散モデルを用いて逆問題を解決するためにtextbfDiffusion textbfPosterior textbfDPMC(textbfDPMC)を提案する。
提案アルゴリズムは,ほぼすべてのタスクにおいてDPSよりも性能が優れており,既存手法と競合する。
論文 参考訳（メタデータ） (2024-09-13T06:10:54Z) - Diffusion Generative Modelling for Divide-and-Conquer MCMC [0.0]
Divide-and-conquer MCMCはマルコフ連鎖モンテカルロサンプリングの並列化戦略である。
本稿では,拡散生成モデルを用いて後続分布に密度近似を適合させる手法を提案する。
論文 参考訳（メタデータ） (2024-06-17T15:48:46Z) - Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [109.23137009609519]
反復Denoising Energy Matching (iDEM)
iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。
提案手法は,全測定値の最先端性能を達成し,2～5倍の速さでトレーニングを行う。
論文 参考訳（メタデータ） (2024-02-09T01:11:23Z) - Faster Sampling without Isoperimetry via Diffusion-based Monte Carlo [30.4930148381328]
拡散に基づくモンテカルロ (DMC) は、等尺条件を超えた一般目標分布から試料を採取する手法である。
DMCは、高い勾配の複雑さに遭遇し、その結果、得られたサンプルのエラー耐性$epsilon$に指数関数的に依存する。
本稿では,新しい再帰に基づくスコア推定法に基づくRS-DMCを提案する。
私たちのアルゴリズムは、人気のあるLangevinベースのアルゴリズムよりもはるかに高速です。
論文 参考訳（メタデータ） (2024-01-12T02:33:57Z) - Langevin Quasi-Monte Carlo [6.146093081175471]
ランゲヴィン・モンテカルロ(LMC)とその勾配バージョンは複雑な高次元分布からサンプリングする強力なアルゴリズムである。
準ランダムサンプルを用いてLCCの推定誤差を低減できることを示す。
論文 参考訳（メタデータ） (2023-09-22T07:15:18Z) - Reverse Diffusion Monte Carlo [19.35592726471155]
逆拡散モンテカルロ(rdMC)と呼ばれる新しいモンテカルロサンプリングアルゴリズムを提案する。
rdMCはマルコフ連鎖モンテカルロ(MCMC)法とは異なる。
論文 参考訳（メタデータ） (2023-07-05T05:42:03Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳（メタデータ） (2023-06-27T08:15:28Z) - Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。
暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。
提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
論文 参考訳（メタデータ） (2023-06-21T18:49:22Z) - Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。
本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。
本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
論文 参考訳（メタデータ） (2021-02-04T02:21:08Z) - Generative Modeling with Denoising Auto-Encoders and Langevin Sampling [88.83704353627554]
DAEとDSMの両方がスムーズな人口密度のスコアを推定することを示した。
次に、この結果をarXiv:1907.05600のホモトピー法に適用し、その経験的成功を理論的に正当化する。
論文 参考訳（メタデータ） (2020-01-31T23:50:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。