論文の概要: Reverse Diffusion Monte Carlo

• arxiv url: http://arxiv.org/abs/2307.02037v3
• Date: Wed, 13 Mar 2024 08:11:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-14 18:57:15.640221
• Title: Reverse Diffusion Monte Carlo
• Title（参考訳）: 逆拡散モンテカルロ
• Authors: Xunpeng Huang, Hanze Dong, Yifan Hao, Yi-An Ma, Tong Zhang
• Abstract要約: 逆拡散モンテカルロ(rdMC)と呼ばれる新しいモンテカルロサンプリングアルゴリズムを提案する。 rdMCはマルコフ連鎖モンテカルロ(MCMC)法とは異なる。
• 参考スコア（独自算出の注目度）: 19.35592726471155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a Monte Carlo sampler from the reverse diffusion process. Unlike the practice of diffusion models, where the intermediary updates -- the score functions -- are learned with a neural network, we transform the score matching problem into a mean estimation one. By estimating the means of the regularized posterior distributions, we derive a novel Monte Carlo sampling algorithm called reverse diffusion Monte Carlo (rdMC), which is distinct from the Markov chain Monte Carlo (MCMC) methods. We determine the sample size from the error tolerance and the properties of the posterior distribution to yield an algorithm that can approximately sample the target distribution with any desired accuracy. Additionally, we demonstrate and prove under suitable conditions that sampling with rdMC can be significantly faster than that with MCMC. For multi-modal target distributions such as those in Gaussian mixture models, rdMC greatly improves over the Langevin-style MCMC sampling methods both theoretically and in practice. The proposed rdMC method offers a new perspective and solution beyond classical MCMC algorithms for the challenging complex distributions.
• Abstract（参考訳）: 逆拡散過程からモンテカルロサンプルを提案する。 中間更新 -- スコア関数 -- がニューラルネットワークで学習される拡散モデルとは異なり、スコアマッチング問題を平均推定モデルに変換する。 正規化された後続分布の手段を推定することにより、マルコフ連鎖モンテカルロ法(MCMC)とは異なる逆拡散モンテカルロ法(rdMC)と呼ばれる新しいモンテカルロサンプリングアルゴリズムを導出する。 誤差耐性と後部分布の特性からサンプルサイズを決定し,任意の精度で対象分布をおよそサンプリングできるアルゴリズムを提案する。 さらに, rdMC を用いたサンプリングが MCMC よりもはるかに高速であることを示す。 ガウス混合モデルのようなマルチモーダルターゲット分布の場合、rdMCは理論上も実際上もランゲヴィン型MCMCサンプリング法よりも大幅に改善される。 提案したrdMC法は,難解な複素分布に対する古典的MCMCアルゴリズムを超えて,新たな視点と解を提供する。

関連論文リスト

• Convergence Bounds for Sequential Monte Carlo on Multimodal Distributions using Soft Decomposition [6.872242798058046]
  逐次モンテカルロ法(SMC)アルゴリズムにより得られたサンプルの実証測度の下での関数の分散に関するバウンダリを証明した。 我々は,局所MCMC力学に依存する混合時間を用いて,真のマルチモーダル設定でバウンダリが得られることを示す。
  論文  参考訳（メタデータ） (2024-05-29T22:43:45Z)
• Zeroth-Order Sampling Methods for Non-Log-Concave Distributions: Alleviating Metastability by Denoising Diffusion [13.832359344815043]
  本稿では,非正規化密度の問合せに基づく非ログコンケーブ分布からのサンプリング問題について考察する。 最初に、モンテカルロ推定器によって近似された点数を持つ偏微分拡散過程のシミュレーションに基づいて、DDMC(Denoising Diffusion Monte Carlo)というフレームワークを記述した。 DDMCを真のアルゴリズムであるZOD-MC(Zeroth-Order Diffusion Monte Carlo)に変換する。
  論文  参考訳（メタデータ） (2024-02-27T21:00:00Z)
• Combining Normalizing Flows and Quasi-Monte Carlo [0.0]
  近年の機械学習の進歩はモンテカルロ法を改良するための新しい手法の開発に繋がった。 数値実験により,この組み合わせにより,従来のモンテカルロを用いて流れをサンプリングした場合よりも,分散度が著しく低い推定器が得られることを示した。
  論文  参考訳（メタデータ） (2024-01-11T14:17:06Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Accelerating Markov Chain Monte Carlo sampling with diffusion models [0.0]
  本稿では,Metropolis-Hastingsアルゴリズムと拡散モデルを組み合わせることで,マルコフ・チェイン・モンテカルロ(MCMC)サンプリングを高速化する新しい手法を提案する。 画像合成の文脈における拡散モデルについて概観し、低次元データアレイに適した流線形拡散モデルを提供する。 提案手法は,後方の正確な表現を得るために必要な可能性評価の回数を大幅に削減する。
  論文  参考訳（メタデータ） (2023-09-04T09:03:41Z)
• Bayesian Decision Trees Inspired from Evolutionary Algorithms [64.80360020499555]
  我々は、マルコフ連鎖モンテカルロ(MCMC)を本質的に並列なアルゴリズムであるシーケンシャルモンテカルロ(SMC)に置き換えることを提案する。 実験により、SMCと進化的アルゴリズム(EA)を組み合わせることで、MCMCの100倍のイテレーションでより正確な結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-05-30T06:17:35Z)
• Low-variance estimation in the Plackett-Luce model via quasi-Monte Carlo sampling [58.14878401145309]
  PLモデルにおいて,より標本効率の高い予測値を生成するための新しい手法を開発した。 Amazon MusicのリアルなレコメンデーションデータとYahooの学習からランクへの挑戦を理論的にも実証的にも使用しています。
  論文  参考訳（メタデータ） (2022-05-12T11:15:47Z)
• Continual Repeated Annealed Flow Transport Monte Carlo [93.98285297760671]
  我々はCRAFT(Continuous Repeated Annealed Flow Transport Monte Carlo)を提案する。 シーケンシャルなモンテカルロサンプリングと正規化フローを用いた変分推論を組み合わせる。 CRAFTは格子場の実例で驚くほど正確な結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-01-31T10:58:31Z)
• Annealed Flow Transport Monte Carlo [91.20263039913912]
  Annealed Flow Transport (AFT) built on Annealed Importance Smpling (AIS) and Sequential Monte Carlo (SMC) AFTは、連続したターゲットに向かって粒子をプッシュするために順次学習されるNFに依存します。 AFTの人口バージョンの連続時間スケーリング限界は、Feynman--Kac測度によって与えられることを示した。
  論文  参考訳（メタデータ） (2021-02-15T12:05:56Z)
• Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
  ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。 本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。 本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
  論文  参考訳（メタデータ） (2021-02-04T02:21:08Z)
• Non-convex Learning via Replica Exchange Stochastic Gradient MCMC [25.47669573608621]
  本稿では,適応的複製交換SGMCMC(reSGMCMC)を提案し,バイアスを自動的に補正し,対応する特性について検討する。 実験では,様々な設定の広範囲な実験を通じてアルゴリズムを検証し,その結果を得た。
  論文  参考訳（メタデータ） (2020-08-12T15:02:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。