論文の概要: Bayesian computation with generative diffusion models by Multilevel Monte Carlo

• arxiv url: http://arxiv.org/abs/2409.15511v1
• Date: Mon, 23 Sep 2024 19:57:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-26 12:57:29.180843
• Title: Bayesian computation with generative diffusion models by Multilevel Monte Carlo
• Title（参考訳）: 多レベルモンテカルロによる生成拡散モデルによるベイズ計算
• Authors: Abdul-Lateef Haji-Ali, Marcelo Pereyra, Luke Shaw, Konstantinos Zygalakis,
• Abstract要約: 本稿では,拡散モデルによるベイズ計算のコストを大幅に削減するマルチレベルモンテカルロ戦略を提案する。 提案したマルチレベルモンテカルロ法の有効性は、3つの標準計算イメージング問題で実証された。
• 参考スコア（独自算出の注目度）: 0.16874375111244327
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Generative diffusion models have recently emerged as a powerful strategy to perform stochastic sampling in Bayesian inverse problems, delivering remarkably accurate solutions for a wide range of challenging applications. However, diffusion models often require a large number of neural function evaluations per sample in order to deliver accurate posterior samples. As a result, using diffusion models as stochastic samplers for Monte Carlo integration in Bayesian computation can be highly computationally expensive. This cost is especially high in large-scale inverse problems such as computational imaging, which rely on large neural networks that are expensive to evaluate. With Bayesian imaging problems in mind, this paper presents a Multilevel Monte Carlo strategy that significantly reduces the cost of Bayesian computation with diffusion models. This is achieved by exploiting cost-accuracy trade-offs inherent to diffusion models to carefully couple models of different levels of accuracy in a manner that significantly reduces the overall cost of the calculation, without reducing the final accuracy. The effectiveness of the proposed Multilevel Monte Carlo approach is demonstrated with three canonical computational imaging problems, where we observe a $4\times$-to-$8\times$ reduction in computational cost compared to conventional Monte Carlo averaging.
• Abstract（参考訳）: 生成拡散モデルは最近、ベイズ逆問題において確率的サンプリングを行うための強力な戦略として現れ、幅広い挑戦的なアプリケーションに対して驚くほど正確な解を提供している。 しかし、拡散モデルでは、正確な後部サンプルを提供するために、サンプル毎に多数の神経機能評価を必要とすることが多い。 その結果,ベイズ計算におけるモンテカルロ積分の確率的標本化として拡散モデルを用いることは,計算コストが高くなる。 このコストは特に、評価に費用がかかる大規模なニューラルネットワークに依存する計算画像のような大規模な逆問題において高い。 本稿では,ベイジアン画像の問題を念頭に置いて,拡散モデルによるベイジアン計算のコストを大幅に削減するマルチレベルモンテカルロ戦略を提案する。 これは拡散モデル固有のコスト-精度トレードオフを利用して、最終的な精度を低下させることなく、計算全体のコストを著しく削減する方法で、異なるレベルの精度のモデルを慎重に結合する。 提案手法の有効性は,従来のモンテカルロ平均化に比べて計算コストが4-to-8-times$削減されるという3つの標準計算画像問題を用いて実証された。

関連論文リスト

• Transfer Learning on Multi-Dimensional Data: A Novel Approach to Neural Network-Based Surrogate Modeling [0.0]
  畳み込みニューラルネットワーク(CNN)はそのようなサロゲートモデルの基礎として人気を集めている。 本稿では,$d$次元問題と$d-1$次元近似の両方に対する数値解の混合によるCNN代理モデルのトレーニングを提案する。 転送学習を用いて,2種類のデータに対して,高密度な完全畳み込みエンコーダ・デコーダCNNを学習する多相フローテスト問題に対するアプローチを実証する。
  論文  参考訳（メタデータ） (2024-10-16T05:07:48Z)
• Informed Correctors for Discrete Diffusion Models [32.87362154118195]
  モデルで学習した情報を活用することにより、より確実に離散化誤差に対処できる情報修正系を提案する。 また,$k$-Gillespie'sも提案する。これは,各モデル評価をよりよく活用するサンプリングアルゴリズムで,$tau$-leapingの速度と柔軟性を引き続き享受する。 いくつかの実・合成データセットにおいて,情報付き修正器を用いた$k$-Gillespieは,より低い計算コストで高い品質のサンプルを確実に生成することを示す。
  論文  参考訳（メタデータ） (2024-07-30T23:29:29Z)
• Diffusion models for probabilistic programming [56.47577824219207]
  拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
  論文  参考訳（メタデータ） (2023-11-01T12:17:05Z)
• Q-Diffusion: Quantizing Diffusion Models [52.978047249670276]
  ポストトレーニング量子化(PTQ)は、他のタスクに対するゴーツー圧縮法であると考えられている。 本稿では,一意なマルチステップパイプラインとモデルアーキテクチャに適した新しいPTQ手法を提案する。 提案手法は,完全精度の非条件拡散モデルを同等の性能を維持しつつ4ビットに定量化できることを示す。
  論文  参考訳（メタデータ） (2023-02-08T19:38:59Z)
• Context-aware learning of hierarchies of low-fidelity models for multi-fidelity uncertainty quantification [0.0]
  多忠実モンテカルロ法は、分散還元のための低忠実度およびシュロゲートモデルを利用して、トラクタブル不確実性定量化を行う。 本研究は,低忠実度モデルのトレーニングコストとモンテカルロサンプリングコストとを最適にバランスさせる,文脈対応多忠実度モンテカルロ法を提案する。
  論文  参考訳（メタデータ） (2022-11-20T01:12:51Z)
• Low-variance estimation in the Plackett-Luce model via quasi-Monte Carlo sampling [58.14878401145309]
  PLモデルにおいて,より標本効率の高い予測値を生成するための新しい手法を開発した。 Amazon MusicのリアルなレコメンデーションデータとYahooの学習からランクへの挑戦を理論的にも実証的にも使用しています。
  論文  参考訳（メタデータ） (2022-05-12T11:15:47Z)
• Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
  粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。 粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-06T16:58:34Z)
• A fast asynchronous MCMC sampler for sparse Bayesian inference [10.535140830570256]
  本稿では,非常に高速なマルコフ・チェイン・モンテカルロ(MCMC)サンプリングフレームワークを提案する。 本研究では, 高次元線形回帰問題において, 提案アルゴリズムで生成したマルコフ連鎖は, 主信号の正確な復元を行う不変分布を持つことを示す。
  論文  参考訳（メタデータ） (2021-08-14T02:20:49Z)
• Scalable Control Variates for Monte Carlo Methods via Stochastic Optimization [62.47170258504037]
  本稿では,制御,カーネル,ニューラルネットワークを用いた既存のアプローチを包含し,一般化するフレームワークを提案する。 新たな理論的結果は、達成可能な分散還元に関する洞察を与えるために提示され、ベイズ推定への応用を含む経験的評価が支持される。
  論文  参考訳（メタデータ） (2020-06-12T22:03:25Z)
• Efficiently Sampling Functions from Gaussian Process Posteriors [76.94808614373609]
  高速後部サンプリングのための簡易かつ汎用的なアプローチを提案する。 分離されたサンプルパスがガウス過程の後部を通常のコストのごく一部で正確に表現する方法を実証する。
  論文  参考訳（メタデータ） (2020-02-21T14:03:16Z)
• Efficient Debiased Evidence Estimation by Multilevel Monte Carlo Sampling [0.0]
  ベイズ推論に基づくマルチレベルモンテカルロ法(MLMC)の最適化手法を提案する。 計算結果から,従来の推定値と比較すると,かなりの計算量の削減が確認できた。
  論文  参考訳（メタデータ） (2020-01-14T09:14:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。