論文の概要: Fast post-process Bayesian inference with Sparse Variational Bayesian Monte Carlo

• arxiv url: http://arxiv.org/abs/2303.05263v1
• Date: Thu, 9 Mar 2023 13:58:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-10 14:52:13.247972
• Title: Fast post-process Bayesian inference with Sparse Variational Bayesian Monte Carlo
• Title（参考訳）: Sparse Variational Bayesian Monte Carlo を用いた高速プロセス後ベイズ推定
• Authors: Chengkun Li, Gr\'egoire Clart\'e, Luigi Acerbi
• Abstract要約: Sparse Variational Bayesian Monte Carlo, a method for fast "post-process" Bayesian inference。 SVBMCは既存の目標密度評価を再利用する。 SVBMC精製法を支持する理論的結果が得られた。
• 参考スコア（独自算出の注目度）: 10.957528713294874
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce Sparse Variational Bayesian Monte Carlo (SVBMC), a method for fast "post-process" Bayesian inference for models with black-box and potentially noisy likelihoods. SVBMC reuses all existing target density evaluations -- for example, from previous optimizations or partial Markov Chain Monte Carlo runs -- to build a sparse Gaussian process (GP) surrogate model of the log posterior density. Uncertain regions of the surrogate are then refined via active learning as needed. Our work builds on the Variational Bayesian Monte Carlo (VBMC) framework for sample-efficient inference, with several novel contributions. First, we make VBMC scalable to a large number of pre-existing evaluations via sparse GP regression, deriving novel Bayesian quadrature formulae and acquisition functions for active learning with sparse GPs. Second, we introduce noise shaping, a general technique to induce the sparse GP approximation to focus on high posterior density regions. Third, we prove theoretical results in support of the SVBMC refinement procedure. We validate our method on a variety of challenging synthetic scenarios and real-world applications. We find that SVBMC consistently builds good posterior approximations by post-processing of existing model evaluations from different sources, often requiring only a small number of additional density evaluations.
• Abstract（参考訳）: Sparse Variational Bayesian Monte Carlo (SVBMC) は、ブラックボックスと潜在的ノイズの可能性のあるモデルに対する高速な「後処理」ベイズ推定法である。 SVBMCは、例えば以前の最適化やマルコフ・チェイン・モンテカルロの一部から、既存の目標密度評価を再利用して、ログ後続密度のスパースガウス過程(GP)シュロゲートモデルを構築する。 サロゲートの未知の領域は必要に応じてアクティブラーニングによって洗練される。 我々の研究はサンプル効率のよい推論のための変分ベイズ型モンテカルロ(vbmc)フレームワークに基づいている。 第一に、VBMCをスパースGP回帰による多数の既存評価にスケーラブルにし、新規なベイズ二次式と、スパースGPを用いたアクティブラーニングのための獲得関数を導出する。 第2に、ノイズシェーピング(ノイズシェーピング)を導入し、低周波GP近似を誘導し、高後方密度領域にフォーカスする。 第3に,SVBMC改良法を支持する理論的結果を示す。 本手法は,様々な難解なシナリオと実世界のアプリケーションで検証する。 SVBMCは、異なるソースから既存のモデル評価を後処理することで、常に良好な後部近似を構築しており、しばしば少数の追加密度評価しか必要としない。

関連論文リスト

• Flexible Bayesian Last Layer Models Using Implicit Priors and Diffusion Posterior Sampling [7.084307990641011]
  ベイズ最後の層重みの変分学習に拡散法と暗黙の先行法を組み合わせた新しい手法を提案する。 そこで本手法は,BLLモデルの表現能力を高めることを目的とする。
  論文  参考訳（メタデータ） (2024-08-07T12:59:58Z)
• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• Bayesian Pseudo-Coresets via Contrastive Divergence [5.479797073162603]
  対照的な発散を利用して擬似コアセットを構築するための新しい手法を提案する。 これは擬似コアセット構築プロセスにおける近似の必要性を排除する。 複数のデータセットに対して広範な実験を行い、既存のBPC技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T17:13:50Z)
• Posterior Coreset Construction with Kernelized Stein Discrepancy for Model-Based Reinforcement Learning [78.30395044401321]
  我々は、強化学習(MBRL)のための新しいモデルベースアプローチを開発する。 ターゲット遷移モデルの仮定を緩和し、混合モデルの一般的な族に属する。 連続的な制御環境では、壁時計の時間を最大50%削減することができる。
  論文  参考訳（メタデータ） (2022-06-02T17:27:49Z)
• Surrogate modeling for Bayesian optimization beyond a single Gaussian process [62.294228304646516]
  本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
  論文  参考訳（メタデータ） (2022-05-27T16:43:10Z)
• Quasi Black-Box Variational Inference with Natural Gradients for Bayesian Learning [84.90242084523565]
  複素モデルにおけるベイズ学習に適した最適化アルゴリズムを開発した。 我々のアプローチは、モデル固有導出に制限のある効率的なトレーニングのための一般的なブラックボックスフレームワーク内の自然な勾配更新に依存している。
  論文  参考訳（メタデータ） (2022-05-23T18:54:27Z)
• Approximate Bayesian inference from noisy likelihoods with Gaussian process emulated MCMC [0.24275655667345403]
  ガウス過程(GP)を用いた対数様関数をモデル化する。 主な方法論的革新は、正確なメトロポリス・ハスティングス(MH)サンプリングが行う進歩をエミュレートするためにこのモデルを適用することである。 得られた近似サンプリング器は概念的には単純で、試料効率が高い。
  論文  参考訳（メタデータ） (2021-04-08T17:38:02Z)
• Reducing the Amortization Gap in Variational Autoencoders: A Bayesian Random Function Approach [38.45568741734893]
  GPモデルの推論は、セミアモタイズ法よりもはるかに高速な1つのフィードフォワードパスによって行われる。 提案手法は,複数のベンチマークデータセットの最先端データよりも高い確率でテストデータが得られることを示す。
  論文  参考訳（メタデータ） (2021-02-05T13:01:12Z)
• Likelihood-Free Inference with Deep Gaussian Processes [70.74203794847344]
  サーロゲートモデルは、シミュレータ評価の回数を減らすために、可能性のない推論に成功している。 本稿では,より不規則な対象分布を扱えるディープガウス過程(DGP)サロゲートモデルを提案する。 本実験は,DGPがマルチモーダル分布を持つ目的関数上でGPよりも優れ,単調な場合と同等の性能を維持できることを示す。
  論文  参考訳（メタデータ） (2020-06-18T14:24:05Z)
• Sparse Gaussian Processes Revisited: Bayesian Approaches to Inducing-Variable Approximations [27.43948386608]
  変数の誘導に基づく変分推論手法はガウス過程(GP)モデルにおけるスケーラブルな推定のためのエレガントなフレームワークを提供する。 この研究において、変分フレームワークにおけるインプットの最大化は最適な性能をもたらすという共通の知恵に挑戦する。
  論文  参考訳（メタデータ） (2020-03-06T08:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。