論文の概要: Fast post-process Bayesian inference with Sparse Variational Bayesian
Monte Carlo
- arxiv url: http://arxiv.org/abs/2303.05263v1
- Date: Thu, 9 Mar 2023 13:58:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-10 14:52:13.247972
- Title: Fast post-process Bayesian inference with Sparse Variational Bayesian
Monte Carlo
- Title(参考訳): Sparse Variational Bayesian Monte Carlo を用いた高速プロセス後ベイズ推定
- Authors: Chengkun Li, Gr\'egoire Clart\'e, Luigi Acerbi
- Abstract要約: Sparse Variational Bayesian Monte Carlo, a method for fast "post-process" Bayesian inference。
SVBMCは既存の目標密度評価を再利用する。
SVBMC精製法を支持する理論的結果が得られた。
- 参考スコア(独自算出の注目度): 10.957528713294874
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce Sparse Variational Bayesian Monte Carlo (SVBMC), a method for
fast "post-process" Bayesian inference for models with black-box and
potentially noisy likelihoods. SVBMC reuses all existing target density
evaluations -- for example, from previous optimizations or partial Markov Chain
Monte Carlo runs -- to build a sparse Gaussian process (GP) surrogate model of
the log posterior density. Uncertain regions of the surrogate are then refined
via active learning as needed. Our work builds on the Variational Bayesian
Monte Carlo (VBMC) framework for sample-efficient inference, with several novel
contributions. First, we make VBMC scalable to a large number of pre-existing
evaluations via sparse GP regression, deriving novel Bayesian quadrature
formulae and acquisition functions for active learning with sparse GPs. Second,
we introduce noise shaping, a general technique to induce the sparse GP
approximation to focus on high posterior density regions. Third, we prove
theoretical results in support of the SVBMC refinement procedure. We validate
our method on a variety of challenging synthetic scenarios and real-world
applications. We find that SVBMC consistently builds good posterior
approximations by post-processing of existing model evaluations from different
sources, often requiring only a small number of additional density evaluations.
- Abstract(参考訳): Sparse Variational Bayesian Monte Carlo (SVBMC) は、ブラックボックスと潜在的ノイズの可能性のあるモデルに対する高速な「後処理」ベイズ推定法である。
SVBMCは、例えば以前の最適化やマルコフ・チェイン・モンテカルロの一部から、既存の目標密度評価を再利用して、ログ後続密度のスパースガウス過程(GP)シュロゲートモデルを構築する。
サロゲートの未知の領域は必要に応じてアクティブラーニングによって洗練される。
我々の研究はサンプル効率のよい推論のための変分ベイズ型モンテカルロ(vbmc)フレームワークに基づいている。
第一に、VBMCをスパースGP回帰による多数の既存評価にスケーラブルにし、新規なベイズ二次式と、スパースGPを用いたアクティブラーニングのための獲得関数を導出する。
第2に、ノイズシェーピング(ノイズシェーピング)を導入し、低周波GP近似を誘導し、高後方密度領域にフォーカスする。
第3に,SVBMC改良法を支持する理論的結果を示す。
本手法は,様々な難解なシナリオと実世界のアプリケーションで検証する。
SVBMCは、異なるソースから既存のモデル評価を後処理することで、常に良好な後部近似を構築しており、しばしば少数の追加密度評価しか必要としない。
関連論文リスト
- Accelerating Look-ahead in Bayesian Optimization: Multilevel Monte Carlo
is All you Need [5.283807323380133]
マルチレベルモンテカルロ(MLMC)を利用して、マルチステップルックアヘッド最適化法を改善する。
理論的研究は、1段階と2段階のルックアヘッド獲得関数の改善に焦点を当てている。
このアプローチはBOの文脈を超えて、様々な方法で一般化可能である。
論文 参考訳(メタデータ) (2024-02-03T10:24:30Z) - Provable and Practical: Efficient Exploration in Reinforcement Learning
via Langevin Monte Carlo [98.11820566044216]
我々は、強化学習のためのトンプソンサンプリングに基づくスケーラブルで効果的な探索戦略を提案する。
代わりに、Langevin Monte Carlo を用いて、Q 関数をその後部分布から直接サンプリングする。
提案手法は,Atari57スイートからのいくつかの挑戦的な探索課題において,最先端の深部RLアルゴリズムと比較して,より優れた,あるいは類似した結果が得られる。
論文 参考訳(メタデータ) (2023-05-29T17:11:28Z) - Posterior Coreset Construction with Kernelized Stein Discrepancy for
Model-Based Reinforcement Learning [78.30395044401321]
我々は、強化学習(MBRL)のための新しいモデルベースアプローチを開発する。
ターゲット遷移モデルの仮定を緩和し、混合モデルの一般的な族に属する。
連続的な制御環境では、壁時計の時間を最大50%削減することができる。
論文 参考訳(メタデータ) (2022-06-02T17:27:49Z) - Quasi Black-Box Variational Inference with Natural Gradients for
Bayesian Learning [84.90242084523565]
複素モデルにおけるベイズ学習に適した最適化アルゴリズムを開発した。
我々のアプローチは、モデル固有導出に制限のある効率的なトレーニングのための一般的なブラックボックスフレームワーク内の自然な勾配更新に依存している。
論文 参考訳(メタデータ) (2022-05-23T18:54:27Z) - Cyclical Variational Bayes Monte Carlo for Efficient Multi-Modal
Posterior Distributions Evaluation [0.0]
変分推論は、後方近似を推定するためのサンプリング方法の代替手法である。
変分ベイジアンモンテカルロ法 (VBMC) は, 統計モデル更新問題に対処する目的で検討されている。
論文 参考訳(メタデータ) (2022-02-23T17:31:42Z) - Diversified Sampling for Batched Bayesian Optimization with
Determinantal Point Processes [48.09817971375995]
DPP-Batch Bayesian Optimization (DPP-BBO)を導入する。
DPP-Thompson Smpling (DPP-TS) を一般的なトンプソンサンプリング (TS) アルゴリズムの変種として定式化し、マルコフ・チェインモンテカルロ法をサンプルとして導入することによって、この枠組みを説明する。
論文 参考訳(メタデータ) (2021-10-22T08:51:28Z) - What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。
また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
論文 参考訳(メタデータ) (2021-04-29T15:38:46Z) - Approximate Bayesian inference from noisy likelihoods with Gaussian
process emulated MCMC [0.24275655667345403]
ガウス過程(GP)を用いた対数様関数をモデル化する。
主な方法論的革新は、正確なメトロポリス・ハスティングス(MH)サンプリングが行う進歩をエミュレートするためにこのモデルを適用することである。
得られた近似サンプリング器は概念的には単純で、試料効率が高い。
論文 参考訳(メタデータ) (2021-04-08T17:38:02Z) - Variational Bayesian Monte Carlo with Noisy Likelihoods [11.4219428942199]
我々は、期待情報ゲイン(EIG)や変動間距離(VIQR)など、新たなグローバルな'取得機能を導入する。
VBMC+VIQRは、接地トラス後部とモデル証拠の回収における最先端の性能を達成する。
論文 参考訳(メタデータ) (2020-06-15T18:06:18Z) - Efficiently Sampling Functions from Gaussian Process Posteriors [76.94808614373609]
高速後部サンプリングのための簡易かつ汎用的なアプローチを提案する。
分離されたサンプルパスがガウス過程の後部を通常のコストのごく一部で正確に表現する方法を実証する。
論文 参考訳(メタデータ) (2020-02-21T14:03:16Z) - Bayesian optimization for backpropagation in Monte-Carlo tree search [1.52292571922932]
バックプロパゲーション戦略を改善するための従来の試みを一般化した,Softmax MCTS と Monotone MCTS の2つの手法を提案する。
提案手法が従来の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2020-01-25T14:33:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。