論文の概要: Posterior Refinement Improves Sample Efficiency in Bayesian Neural Networks

• arxiv url: http://arxiv.org/abs/2205.10041v1
• Date: Fri, 20 May 2022 09:24:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-23 14:37:56.105629
• Title: Posterior Refinement Improves Sample Efficiency in Bayesian Neural Networks
• Title（参考訳）: ベイズニューラルネットワークのサンプル効率改善のための後部リファインメント
• Authors: Agustinus Kristiadi and Runa Eschenhagen and Philipp Hennig
• Abstract要約: 実験により、MC近似予測分布の鍵は、近似後部自体の品質であることが示された。 得られた後続近似は、ゴールド標準のフルバッチハミルトニアンモンテカルロでさえ競合することを示した。
• 参考スコア（独自算出の注目度）: 27.11052209129402
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Monte Carlo (MC) integration is the de facto method for approximating the predictive distribution of Bayesian neural networks (BNNs). But, even with many MC samples, Gaussian-based BNNs could still yield bad predictive performance due to the posterior approximation's error. Meanwhile, alternatives to MC integration tend to be more expensive or biased. In this work, we experimentally show that the key to good MC-approximated predictive distributions is the quality of the approximate posterior itself. However, previous methods for obtaining accurate posterior approximations are expensive and non-trivial to implement. We, therefore, propose to refine Gaussian approximate posteriors with normalizing flows. When applied to last-layer BNNs, it yields a simple \emph{post hoc} method for improving pre-existing parametric approximations. We show that the resulting posterior approximation is competitive with even the gold-standard full-batch Hamiltonian Monte Carlo.
• Abstract（参考訳）: モンテカルロ積分 (monte carlo (mc) integration) は、ベイズニューラルネットワーク (bnns) の予測分布を近似するデファクト法である。 しかし、多くのMCサンプルであっても、ガウス系BNNは後部近似の誤差のために予測性能が悪い。 一方、MC統合の代替案はより高価か偏見が強い傾向にある。 そこで本研究では,良好なmc近似予測分布の鍵は近似後輪自体の品質であることを示す。 しかし、正確な後方近似を得る以前の方法は高価であり、実装は簡単ではない。 そこで我々は正規化フローでガウス近似後部を洗練することを提案する。 最終層BNNに適用すると、既存のパラメトリック近似を改善するための単純な \emph{post hoc} 法が得られる。 得られた後続近似は、ゴールド標準のフルバッチハミルトニアンモンテカルロでさえ競合することを示した。

関連論文リスト

• Towards Practical Preferential Bayesian Optimization with Skew Gaussian Processes [8.198195852439946]
  本稿では,信頼度が2対比較に限定される優先ベイズ最適化(BO)について検討する。 優越性BOの重要な課題は、優越性ガウス過程(GP)モデルを用いてフレキシブルな選好構造を表現することである。 本研究では,高い計算効率と低いサンプル複雑性を両立させる新しい手法を開発し,その効果を広範囲な数値実験により実証する。
  論文  参考訳（メタデータ） (2023-02-03T03:02:38Z)
• Langevin Monte Carlo for Contextual Bandits [72.00524614312002]
  Langevin Monte Carlo Thompson Sampling (LMC-TS) が提案されている。 提案アルゴリズムは,文脈的帯域幅の特別な場合において,最高のトンプソンサンプリングアルゴリズムと同じサブ線形残差を達成できることを示す。
  論文  参考訳（メタデータ） (2022-06-22T17:58:23Z)
• Dangers of Bayesian Model Averaging under Covariate Shift [45.20204749251884]
  我々は、共変量シフトの下で、ベイズ平均が実際にどのように問題となるかを示す。 また、同じ問題が多くの近似推論手順に影響を及ぼさない理由も示す。
  論文  参考訳（メタデータ） (2021-06-22T16:19:52Z)
• What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
  ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。 また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
  論文  参考訳（メタデータ） (2021-04-29T15:38:46Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Variational Laplace for Bayesian neural networks [25.055754094939527]
  Variational Laplaceは、ニューラルネットワークの重みをサンプリングすることなく、ELBOを推定する可能性の局所近似を利用する。 分散パラメータの学習率を増加させることで早期停止を回避できることを示す。
  論文  参考訳（メタデータ） (2021-02-27T14:06:29Z)
• Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
  ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。 この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。 この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
  論文  参考訳（メタデータ） (2020-08-19T12:35:55Z)
• Efficiently Sampling Functions from Gaussian Process Posteriors [76.94808614373609]
  高速後部サンプリングのための簡易かつ汎用的なアプローチを提案する。 分離されたサンプルパスがガウス過程の後部を通常のコストのごく一部で正確に表現する方法を実証する。
  論文  参考訳（メタデータ） (2020-02-21T14:03:16Z)
• Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
  ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。 また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T15:13:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。