論文の概要: Regularized KL-Divergence for Well-Defined Function-Space Variational Inference in Bayesian neural networks
- arxiv url: http://arxiv.org/abs/2406.04317v2
- Date: Fri, 19 Jul 2024 15:19:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-22 23:08:01.242837
- Title: Regularized KL-Divergence for Well-Defined Function-Space Variational Inference in Bayesian neural networks
- Title（参考訳）: ベイズニューラルネットワークにおける高精細関数空間変動推論のための正規化KL-Divergence
- Authors: Tristan Cinquin, Robert Bamler,
- Abstract要約: 後続の不確実性推定は事前の選択に依存しており、重み空間における情報的事前の発見は困難であることが証明されている。
これは、重みではなく、BNNが生成する関数に直接先行する変動推論(VI)手法を動機付けている。
提案手法は, 合成および小型実世界のデータセットに先立って, GPによって規定される特性を組み込んだものである。
- 参考スコア（独自算出の注目度）: 9.023847175654604
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bayesian neural networks (BNN) promise to combine the predictive performance of neural networks with principled uncertainty modeling important for safety-critical systems and decision making. However, posterior uncertainty estimates depend on the choice of prior, and finding informative priors in weight-space has proven difficult. This has motivated variational inference (VI) methods that pose priors directly on the function generated by the BNN rather than on weights. In this paper, we address a fundamental issue with such function-space VI approaches pointed out by Burt et al. (2020), who showed that the objective function (ELBO) is negative infinite for most priors of interest. Our solution builds on generalized VI (Knoblauch et al., 2019) with the regularized KL divergence (Quang, 2019) and is, to the best of our knowledge, the first well-defined variational objective for function-space inference in BNNs with Gaussian process (GP) priors. Experiments show that our method incorporates the properties specified by the GP prior on synthetic and small real-world data sets, and provides competitive uncertainty estimates for regression, classification and out-of-distribution detection compared to BNN baselines with both function and weight-space priors.
- Abstract（参考訳）: ベイズニューラルネットワーク(BNN)は、ニューラルネットワークの予測性能と、安全クリティカルなシステムや意思決定に重要な原則化された不確実性モデリングを組み合わせることを約束している。
しかし、後続の不確実性推定は事前の選択に依存しており、重み空間における情報的事前の発見は困難であることが証明されている。
これは、重みではなく、BNNが生成する関数に直接先行する変動推論(VI)手法を動機付けている。
本稿では,Burt et al (2020) が指摘したような関数空間 VI アプローチの基本的な問題に対処し,目的関数 (ELBO) がほとんどの利害関係において負の無限であることを示した。
我々の解は、一般化された VI (Knoblauch et al , 2019) と正規化された KL 分岐 (Quang, 2019) に基づいて構築されており、我々の知る限り、ガウス過程 (GP) の先行した BNN における関数空間推論のための、初めて明確に定義された変分目的である。
実験により,提案手法は, 合成および小型実世界のデータセットに先立ってGPが規定する特性を組み込んでおり, 関数および重み空間前のBNNベースラインと比較して, 回帰, 分類, 分布外検出の競合不確実性を推定する。
関連論文リスト
- Bayesian Neural Networks with Domain Knowledge Priors [52.80929437592308]
ドメイン知識の一般的な形式をBNNに組み込むためのフレームワークを提案する。
提案したドメイン知識を用いたBNNは,標準知識のBNNよりも優れていることを示す。
論文 参考訳（メタデータ） (2024-02-20T22:34:53Z) - Tractable Function-Space Variational Inference in Bayesian Neural
Networks [72.97620734290139]
ニューラルネットワークの予測不確かさを推定するための一般的なアプローチは、ネットワークパラメータに対する事前分布を定義することである。
本稿では,事前情報を組み込むスケーラブルな関数空間変動推論手法を提案する。
提案手法は,様々な予測タスクにおいて,最先端の不確実性評価と予測性能をもたらすことを示す。
論文 参考訳（メタデータ） (2023-12-28T18:33:26Z) - Calibrating Neural Simulation-Based Inference with Differentiable
Coverage Probability [50.44439018155837]
ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。
古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。
既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
論文 参考訳（メタデータ） (2023-10-20T10:20:45Z) - Sparsifying Bayesian neural networks with latent binary variables and
normalizing flows [10.865434331546126]
潜伏二元系ベイズニューラルネットワーク(LBBNN)の2つの拡張について検討する。
まず、隠れたユニットを直接サンプリングするためにLRT(Local Reparametrization trick)を用いることで、より計算効率の良いアルゴリズムが得られる。
さらに, LBBNNパラメータの変動後分布の正規化フローを用いて, 平均体ガウス分布よりも柔軟な変動後分布を学習する。
論文 参考訳（メタデータ） (2023-05-05T09:40:28Z) - Hybrid Bayesian Neural Networks with Functional Probabilistic Layers [0.6091702876917281]
機能不確実性を符号化する機能的確率層を持つハイブリッドベイズニューラルネットワークを提案する。
GPflusはガウス的プロセス層を提供する新しいライブラリである。
論文 参考訳（メタデータ） (2021-07-14T21:25:53Z) - BNNpriors: A library for Bayesian neural network inference with
different prior distributions [32.944046414823916]
bnnpriorsはベイズニューラルネットワーク上で最先端のマルコフ連鎖モンテカルロ推論を可能にする。
これは、新しいカスタムプリエントの設計と実装を容易にするモジュラーアプローチに従っている。
ベイズ系ニューラルネットワークにおける冷後効果の性質に関する基礎的発見を容易にした。
論文 参考訳（メタデータ） (2021-05-14T17:11:04Z) - Exploring the Uncertainty Properties of Neural Networks' Implicit Priors
in the Infinite-Width Limit [47.324627920761685]
我々は、無限大のNNのアンサンブルに先立って関数空間をガウス過程として特徴づける最近の理論的進歩を用いる。
これにより、関数空間上の暗黙の前のNNについて、よりよく理解できます。
また,従来のNNGPを用いた分類手法の校正について検討した。
論文 参考訳（メタデータ） (2020-10-14T18:41:54Z) - Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。
この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。
この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
論文 参考訳（メタデータ） (2020-08-19T12:35:55Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳（メタデータ） (2020-04-20T18:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。