論文の概要: Improving predictions of Bayesian neural nets via local linearization
- arxiv url: http://arxiv.org/abs/2008.08400v3
- Date: Thu, 25 Feb 2021 17:59:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-27 08:51:06.695229
- Title: Improving predictions of Bayesian neural nets via local linearization
- Title（参考訳）: 局所線形化によるベイズニューラルネットの予測の改善
- Authors: Alexander Immer, Maciej Korzepa, Matthias Bauer
- Abstract要約: ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。
この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。
この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
- 参考スコア（独自算出の注目度）: 79.21517734364093
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The generalized Gauss-Newton (GGN) approximation is often used to make
practical Bayesian deep learning approaches scalable by replacing a second
order derivative with a product of first order derivatives. In this paper we
argue that the GGN approximation should be understood as a local linearization
of the underlying Bayesian neural network (BNN), which turns the BNN into a
generalized linear model (GLM). Because we use this linearized model for
posterior inference, we should also predict using this modified model instead
of the original one. We refer to this modified predictive as "GLM predictive"
and show that it effectively resolves common underfitting problems of the
Laplace approximation. It extends previous results in this vein to general
likelihoods and has an equivalent Gaussian process formulation, which enables
alternative inference schemes for BNNs in function space. We demonstrate the
effectiveness of our approach on several standard classification datasets as
well as on out-of-distribution detection. We provide an implementation at
https://github.com/AlexImmer/BNN-predictions.
- Abstract（参考訳）: 一般化されたガウスニュートン(GGN)近似は、二階微分を一階微分の積に置き換えることで実用的なベイズ深層学習アプローチをスケーラブルにするためにしばしば用いられる。
本稿では、GGN近似を基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解すべきであり、BNNを一般化線形モデル(GLM)に変換する。
後方推定にこの線形化モデルを使うので、元のモデルの代わりにこの修正モデルを使うことも予測すべきである。
この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
この脈絡の以前の結果を一般の確率に拡張し、関数空間におけるbnnの代替推論スキームを可能にする等価なガウス過程の定式化を持つ。
本手法は,複数の標準分類データセットおよび分布外検出において有効であることを示す。
https://github.com/AlexImmer/BNN-predictionsで実装を提供しています。
関連論文リスト
- Sparsifying Bayesian neural networks with latent binary variables and
normalizing flows [10.865434331546126]
潜伏二元系ベイズニューラルネットワーク(LBBNN)の2つの拡張について検討する。
まず、隠れたユニットを直接サンプリングするためにLRT(Local Reparametrization trick)を用いることで、より計算効率の良いアルゴリズムが得られる。
さらに, LBBNNパラメータの変動後分布の正規化フローを用いて, 平均体ガウス分布よりも柔軟な変動後分布を学習する。
論文 参考訳（メタデータ） (2023-05-05T09:40:28Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳（メタデータ） (2023-04-17T14:23:43Z) - Variational Linearized Laplace Approximation for Bayesian Deep Learning [11.22428369342346]
変分スパースガウス過程(GP)を用いた線形ラプラス近似(LLA)の近似法を提案する。
本手法はGPの2つのRKHSの定式化に基づいており、予測平均として元のDNNの出力を保持する。
効率のよい最適化が可能で、結果としてトレーニングデータセットのサイズのサブ線形トレーニング時間が短縮される。
論文 参考訳（メタデータ） (2023-02-24T10:32:30Z) - Improved uncertainty quantification for neural networks with Bayesian
last layer [0.0]
不確実性定量化は機械学習において重要な課題である。
本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
論文 参考訳（メタデータ） (2023-02-21T20:23:56Z) - Variational Laplace for Bayesian neural networks [25.055754094939527]
Variational Laplaceは、ニューラルネットワークの重みをサンプリングすることなく、ELBOを推定する可能性の局所近似を利用する。
分散パラメータの学習率を増加させることで早期停止を回避できることを示す。
論文 参考訳（メタデータ） (2021-02-27T14:06:29Z) - Exploring the Uncertainty Properties of Neural Networks' Implicit Priors
in the Infinite-Width Limit [47.324627920761685]
我々は、無限大のNNのアンサンブルに先立って関数空間をガウス過程として特徴づける最近の理論的進歩を用いる。
これにより、関数空間上の暗黙の前のNNについて、よりよく理解できます。
また,従来のNNGPを用いた分類手法の校正について検討した。
論文 参考訳（メタデータ） (2020-10-14T18:41:54Z) - Interpreting Graph Neural Networks for NLP With Differentiable Edge
Masking [63.49779304362376]
グラフニューラルネットワーク(GNN)は、構造的帰納バイアスをNLPモデルに統合する一般的なアプローチとなっている。
本稿では,不要なエッジを識別するGNNの予測を解釈するポストホック手法を提案する。
モデルの性能を劣化させることなく,多数のエッジを落とせることを示す。
論文 参考訳（メタデータ） (2020-10-01T17:51:19Z) - Disentangling the Gauss-Newton Method and Approximate Inference for
Neural Networks [96.87076679064499]
我々は一般化されたガウスニュートンを解き、ベイズ深層学習の近似推論を行う。
ガウス・ニュートン法は基礎となる確率モデルを大幅に単純化する。
ガウス過程への接続は、新しい関数空間推論アルゴリズムを可能にする。
論文 参考訳（メタデータ） (2020-07-21T17:42:58Z) - Fast Learning of Graph Neural Networks with Guaranteed Generalizability:
One-hidden-layer Case [93.37576644429578]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。
回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
論文 参考訳（メタデータ） (2020-06-25T00:45:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。