論文の概要: Improved uncertainty quantification for neural networks with Bayesian
last layer
- arxiv url: http://arxiv.org/abs/2302.10975v1
- Date: Tue, 21 Feb 2023 20:23:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-23 17:11:03.797371
- Title: Improved uncertainty quantification for neural networks with Bayesian
last layer
- Title（参考訳）: ベイズラスト層を用いたニューラルネットワークの不確実性定量化
- Authors: Felix Fiedler and Sergio Lucia
- Abstract要約: 本報告では,BLLログマージの可能性について再検討する。
本稿では,提案アルゴリズムを用いて訓練したBLLを用いたNNが,NN機能付き標準BLRより優れていることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Uncertainty quantification is an essential task in machine learning - a task
in which neural networks (NNs) have traditionally not excelled. Bayesian neural
networks (BNNs), in which parameters and predictions are probability
distributions, can be a remedy for some applications, but often require
expensive sampling for training and inference. NNs with Bayesian last layer
(BLL) are simplified BNNs where only the weights in the last layer and the
predictions follow a normal distribution. They are conceptually related to
Bayesian linear regression (BLR) which has recently gained popularity in
learning based-control under uncertainty. Both consider a non-linear feature
space which is linearly mapped to the output, and hyperparameters, for example
the noise variance, For NNs with BLL, these hyperparameters should include the
deterministic weights of all other layers, as these impact the feature space
and thus the predictive performance. Unfortunately, the marginal likelihood is
expensive to evaluate in this setting and prohibits direct training through
back-propagation. In this work, we present a reformulation of the BLL
log-marginal likelihood, which considers weights in previous layers as
hyperparameters and allows for efficient training through back-propagation.
Furthermore, we derive a simple method to improve the extrapolation uncertainty
of NNs with BLL. In a multivariate toy example and in the case of a dynamic
system identification task, we show that NNs with BLL, trained with our
proposed algorithm, outperform standard BLR with NN features.
- Abstract（参考訳）: 不確かさの定量化は機械学習において必須のタスクであり、ニューラルネットワーク(NN)が伝統的に優れていないタスクである。
パラメータと予測が確率分布であるベイズニューラルネットワーク(BNN)は、一部のアプリケーションでは有効であるが、トレーニングと推論のために高価なサンプリングを必要とすることが多い。
ベイズ最後の層(BLL)を持つNNは単純化されたBNNであり、最後の層における重みと予測は正規分布に従う。
概念的にはベイズ線形回帰(BLR)と関係があり、近年不確実性の下での学習ベースコントロールで人気を博している。
どちらも出力に線形にマッピングされた非線形特徴空間を考えると、例えばノイズ分散のようなハイパーパラメータは、bll を持つ nns に対して、これらのハイパーパラメータは、特徴空間と予測性能に影響を及ぼすため、他の全ての層の決定論的重みを含むべきである。
残念なことに、この設定で評価する余地は高く、バックプロパゲーションによる直接訓練を禁止している。
本稿では,従来の重みをハイパーパラメータとして考慮し,バックプロパゲーションによる効率的なトレーニングを可能にするBLL対数可能性の再構成を提案する。
さらに,BLLを用いたNNの補間不確実性を簡易に改善する手法を提案する。
多変量玩具の例では、動的システム識別タスクの場合、提案アルゴリズムで訓練されたBLL付きNNが、NN機能付き標準BLRより優れていることを示す。
関連論文リスト
- Fixed-Mean Gaussian Processes for Post-hoc Bayesian Deep Learning [11.22428369342346]
普遍カーネルを用いた場合、後続平均を任意の連続関数に固定する、スパース変分ガウス過程(GP)の新たなファミリを導入する。
具体的には、このGPの平均値を事前学習したDNNの出力に固定し、GPの予測分散を効果的に適合させて予測の不確かさを推定する。
実験の結果,FMGPは最先端手法と比較して不確実性評価と計算効率を両立させることがわかった。
論文 参考訳（メタデータ） (2024-12-05T14:17:16Z) - Model-Free Local Recalibration of Neural Networks [0.0]
可算確率予測は、多くの重要な意思決定タスクに限られている。
入力の次元再現表現を用いたANN予測分布の局所的再分類を提案する。
提案手法は,代替手法と比較して優れた性能を示す。
論文 参考訳（メタデータ） (2024-03-09T01:58:45Z) - Collapsed Inference for Bayesian Deep Learning [36.1725075097107]
本稿では,崩壊サンプルを用いたベイズモデル平均化を行う新しい崩壊予測手法を提案する。
崩壊したサンプルは、近似後部から引き出された数え切れないほど多くのモデルを表す。
提案手法は, スケーラビリティと精度のバランスをとる。
論文 参考訳（メタデータ） (2023-06-16T08:34:42Z) - Sparsifying Bayesian neural networks with latent binary variables and
normalizing flows [10.865434331546126]
潜伏二元系ベイズニューラルネットワーク(LBBNN)の2つの拡張について検討する。
まず、隠れたユニットを直接サンプリングするためにLRT(Local Reparametrization trick)を用いることで、より計算効率の良いアルゴリズムが得られる。
さらに, LBBNNパラメータの変動後分布の正規化フローを用いて, 平均体ガウス分布よりも柔軟な変動後分布を学習する。
論文 参考訳（メタデータ） (2023-05-05T09:40:28Z) - NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural
Networks [151.03112356092575]
本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。
種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
論文 参考訳（メタデータ） (2022-02-07T12:30:45Z) - Dense Uncertainty Estimation [62.23555922631451]
本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。
本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
論文 参考訳（メタデータ） (2021-10-13T01:23:48Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳（メタデータ） (2021-03-15T16:16:18Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳（メタデータ） (2021-02-22T07:02:37Z) - Exploring the Uncertainty Properties of Neural Networks' Implicit Priors
in the Infinite-Width Limit [47.324627920761685]
我々は、無限大のNNのアンサンブルに先立って関数空間をガウス過程として特徴づける最近の理論的進歩を用いる。
これにより、関数空間上の暗黙の前のNNについて、よりよく理解できます。
また,従来のNNGPを用いた分類手法の校正について検討した。
論文 参考訳（メタデータ） (2020-10-14T18:41:54Z) - Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。
この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。
この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
論文 参考訳（メタデータ） (2020-08-19T12:35:55Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。