論文の概要: Exploring the Uncertainty Properties of Neural Networks' Implicit Priors
in the Infinite-Width Limit
- arxiv url: http://arxiv.org/abs/2010.07355v1
- Date: Wed, 14 Oct 2020 18:41:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-07 12:54:31.405317
- Title: Exploring the Uncertainty Properties of Neural Networks' Implicit Priors
in the Infinite-Width Limit
- Title（参考訳）: 無限幅極限におけるニューラルネットワークの暗黙前兆の不確実性の検討
- Authors: Ben Adlam, Jaehoon Lee, Lechao Xiao, Jeffrey Pennington, and Jasper
Snoek
- Abstract要約: 我々は、無限大のNNのアンサンブルに先立って関数空間をガウス過程として特徴づける最近の理論的進歩を用いる。
これにより、関数空間上の暗黙の前のNNについて、よりよく理解できます。
また,従来のNNGPを用いた分類手法の校正について検討した。
- 参考スコア（独自算出の注目度）: 47.324627920761685
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern deep learning models have achieved great success in predictive
accuracy for many data modalities. However, their application to many
real-world tasks is restricted by poor uncertainty estimates, such as
overconfidence on out-of-distribution (OOD) data and ungraceful failing under
distributional shift. Previous benchmarks have found that ensembles of neural
networks (NNs) are typically the best calibrated models on OOD data. Inspired
by this, we leverage recent theoretical advances that characterize the
function-space prior of an ensemble of infinitely-wide NNs as a Gaussian
process, termed the neural network Gaussian process (NNGP). We use the NNGP
with a softmax link function to build a probabilistic model for multi-class
classification and marginalize over the latent Gaussian outputs to sample from
the posterior. This gives us a better understanding of the implicit prior NNs
place on function space and allows a direct comparison of the calibration of
the NNGP and its finite-width analogue. We also examine the calibration of
previous approaches to classification with the NNGP, which treat classification
problems as regression to the one-hot labels. In this case the Bayesian
posterior is exact, and we compare several heuristics to generate a categorical
distribution over classes. We find these methods are well calibrated under
distributional shift. Finally, we consider an infinite-width final layer in
conjunction with a pre-trained embedding. This replicates the important
practical use case of transfer learning and allows scaling to significantly
larger datasets. As well as achieving competitive predictive accuracy, this
approach is better calibrated than its finite width analogue.
- Abstract（参考訳）: 現代のディープラーニングモデルは、多くのデータモダリティの予測精度において大きな成功を収めている。
しかし、彼らの多くの現実世界のタスクへの応用は、分散外データ(ood)に対する過信や、分散シフト下での不穏な失敗など、不確かさの少ない推定によって制限されている。
以前のベンチマークでは、ニューラルネットワーク(NN)のアンサンブルがOODデータ上で最高の校正モデルであることが分かっていた。
これに触発された我々は、無限大のNNのアンサンブルの前の関数空間をガウス過程として特徴付ける最近の理論的進歩を活用し、ニューラルネットワークガウス過程(NNGP)と呼ぶ。
NNGPとソフトマックスリンク関数を用いて,多クラス分類のための確率モデルを構築し,潜在ガウス出力を後方からのサンプルにマーザライズする。
これにより、関数空間上の暗黙的な前のNNの配置をよりよく理解することができ、NNGPとその有限幅アナログの校正を直接比較することができる。
また,分類問題を1ホットラベルの回帰として扱うnngpによる分類手法のキャリブレーションについても検討した。
この場合、ベイズ後部は正確であり、クラス上のカテゴリー分布を生成するためにいくつかのヒューリスティックスを比較する。
これらの手法は分布シフトの下でよく校正されている。
最後に、トレーニング済みの埋め込みと合わせて無限幅の最終層を考える。
これにより、転送学習の重要な実用的なユースケースが再現され、さらに大きなデータセットへのスケーリングが可能になる。
競合予測精度を達成するだけでなく、このアプローチは有限幅のアナログよりもキャリブレーションが良い。
関連論文リスト
- Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。
圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
論文 参考訳（メタデータ） (2024-09-19T17:56:16Z) - Bayesian Neural Networks with Domain Knowledge Priors [52.80929437592308]
ドメイン知識の一般的な形式をBNNに組み込むためのフレームワークを提案する。
提案したドメイン知識を用いたBNNは,標準知識のBNNよりも優れていることを示す。
論文 参考訳（メタデータ） (2024-02-20T22:34:53Z) - Sparsifying Bayesian neural networks with latent binary variables and
normalizing flows [10.865434331546126]
潜伏二元系ベイズニューラルネットワーク(LBBNN)の2つの拡張について検討する。
まず、隠れたユニットを直接サンプリングするためにLRT(Local Reparametrization trick)を用いることで、より計算効率の良いアルゴリズムが得られる。
さらに, LBBNNパラメータの変動後分布の正規化フローを用いて, 平均体ガウス分布よりも柔軟な変動後分布を学習する。
論文 参考訳（メタデータ） (2023-05-05T09:40:28Z) - Improved uncertainty quantification for neural networks with Bayesian
last layer [0.0]
不確実性定量化は機械学習において重要な課題である。
本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
論文 参考訳（メタデータ） (2023-02-21T20:23:56Z) - Constraining cosmological parameters from N-body simulations with
Variational Bayesian Neural Networks [0.0]
乗法正規化フロー (MNFs) はBNNのパラメータの近似後流の族である。
我々は,標準BNNとフリップアウト推定器についてMNFの比較を行った。
MNFは、変動近似によって導入されたバイアスを緩和する真の後部へのより現実的な予測分布を提供する。
論文 参考訳（メタデータ） (2023-01-09T16:07:48Z) - Bayesian Neural Network Versus Ex-Post Calibration For Prediction
Uncertainty [0.2343856409260935]
ニューラルネットワークからの確率的予測は、分類中の予測の不確実性の原因となる。
実際には、ほとんどのデータセットは非確率的ニューラルネットワークでトレーニングされています。
キャリブレーションアプローチのもっともらしい代替手段は、予測分布を直接モデル化するベイズニューラルネットワークを使用することである。
論文 参考訳（メタデータ） (2022-09-29T07:22:19Z) - A Simple Approach to Improve Single-Model Deep Uncertainty via
Distance-Awareness [33.09831377640498]
本研究では,1つの決定論的表現に基づく1つのネットワークの不確実性向上手法について検討する。
本稿では,現代のDNNにおける距離認識能力を向上させる簡易な手法として,スペクトル正規化ニューラルガウス過程(SNGP)を提案する。
ビジョンと言語理解のベンチマークスイートでは、SNGPは予測、キャリブレーション、ドメイン外検出において、他の単一モデルアプローチよりも優れている。
論文 参考訳（メタデータ） (2022-05-01T05:46:13Z) - A Biased Graph Neural Network Sampler with Near-Optimal Regret [57.70126763759996]
グラフニューラルネットワーク(GNN)は、グラフおよびリレーショナルデータにディープネットワークアーキテクチャを適用する手段として登場した。
本論文では,既存の作業に基づいて,GNN近傍サンプリングをマルチアームバンディット問題として扱う。
そこで本研究では,分散を低減し,不安定かつ非限定的な支払いを回避すべく設計されたバイアスをある程度導入した報酬関数を提案する。
論文 参考訳（メタデータ） (2021-03-01T15:55:58Z) - Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。
この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。
この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
論文 参考訳（メタデータ） (2020-08-19T12:35:55Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。