論文の概要: pseudo-Bayesian Neural Networks for detecting Out of Distribution Inputs
- arxiv url: http://arxiv.org/abs/2102.01336v1
- Date: Tue, 2 Feb 2021 06:23:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-04 02:57:31.053862
- Title: pseudo-Bayesian Neural Networks for detecting Out of Distribution Inputs
- Title（参考訳）: 分布入力検出のための疑似ベイズ型ニューラルネットワーク
- Authors: Gagandeep Singh, Deepak Mishra
- Abstract要約: 重みよりも分布を学習する代わりに、推定時に点推定と摂動重みを用いる擬似BNNを提案する。
全体として、この組み合わせは、推論時にOODサンプルを検出するという原則的な手法をもたらす。
- 参考スコア（独自算出の注目度）: 12.429095025814345
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Conventional Bayesian Neural Networks (BNNs) are known to be capable of
providing multiple outputs for a single input, the variations in which can be
utilised to detect Out of Distribution (OOD) inputs. BNNs are difficult to
train due to their sensitivity towards the choice of priors. To alleviate this
issue, we propose pseudo-BNNs where instead of learning distributions over
weights, we use point estimates and perturb weights at the time of inference.
We modify the cost function of conventional BNNs and use it to learn parameters
for the purpose of injecting right amount of random perturbations to each of
the weights of a neural network with point estimate. In order to effectively
segregate OOD inputs from In Distribution (ID) inputs using multiple outputs,
we further propose two measures, derived from the index of dispersion and
entropy of probability distributions, and combine them with the proposed
pseudo-BNNs. Overall, this combination results in a principled technique to
detect OOD samples at the time of inference. We evaluate our technique on a
wide variety of neural network architectures and image classification datasets.
We observe that our method achieves state of the art results and beats the
related previous work on various metrics such as FPR at 95% TPR, AUROC, AUPR
and Detection Error by just using 2 to 5 samples of weights per input.
- Abstract（参考訳）: 従来のベイジアンニューラルネットワーク(BNN)は、単一の入力に対して複数の出力を提供できることが知られており、そのバリエーションは分布アウト(OOD)入力を検出するために利用することができる。
BNNは、優先順位の選択に対する感度のために訓練が困難である。
そこで本研究では,重みに対する分布を学習する代わりに,推定時に点推定と摂動重みを用いる擬似BNNを提案する。
従来のBNNのコスト関数を変更し、ポイント推定によりニューラルネットワークの重みのそれぞれにランダムな摂動の適切な量を注入する目的でパラメータを学習する。
In Distribution(ID)入力から複数の出力を用いてOOD入力を効果的に分離するために、確率分布の分散とエントロピーの指標から導出した2つの尺度を提案し、提案した擬似BNNと組み合わせる。
全体として、この組み合わせは推論時にOODサンプルを検出する原則化された技術をもたらす。
本手法は,多種多様なニューラルネットワークアーキテクチャと画像分類データセット上で評価する。
提案手法は, 95%TPR, AUROC, AUPR, Detection ErrorにおけるFPR, 95%TPR, 95%TPR, 95%TPR, 95%TPR, および2～5重みのサンプルを用いて, 従来の手法よりも優れていることを示す。
関連論文リスト
- Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳（メタデータ） (2023-10-02T03:25:32Z) - Sparsifying Bayesian neural networks with latent binary variables and
normalizing flows [10.865434331546126]
潜伏二元系ベイズニューラルネットワーク(LBBNN)の2つの拡張について検討する。
まず、隠れたユニットを直接サンプリングするためにLRT(Local Reparametrization trick)を用いることで、より計算効率の良いアルゴリズムが得られる。
さらに, LBBNNパラメータの変動後分布の正規化フローを用いて, 平均体ガウス分布よりも柔軟な変動後分布を学習する。
論文 参考訳（メタデータ） (2023-05-05T09:40:28Z) - Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。
GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
論文 参考訳（メタデータ） (2023-02-06T16:38:43Z) - Variational Neural Networks [88.24021148516319]
本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。
VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。
不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
論文 参考訳（メタデータ） (2022-07-04T15:41:02Z) - Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution
Detection [55.028065567756066]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。
本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。
バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。
We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
論文 参考訳（メタデータ） (2022-06-26T16:00:22Z) - Kalman Bayesian Neural Networks for Closed-form Online Learning [5.220940151628734]
閉形式ベイズ推論によるBNN学習のための新しい手法を提案する。
出力の予測分布の計算と重み分布の更新をベイズフィルタおよび平滑化問題として扱う。
これにより、勾配降下のないシーケンシャル/オンライン方式でネットワークパラメータをトレーニングするためのクローズドフォーム表現が可能になる。
論文 参考訳（メタデータ） (2021-10-03T07:29:57Z) - Adversarial Examples Detection with Bayesian Neural Network [57.185482121807716]
本稿では,ランダムな成分が予測器の滑らかさを向上できるという観測によって動機づけられた敵の例を検出するための新しい枠組みを提案する。
本稿では,BATer を略した新しいベイズ対向型サンプル検出器を提案し,対向型サンプル検出の性能を向上させる。
論文 参考訳（メタデータ） (2021-05-18T15:51:24Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳（メタデータ） (2021-03-15T16:16:18Z) - Statistical Testing for Efficient Out of Distribution Detection in Deep
Neural Networks [26.0303701309125]
本稿では,Deep Neural Networks の Out Of Distribution (OOD) 検出問題を統計的仮説テスト問題として考察する。
このフレームワークに基づいて、低階統計に基づいた新しいOOD手順を提案します。
本手法は,ネットワークパラメータの再トレーニングを行わずに,oodベンチマークの精度が向上した。
論文 参考訳（メタデータ） (2021-02-25T16:14:47Z) - Encoding the latent posterior of Bayesian Neural Networks for
uncertainty quantification [10.727102755903616]
我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。
可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。
我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
論文 参考訳（メタデータ） (2020-12-04T19:50:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。