論文の概要: Why Out-of-distribution Detection in CNNs Does Not Like Mahalanobis --
and What to Use Instead
- arxiv url: http://arxiv.org/abs/2110.07043v1
- Date: Wed, 13 Oct 2021 21:41:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-16 08:00:58.002610
- Title: Why Out-of-distribution Detection in CNNs Does Not Like Mahalanobis --
and What to Use Instead
- Title（参考訳）: CNNのアウト・オブ・ディストリビューション検出がマハラノビスを好まない理由 - 代わりに何を使うべきか
- Authors: Kamil Szyc, Tomasz Walkowiak, Henryk Maciejewski
- Abstract要約: 高次元データにおける多くのOoD研究において、LOF法(Local Outlierness-Factor)法はパラメトリックなマハラノビス距離法よりも優れていた。
これにより、CNNの信頼性スコアを生成する非パラメトリックなLOFベースの手法を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Convolutional neural networks applied for real-world classification tasks
need to recognize inputs that are far or out-of-distribution (OoD) with respect
to the known or training data. To achieve this, many methods estimate
class-conditional posterior probabilities and use confidence scores obtained
from the posterior distributions. Recent works propose to use multivariate
Gaussian distributions as models of posterior distributions at different layers
of the CNN (i.e., for low- and upper-level features), which leads to the
confidence scores based on the Mahalanobis distance. However, this procedure
involves estimating probability density in high dimensional data using the
insufficient number of observations (e.g. the dimensionality of features at the
last two layers in the ResNet-101 model are 2048 and 1024, with ca. 1000
observations per class used to estimate density). In this work, we want to
address this problem. We show that in many OoD studies in high-dimensional
data, LOF-based (Local Outlierness-Factor) methods outperform the parametric,
Mahalanobis distance-based methods. This motivates us to propose the
nonparametric, LOF-based method of generating the confidence scores for CNNs.
We performed several feasibility studies involving ResNet-101 and
EffcientNet-B3, based on CIFAR-10 and ImageNet (as known data), and CIFAR-100,
SVHN, ImageNet2010, Places365, or ImageNet-O (as outliers). We demonstrated
that nonparametric LOF-based confidence estimation can improve current
Mahalanobis-based SOTA or obtain similar performance in a simpler way.
- Abstract（参考訳）: 実世界の分類タスクに適用される畳み込みニューラルネットワークは、既知のデータやトレーニングデータに対して、遠方あるいは外方(ood)の入力を認識する必要がある。
これを実現するために、多くの方法がクラス条件の後方確率を推定し、後方分布から得られた信頼度スコアを使用する。
近年の研究では、多変量ガウス分布をcnnの異なる層(すなわち低レベルと高レベルの特徴)における後方分布のモデルとして用いることが提案され、マハラノビス距離に基づく信頼度スコアが導かれる。
しかし、この手法では、観測の不十分な数を用いて高次元データの確率密度を推定する(例えば、resnet-101モデルの最後の2層における特徴の次元は2048と1024であり、密度を推定するのにクラスごとにca.1000の観測を用いる)。
この作業では、この問題に対処したい。
高次元データにおける多くのOoD研究において、LOF(Local Outlierness-Factor)法はパラメトリックなマハラノビス距離法よりも優れていた。
これにより、CNNの信頼性スコアを生成する非パラメトリックなLOFベースの手法を提案する。
我々は,CIFAR-10とImageNet(既知のデータ)に基づくResNet-101とEffcientNet-B3と,CIFAR-100,SVHN,ImageNet2010,Places365,ImageNet-O(外部データ)による実現可能性調査を行った。
非パラメトリックlofに基づく信頼度推定は,現在のマハラノビスベースのsotaを改善したり,より簡単な方法で同様の性能が得られることを示した。
関連論文リスト
- Credal Wrapper of Model Averaging for Uncertainty Estimation on Out-Of-Distribution Detection [5.19656787424626]
本稿では,ベイズニューラルネットワーク(BNN)と深層アンサンブルのモデル平均化のクレダルセット表現を定式化するための,クレダルラッパー(redal wrapper)と呼ばれる革新的なアプローチを提案する。
BNNや深層アンサンブルから導かれる単一分布の有限個の集合が与えられた場合、提案手法はクラスごとの上層と下層の確率境界を抽出する。
提案手法は,BNNおよび深層アンサンブルベースラインと比較して,不確実性推定において優れた性能を示す。
論文 参考訳（メタデータ） (2024-05-23T20:51:22Z) - Fast, Distribution-free Predictive Inference for Neural Networks with
Coverage Guarantees [25.798057062452443]
本稿では,予測推論(PI)のための新しい計算効率アルゴリズムを提案する。
データに対する分布的な仮定は不要で、ニューラルネットワークの既存のブートストラップ方式よりも高速に計算できる。
論文 参考訳（メタデータ） (2023-06-11T04:03:58Z) - Evidence Networks: simple losses for fast, amortized, neural Bayesian
model comparison [0.0]
Evidence Networksは、最先端のメソッドがフェールした場合にベイズモデルの比較を可能にする。
リークパリティオード電力変換を導入し、新しいl-POP-Exponential'損失関数を導出する。
Evidence Networks はパラメータ空間の次元性に明示的に依存しており、後続確率密度関数の複雑さと軽度にスケール可能であることを示す。
論文 参考訳（メタデータ） (2023-05-18T18:14:53Z) - NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural
Networks [151.03112356092575]
本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。
種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
論文 参考訳（メタデータ） (2022-02-07T12:30:45Z) - PDC-Net+: Enhanced Probabilistic Dense Correspondence Network [161.76275845530964]
高度確率密度対応ネットワーク(PDC-Net+)は、精度の高い高密度対応を推定できる。
我々は、堅牢で一般化可能な不確実性予測に適したアーキテクチャと強化されたトレーニング戦略を開発する。
提案手法は,複数の挑戦的幾何マッチングと光学的フローデータセットに対して,最先端の結果を得る。
論文 参考訳（メタデータ） (2021-09-28T17:56:41Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z) - Bayesian Neural Network via Stochastic Gradient Descent [0.0]
本稿では,勾配推定手法を用いてベイズニューラルネットワークに勾配推定を適用する方法を示す。
我々の研究はベイジアンニューラルネットワークを用いた回帰手法のこれまでの状況を大きく上回っている。
論文 参考訳（メタデータ） (2020-06-04T18:33:59Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳（メタデータ） (2020-03-10T03:10:41Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳（メタデータ） (2020-03-04T12:27:36Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。