論文の概要: Out-Of-Distribution Detection With Subspace Techniques And Probabilistic
Modeling Of Features
- arxiv url: http://arxiv.org/abs/2012.04250v1
- Date: Tue, 8 Dec 2020 07:07:11 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-16 21:05:07.029955
- Title: Out-Of-Distribution Detection With Subspace Techniques And Probabilistic
Modeling Of Features
- Title（参考訳）: 部分空間手法による分布外検出と特徴の確率的モデル化
- Authors: Ibrahima Ndiour, Nilesh Ahuja, Omesh Tickoo
- Abstract要約: 本論文では,DNN(Deep Neural Network)におけるOOD(Out-of- Distributionion)サンプル検出の原理的手法を提案する。
深部特徴量に基づく確率分布のモデル化は,近年,DNNにおけるOODサンプルの検出方法として,効率的かつ安価に実現されている。
線形統計的次元還元法と非線形多様体学習法を高次元的特徴に適用し、その特徴にまたがる真の部分空間を捕捉する。
- 参考スコア（独自算出の注目度）: 7.219077740523682
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents a principled approach for detecting out-of-distribution
(OOD) samples in deep neural networks (DNN). Modeling probability distributions
on deep features has recently emerged as an effective, yet computationally
cheap method to detect OOD samples in DNN. However, the features produced by a
DNN at any given layer do not fully occupy the corresponding high-dimensional
feature space. We apply linear statistical dimensionality reduction techniques
and nonlinear manifold-learning techniques on the high-dimensional features in
order to capture the true subspace spanned by the features. We hypothesize that
such lower-dimensional feature embeddings can mitigate the curse of
dimensionality, and enhance any feature-based method for more efficient and
effective performance. In the context of uncertainty estimation and OOD, we
show that the log-likelihood score obtained from the distributions learnt on
this lower-dimensional subspace is more discriminative for OOD detection. We
also show that the feature reconstruction error, which is the $L_2$-norm of the
difference between the original feature and the pre-image of its embedding, is
highly effective for OOD detection and in some cases superior to the
log-likelihood scores. The benefits of our approach are demonstrated on image
features by detecting OOD images, using popular DNN architectures on commonly
used image datasets such as CIFAR10, CIFAR100, and SVHN.
- Abstract（参考訳）: 本稿では,ディープニューラルネットワーク(DNN)におけるOOD(out-of-distribution)サンプルの検出方法を提案する。
深部特徴量に基づく確率分布のモデル化は,DNNにおけるOODサンプルの検出方法として,効率的かつ安価に実現されている。
しかし、DNNが任意の層で生成した特徴は対応する高次元特徴空間を完全に占有していない。
本研究では,高次元特徴量に対して線形統計次元化手法と非線形多様体学習手法を適用し,特徴量にまたがる真の部分空間を捉える。
このような低次元特徴埋め込みは次元の呪いを和らげ、より効率的で効果的な性能を実現するための特徴ベース手法を強化することができると仮定する。
不確実性推定とOODの文脈において、この低次元部分空間で学習した分布から得られる対数類似度スコアがOOD検出においてより識別可能であることを示す。
また,元の特徴と埋め込み前像の差の$L_2$-normである特徴再構成誤差がOOD検出に極めて有効であること,またログライクなスコアよりも優れた場合があることも示した。
CIFAR10, CIFAR100, SVHNなどの画像データセット上で, 一般的なDNNアーキテクチャを用いてOOD画像を検出することにより, 画像特徴の利点を実証した。
関連論文リスト
- Dimensionality-induced information loss of outliers in deep neural networks [29.15751143793406]
ディープニューラルネットワーク(DNN)を用いたシステムにおいて、アウト・オブ・ディストリビューション(OOD)検出は重要な問題である
複数の視点から特徴表現の層依存性を調べることにより,この問題を実験的に解明する。
特徴量と重みのアライメントに基づく次元認識型OOD検出手法を提案する。
論文 参考訳（メタデータ） (2024-10-29T01:52:46Z) - Exploiting Diffusion Prior for Out-of-Distribution Detection [11.11093497717038]
堅牢な機械学習モデルをデプロイするには、アウト・オブ・ディストリビューション(OOD)検出が不可欠だ。
拡散モデルの生成能力とCLIPの強力な特徴抽出能力を活用する新しいOOD検出手法を提案する。
論文 参考訳（メタデータ） (2024-06-16T23:55:25Z) - GROOD: GRadient-aware Out-Of-Distribution detection in interpolated
manifolds [12.727088216619386]
ディープニューラルネットワーク(DNN)におけるアウト・オブ・ディストリビューション検出は、現実世界のデプロイメントにおいてリスクを引き起こす可能性がある。
グラディエント・アウェア・アウトオフ・ディストリビューション検出を導入。
ネイティブ多様体(Internative manifold, GROOD)は、勾配空間の識別力に依存する新しいフレームワークである。
GRODが最先端のベースラインの確立された堅牢性を上回ることを示す。
論文 参考訳（メタデータ） (2023-12-22T04:28:43Z) - Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。
GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
論文 参考訳（メタデータ） (2023-02-06T16:38:43Z) - DeepDC: Deep Distance Correlation as a Perceptual Image Quality
Evaluator [53.57431705309919]
ImageNet Pre-trained Deep Neural Network (DNN)は、効果的な画像品質評価(IQA)モデルを構築するための顕著な転送性を示す。
我々は,事前学習DNN機能のみに基づく新しいフル参照IQA(FR-IQA)モデルを開発した。
5つの標準IQAデータセット上で,提案した品質モデルの優位性を示すため,包括的実験を行った。
論文 参考訳（メタデータ） (2022-11-09T14:57:27Z) - Watermarking for Out-of-distribution Detection [76.20630986010114]
Out-of-Distribution (OOD) 検出は、よく訓練された深層モデルから抽出された表現に基づいてOODデータを識別することを目的としている。
本稿では,透かしという一般的な手法を提案する。
我々は,元データの特徴に重畳される統一パターンを学習し,ウォーターマーキング後にモデルの検出能力が大きく向上する。
論文 参考訳（メタデータ） (2022-10-27T06:12:32Z) - A Simple Test-Time Method for Out-of-Distribution Detection [45.11199798139358]
本稿では,OOD検出のための簡易なテスト時間線形訓練法を提案する。
分布外である入力画像の確率は、ニューラルネットワークが抽出した特徴と驚くほど線形に相関していることがわかった。
本稿では,提案手法のオンライン版を提案し,実世界のアプリケーションでより実用的な性能を実現する。
論文 参考訳（メタデータ） (2022-07-17T16:02:58Z) - Subspace Modeling for Fast Out-Of-Distribution and Anomaly Detection [5.672132510411465]
本稿では、ディープニューラルネットワーク(DNN)における異常および分布外サンプルを検出するための原則的アプローチを提案する。
本稿では,DNN が生成する意味的特徴に対する線形統計量次元削減手法の適用を提案する。
高次元空間における原特徴と低次元縮小埋め込みの前像との差の$ell$-normの「機能再構成誤差」(FRE)はOODと異常検出に極めて有効であることを示す。
論文 参考訳（メタデータ） (2022-03-20T00:55:20Z) - Why Normalizing Flows Fail to Detect Out-of-Distribution Data [51.552870594221865]
正規化フローは、イン・オブ・ディストリビューションデータとアウト・オブ・ディストリビューションデータの区別に失敗する。
フローは局所的な画素相関と画像からラテンス空間への変換を学習する。
フロー結合層のアーキテクチャを変更することで、ターゲットデータのセマンティック構造を学ぶためのフローに偏りがあることが示される。
論文 参考訳（メタデータ） (2020-06-15T17:00:01Z) - Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。
ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
論文 参考訳（メタデータ） (2020-03-21T17:46:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。