論文の概要: Out-of-distribution detection based on subspace projection of high-dimensional features output by the last convolutional layer
- arxiv url: http://arxiv.org/abs/2405.01662v1
- Date: Thu, 2 May 2024 18:33:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-06 14:54:33.196983
- Title: Out-of-distribution detection based on subspace projection of high-dimensional features output by the last convolutional layer
- Title（参考訳）: 最後の畳み込み層が出力する高次元特徴の部分空間投影に基づく分布外検出
- Authors: Qiuyu Zhu, Yiwei He,
- Abstract要約: 本稿では,リッチな画像特徴を含む最終畳み込み層によって出力される高次元特徴に焦点をあてる。
我々のキーとなるアイデアは、これらの高次元特徴を2つの特定の特徴部分空間に投影し、事前定義された均一分布クラス Centroids (PEDCC)-Loss で訓練することです。
本手法では,入力前処理や特定のOODデータの事前チューニングの必要性を排除し,分類ネットワークモデルのトレーニングのみを必要とする。
- 参考スコア（独自算出の注目度）: 5.902332693463877
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Out-of-distribution (OOD) detection, crucial for reliable pattern classification, discerns whether a sample originates outside the training distribution. This paper concentrates on the high-dimensional features output by the final convolutional layer, which contain rich image features. Our key idea is to project these high-dimensional features into two specific feature subspaces, leveraging the dimensionality reduction capacity of the network's linear layers, trained with Predefined Evenly-Distribution Class Centroids (PEDCC)-Loss. This involves calculating the cosines of three projection angles and the norm values of features, thereby identifying distinctive information for in-distribution (ID) and OOD data, which assists in OOD detection. Building upon this, we have modified the batch normalization (BN) and ReLU layer preceding the fully connected layer, diminishing their impact on the output feature distributions and thereby widening the distribution gap between ID and OOD data features. Our method requires only the training of the classification network model, eschewing any need for input pre-processing or specific OOD data pre-tuning. Extensive experiments on several benchmark datasets demonstrates that our approach delivers state-of-the-art performance. Our code is available at https://github.com/Hewell0/ProjOOD.
- Abstract（参考訳）: 信頼性のあるパターン分類に不可欠であるアウト・オブ・ディストリビューション(OOD)検出は、サンプルがトレーニング分布の外で発生したかどうかを識別する。
本稿では,リッチな画像特徴を含む最終畳み込み層によって出力される高次元特徴に焦点をあてる。
我々のキーとなるアイデアは、これらの高次元特徴を2つの特定の特徴部分空間に投影し、ネットワークの線形層の次元削減能力を活用することである。
これは、3つの射影角と特徴のノルム値のコサインを計算し、OOD検出を支援する非分布(ID)データとOODデータ特有の情報を識別する。
これに基づいて、完全連結層に先立ってバッチ正規化(BN)とReLU層を修正し、出力特性分布への影響を低減し、IDとOODデータ特徴間の分散ギャップを広げた。
本手法では,入力前処理や特定のOODデータの事前チューニングの必要性を排除し,分類ネットワークモデルのトレーニングのみを必要とする。
いくつかのベンチマークデータセットに対する大規模な実験は、我々のアプローチが最先端のパフォーマンスを提供することを示す。
私たちのコードはhttps://github.com/Hewell0/ProjOOD.comで公開されています。
関連論文リスト
- Pursuing Feature Separation based on Neural Collapse for Out-of-Distribution Detection [21.357620914949624]
オープンな世界では、ラベルが分布内(ID)サンプルと相容れないOOD(out-of-distriion)データを検出することは、信頼できるディープニューラルネットワーク(DNN)にとって重要である。
我々はOrthLossと呼ばれるシンプルだが効果的な損失を提案し、これはサブ空間内のOODデータの特徴をNCによって形成されたID特徴の主部分空間に結合する。
我々の検出は、追加のデータ拡張やサンプリングなしに、CIFARベンチマーク上でのSOTA性能を達成する。
論文 参考訳（メタデータ） (2024-05-28T04:24:38Z) - EAT: Towards Long-Tailed Out-of-Distribution Detection [55.380390767978554]
本稿では,長い尾を持つOOD検出の課題に対処する。
主な困難は、尾クラスに属するサンプルとOODデータを区別することである。
本稿では,(1)複数の禁制クラスを導入して分布内クラス空間を拡大すること,(2)コンテキストリッチなOODデータに画像をオーバーレイすることでコンテキスト限定のテールクラスを拡大すること,の2つの簡単な考え方を提案する。
論文 参考訳（メタデータ） (2023-12-14T13:47:13Z) - Classifier-head Informed Feature Masking and Prototype-based Logit
Smoothing for Out-of-Distribution Detection [27.062465089674763]
ニューラルネットワークを現実世界にデプロイする際には、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。
1つの大きな課題は、ニューラルネットワークがOODデータに対して過信的な予測をすることです。
本稿では,新しい特徴マスキング戦略と新しいロジット平滑化戦略に基づく,効果的なポストホックOOD検出手法を提案する。
論文 参考訳（メタデータ） (2023-10-27T12:42:17Z) - Do-GOOD: Towards Distribution Shift Evaluation for Pre-Trained Visual
Document Understanding Models [68.12229916000584]
本研究では,文書画像関連タスクの微粒化解析のためのDO-GOOD(Out-of-distriion)ベンチマークを開発した。
次に、ロバスト性を評価し、5つの最新のVDU事前学習モデルと2つの典型的なOOD一般化アルゴリズムのきめ細かい解析を行う。
論文 参考訳（メタデータ） (2023-06-05T06:50:42Z) - WDiscOOD: Out-of-Distribution Detection via Whitened Linear Discriminant
Analysis [21.023001428704085]
本稿では,クラス固有情報とクラス非依存情報に基づく新しい特徴空間OOD検出スコアを提案する。
WDiscOODという手法の有効性を,大規模なImageNet-1kベンチマークで検証した。
論文 参考訳（メタデータ） (2023-03-14T00:13:57Z) - Beyond Mahalanobis-Based Scores for Textual OOD Detection [32.721317681946246]
動作要件を満たすTransformerアーキテクチャに基づく分類器のための新しいOOD検出器TRUSTEDを紹介する。
TRUSTEDの効率性は、すべての隠された層がOODのサンプルを検出するための関連情報を持っているという実りある考えに依存している。
実験では、さまざまなチェックポイント、シード、データセットを含む51kのモデル構成を取り上げ、TRUSTEDが最先端のパフォーマンスを実現していることを示す。
論文 参考訳（メタデータ） (2022-11-24T10:51:58Z) - Exploring Covariate and Concept Shift for Detection and Calibration of
Out-of-Distribution Data [77.27338842609153]
キャラクタリゼーションにより、OODデータの検出と信頼性校正には、それぞれのシフトに対する感度が重要であることが明らかになった。
分布内データのみを用いて両シフトでのOOD検出を改善するために,幾何学的に着想を得た手法を提案する。
我々は,OOD検出とキャリブレーションの両面で,異なるタイプのシフトの下でうまく機能する手法を最初に提案する。
論文 参考訳（メタデータ） (2021-10-28T15:42:55Z) - Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic
Uncertainty [58.144520501201995]
ニューラルネットワーク層のBi-Lipschitz正規化は、各レイヤの特徴空間におけるデータインスタンス間の相対距離を保存する。
注意セットエンコーダを用いて,タスク固有の共分散行列を効率的に構築するために,対角的,対角的,低ランクな要素のメタ学習を提案する。
また,最終的な予測分布を達成するために,スケールしたエネルギーを利用する推論手法を提案する。
論文 参考訳（メタデータ） (2021-10-12T22:04:19Z) - Triggering Failures: Out-Of-Distribution detection by learning from
local adversarial attacks in Semantic Segmentation [76.2621758731288]
セグメンテーションにおけるアウト・オブ・ディストリビューション(OOD)オブジェクトの検出に取り組む。
私たちの主な貢献は、ObsNetと呼ばれる新しいOOD検出アーキテクチャであり、ローカル・アタック(LAA)に基づく専用トレーニングスキームと関連付けられています。
3つの異なるデータセットの文献の最近の10つの手法と比較して,速度と精度の両面で最高の性能が得られることを示す。
論文 参考訳（メタデータ） (2021-08-03T17:09:56Z) - Densely Nested Top-Down Flows for Salient Object Detection [137.74130900326833]
本稿では,物体検出におけるトップダウンモデリングの役割を再考する。
密度の高いトップダウンフロー(DNTDF)ベースのフレームワークを設計する。
DNTDFのすべての段階において、高いレベルの特徴はプログレッシブ圧縮ショートカットパス(PCSP)を介して読み込まれる。
論文 参考訳（メタデータ） (2021-02-18T03:14:02Z) - Out-Of-Distribution Detection With Subspace Techniques And Probabilistic
Modeling Of Features [7.219077740523682]
本論文では,DNN(Deep Neural Network)におけるOOD(Out-of- Distributionion)サンプル検出の原理的手法を提案する。
深部特徴量に基づく確率分布のモデル化は,近年,DNNにおけるOODサンプルの検出方法として,効率的かつ安価に実現されている。
線形統計的次元還元法と非線形多様体学習法を高次元的特徴に適用し、その特徴にまたがる真の部分空間を捕捉する。
論文 参考訳（メタデータ） (2020-12-08T07:07:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。