論文の概要: Pursuing Feature Separation based on Neural Collapse for Out-of-Distribution Detection
- arxiv url: http://arxiv.org/abs/2405.17816v1
- Date: Tue, 28 May 2024 04:24:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 22:22:24.963222
- Title: Pursuing Feature Separation based on Neural Collapse for Out-of-Distribution Detection
- Title（参考訳）: アウト・オブ・ディストリビューション検出のためのニューラル・コラプスに基づく探索的特徴分離
- Authors: Yingwen Wu, Ruiji Yu, Xinwen Cheng, Zhengbao He, Xiaolin Huang,
- Abstract要約: オープンな世界では、ラベルが分布内(ID)サンプルと相容れないOOD(out-of-distriion)データを検出することは、信頼できるディープニューラルネットワーク(DNN)にとって重要である。
我々はOrthLossと呼ばれるシンプルだが効果的な損失を提案し、これはサブ空間内のOODデータの特徴をNCによって形成されたID特徴の主部分空間に結合する。
我々の検出は、追加のデータ拡張やサンプリングなしに、CIFARベンチマーク上でのSOTA性能を達成する。
- 参考スコア（独自算出の注目度）: 21.357620914949624
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the open world, detecting out-of-distribution (OOD) data, whose labels are disjoint with those of in-distribution (ID) samples, is important for reliable deep neural networks (DNNs). To achieve better detection performance, one type of approach proposes to fine-tune the model with auxiliary OOD datasets to amplify the difference between ID and OOD data through a separation loss defined on model outputs. However, none of these studies consider enlarging the feature disparity, which should be more effective compared to outputs. The main difficulty lies in the diversity of OOD samples, which makes it hard to describe their feature distribution, let alone design losses to separate them from ID features. In this paper, we neatly fence off the problem based on an aggregation property of ID features named Neural Collapse (NC). NC means that the penultimate features of ID samples within a class are nearly identical to the last layer weight of the corresponding class. Based on this property, we propose a simple but effective loss called OrthLoss, which binds the features of OOD data in a subspace orthogonal to the principal subspace of ID features formed by NC. In this way, the features of ID and OOD samples are separated by different dimensions. By optimizing the feature separation loss rather than purely enlarging output differences, our detection achieves SOTA performance on CIFAR benchmarks without any additional data augmentation or sampling, demonstrating the importance of feature separation in OOD detection. The code will be published.
- Abstract（参考訳）: オープンな世界では、ラベルが分布内(ID)サンプルと不一致であるOOD(out-of-distriion)データを検出することは、信頼性の高いディープニューラルネットワーク(DNN)にとって重要である。
より優れた検出性能を実現するために、モデル出力に定義された分離損失を通じてIDとOODデータの差を増幅するために、補助的なOODデータセットを用いてモデルを微調整する手法を提案する。
しかしながら、これらの研究のどれも、特徴格差の拡大を考慮せず、出力よりも効果的であるべきである。
主な困難はOODサンプルの多様性であり、ID特徴と区別するために損失を設計するだけでなく、それらの特徴分布を記述するのが難しくなる。
本稿では,ニューラル・コラプス(NC)と呼ばれるID特徴の集約特性に基づいて,問題を適切に阻止する。
NCは、クラス内のIDサンプルの垂直的な特徴が、対応するクラスの最後の層重みとほぼ同一であることを意味する。
そこで我々はOrthLossと呼ばれるシンプルだが効果的な損失を提案する。OrthLossはNCによって形成されるID特徴の主部分空間に直交する部分空間におけるOODデータの特徴を結合する。
このように、IDとOODのサンプルの特徴は異なる次元で分離される。
出力差を純粋に増大させるのではなく,特徴分離損失を最適化することにより,新たなデータ拡張やサンプリングを行わずにCIFARベンチマーク上でのSOTA性能を実現し,OOD検出における特徴分離の重要性を示す。
コードは公開されます。
関連論文リスト
- Dimensionality-induced information loss of outliers in deep neural networks [29.15751143793406]
ディープニューラルネットワーク(DNN)を用いたシステムにおいて、アウト・オブ・ディストリビューション(OOD)検出は重要な問題である
複数の視点から特徴表現の層依存性を調べることにより,この問題を実験的に解明する。
特徴量と重みのアライメントに基づく次元認識型OOD検出手法を提案する。
論文 参考訳（メタデータ） (2024-10-29T01:52:46Z) - What If the Input is Expanded in OOD Detection? [77.37433624869857]
Out-of-distriion (OOD) 検出は未知のクラスからのOOD入力を特定することを目的としている。
In-distriion(ID)データと区別するために,様々なスコアリング関数を提案する。
入力空間に異なる共通の汚職を用いるという、新しい視点を導入する。
論文 参考訳（メタデータ） (2024-10-24T06:47:28Z) - Out-of-distribution detection based on subspace projection of high-dimensional features output by the last convolutional layer [5.902332693463877]
本稿では,リッチな画像特徴を含む最終畳み込み層によって出力される高次元特徴に焦点をあてる。
我々のキーとなるアイデアは、これらの高次元特徴を2つの特定の特徴部分空間に投影し、事前定義された均一分布クラス Centroids (PEDCC)-Loss で訓練することです。
本手法では,入力前処理や特定のOODデータの事前チューニングの必要性を排除し,分類ネットワークモデルのトレーニングのみを必要とする。
論文 参考訳（メタデータ） (2024-05-02T18:33:02Z) - From Global to Local: Multi-scale Out-of-distribution Detection [129.37607313927458]
アウト・オブ・ディストリビューション(OOD)検出は、イン・ディストリビューション(ID)トレーニングプロセス中にラベルが見られない未知のデータを検出することを目的としている。
近年の表現学習の進歩により,距離に基づくOOD検出がもたらされる。
グローバルな視覚情報と局所的な情報の両方を活用する第1のフレームワークであるマルチスケールOOD検出(MODE)を提案する。
論文 参考訳（メタデータ） (2023-08-20T11:56:25Z) - LINe: Out-of-Distribution Detection by Leveraging Important Neurons [15.797257361788812]
本稿では,分布内データとOODデータ間のモデル出力の差を解析するための新しい側面を紹介する。
本稿では,分布検出のポストホックアウトのための新しい手法であるLINe( Leveraging Important Neurons)を提案する。
論文 参考訳（メタデータ） (2023-03-24T13:49:05Z) - WDiscOOD: Out-of-Distribution Detection via Whitened Linear Discriminant
Analysis [21.023001428704085]
本稿では,クラス固有情報とクラス非依存情報に基づく新しい特徴空間OOD検出スコアを提案する。
WDiscOODという手法の有効性を,大規模なImageNet-1kベンチマークで検証した。
論文 参考訳（メタデータ） (2023-03-14T00:13:57Z) - Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。
GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
論文 参考訳（メタデータ） (2023-02-06T16:38:43Z) - Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution
Detection [55.028065567756066]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。
本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。
バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。
We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
論文 参考訳（メタデータ） (2022-06-26T16:00:22Z) - No Shifted Augmentations (NSA): compact distributions for robust
self-supervised Anomaly Detection [4.243926243206826]
教師なし異常検出(AD)は正規化の概念を構築し、分布内(ID)と分布外(OOD)データを区別する必要がある。
我々は,ID特徴分布のエンフ幾何学的コンパクト性によって,外乱の分離や検出が容易になるかを検討する。
我々は,IDデータのコンパクトな分布を学習可能にする自己教師型特徴学習ステップに,新たなアーキテクチャ変更を提案する。
論文 参考訳（メタデータ） (2022-03-19T15:55:32Z) - Benchmarking Deep Models for Salient Object Detection [67.07247772280212]
汎用SALOD(General SALient Object Detection)ベンチマークを構築し,複数のSOD手法の総合的な比較を行った。
以上の実験では、既存の損失関数は、通常いくつかの指標に特化しているが、他の指標には劣る結果が報告されている。
我々は,深層ネットワークに画素レベルと画像レベルの両方の監視信号を統合することにより,より識別的な特徴を学習するためのエッジ・アウェア・ロス(EA)を提案する。
論文 参考訳（メタデータ） (2022-02-07T03:43:16Z) - Contextual-Bandit Anomaly Detection for IoT Data in Distributed
Hierarchical Edge Computing [65.78881372074983]
IoTデバイスは複雑なディープニューラルネットワーク(DNN)モデルにはほとんど余裕がなく、異常検出タスクをクラウドにオフロードすることは長い遅延を引き起こす。
本稿では,分散階層エッジコンピューティング(HEC)システムを対象とした適応型異常検出手法のデモと構築を行う。
提案手法は,検出タスクをクラウドにオフロードした場合と比較して,精度を犠牲にすることなく検出遅延を著しく低減することを示す。
論文 参考訳（メタデータ） (2020-04-15T06:13:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。