論文の概要: Understanding the Feature Norm for Out-of-Distribution Detection
- arxiv url: http://arxiv.org/abs/2310.05316v1
- Date: Mon, 9 Oct 2023 00:17:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 08:28:46.049728
- Title: Understanding the Feature Norm for Out-of-Distribution Detection
- Title(参考訳): 分布外検出のための特徴ノルムの理解
- Authors: Jaewoo Park, Jacky Chen Long Chai, Jaeho Yoon, Andrew Beng Jin Teoh
- Abstract要約: 分類データセットに基づいてトレーニングされたニューラルネットワークは、インディストリビューション(ID)サンプルに対して、隠蔽層の特徴のより高いベクトルノルムを示すことが多い。
隠れた層ニューロンの活性化と不活性化の傾向を捉えることができる新規な負認識ノルム(NAN)を提案する。
- 参考スコア(独自算出の注目度): 16.40441221109391
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A neural network trained on a classification dataset often exhibits a higher
vector norm of hidden layer features for in-distribution (ID) samples, while
producing relatively lower norm values on unseen instances from
out-of-distribution (OOD). Despite this intriguing phenomenon being utilized in
many applications, the underlying cause has not been thoroughly investigated.
In this study, we demystify this very phenomenon by scrutinizing the
discriminative structures concealed in the intermediate layers of a neural
network. Our analysis leads to the following discoveries: (1) The feature norm
is a confidence value of a classifier hidden in the network layer, specifically
its maximum logit. Hence, the feature norm distinguishes OOD from ID in the
same manner that a classifier confidence does. (2) The feature norm is
class-agnostic, thus it can detect OOD samples across diverse discriminative
models. (3) The conventional feature norm fails to capture the deactivation
tendency of hidden layer neurons, which may lead to misidentification of ID
samples as OOD instances. To resolve this drawback, we propose a novel
negative-aware norm (NAN) that can capture both the activation and deactivation
tendencies of hidden layer neurons. We conduct extensive experiments on NAN,
demonstrating its efficacy and compatibility with existing OOD detectors, as
well as its capability in label-free environments.
- Abstract(参考訳): 分類データセットでトレーニングされたニューラルネットワークは、イン・ディストリビューション(id)サンプルの隠れ層特徴のより高いベクターノルムをしばしば提示し、アウト・オブ・ディストリビューション(ood)から未知のインスタンスに対して比較的低いノルム値を生成する。
この興味深い現象は多くの応用で利用されているが、根本的な原因は調査されていない。
本研究では,ニューラルネットワークの中間層に隠された識別構造を精査することにより,この現象を解明する。
1)特徴ノルムは,ネットワーク層に隠された分類器の信頼性値,特に最大ロジットである。
したがって、特徴ノルムは、分類器の信頼度と同じ方法でOODとIDを区別する。
(2) 特徴ノルムはクラスに依存しないため、様々な識別モデルでoodサンプルを検出できる。
3) 従来の特徴ノルムは, 隠蔽層ニューロンの非活性化傾向を捉えず, ID サンプルを OOD インスタンスと誤同定する可能性がある。
この欠点を解決するために,隠れ層ニューロンの活性化と不活性化の傾向を捉えることのできる,新たな負認識ノルム(nan)を提案する。
我々はnanを広範囲に実験し,既存のood検出器の有効性と互換性を実証し,ラベルフリー環境においてその性能を示す。
関連論文リスト
- Classifier-head Informed Feature Masking and Prototype-based Logit
Smoothing for Out-of-Distribution Detection [27.062465089674763]
ニューラルネットワークを現実世界にデプロイする際には、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。
1つの大きな課題は、ニューラルネットワークがOODデータに対して過信的な予測をすることです。
本稿では,新しい特徴マスキング戦略と新しいロジット平滑化戦略に基づく,効果的なポストホックOOD検出手法を提案する。
論文 参考訳(メタデータ) (2023-10-27T12:42:17Z) - Detecting Out-of-distribution Objects Using Neuron Activation Patterns [0.0]
物体検出装置(NAPTRON)における分布外サンプル検出のためのニューロン活性化PaTteRnsを導入する。
提案手法は,ID(In-distribution)のパフォーマンスに影響を与えることなく,最先端の手法よりも優れている。
OODオブジェクト検出のための最大のオープンソースベンチマークを作成しました。
論文 参考訳(メタデータ) (2023-07-31T06:41:26Z) - T2FNorm: Extremely Simple Scaled Train-time Feature Normalization for
OOD Detection [16.03174062601543]
我々は,OOD符号化の目的のために非変換空間を用いながら,訓練中に特徴を超球面空間に変換する新しいアプローチであるT2FNormを紹介した。
In-distribution(ID)におけるモデル精度を損なうことなくOOD検出能力を驚くほど向上させる方法である。
論文 参考訳(メタデータ) (2023-05-28T18:56:54Z) - Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。
GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
論文 参考訳(メタデータ) (2023-02-06T16:38:43Z) - A Novel Explainable Out-of-Distribution Detection Approach for Spiking
Neural Networks [6.100274095771616]
この研究は、スパイキングニューラルネットワークに入力されたテスト例がトレーニングされたデータの分布に属するかどうかを識別できる新しいOoD検出器を提案する。
我々は、スパイクカウントパターンの形で、ネットワークの隠蔽層の内部活性化を特徴付ける。
入力インスタンスのどの部分が最もOoDサンプルとして検出されるかを明らかにする属性マップを作成するために,局所的な説明法が考案された。
論文 参考訳(メタデータ) (2022-09-30T11:16:35Z) - Self-Supervised Anomaly Detection by Self-Distillation and Negative
Sampling [1.304892050913381]
また, 負の例と対照的に, 分散学習セットの自己蒸留はOOD検出を強く向上させることを示した。
低レベルの特徴の統計を高レベルのセマンティクスを変更しながら保持する負のサンプルを活用することにより、より高い平均検出性能が得られることを観察する。
論文 参考訳(メタデータ) (2022-01-17T12:33:14Z) - SLA$^2$P: Self-supervised Anomaly Detection with Adversarial
Perturbation [77.71161225100927]
異常検出は、機械学習の基本的な問題であるが、難しい問題である。
本稿では,非教師付き異常検出のための新しい強力なフレームワークであるSLA$2$Pを提案する。
論文 参考訳(メタデータ) (2021-11-25T03:53:43Z) - Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。
本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。
このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
論文 参考訳(メタデータ) (2021-06-08T11:40:49Z) - Learn what you can't learn: Regularized Ensembles for Transductive
Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。
本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。
本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文 参考訳(メタデータ) (2020-12-10T16:55:13Z) - The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。
本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
論文 参考訳(メタデータ) (2020-12-05T17:30:35Z) - Understanding Classifier Mistakes with Generative Models [88.20470690631372]
ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。
本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。
我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
論文 参考訳(メタデータ) (2020-10-05T22:13:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。