論文の概要: Understanding the Feature Norm for Out-of-Distribution Detection
- arxiv url: http://arxiv.org/abs/2310.05316v1
- Date: Mon, 9 Oct 2023 00:17:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 08:28:46.049728
- Title: Understanding the Feature Norm for Out-of-Distribution Detection
- Title（参考訳）: 分布外検出のための特徴ノルムの理解
- Authors: Jaewoo Park, Jacky Chen Long Chai, Jaeho Yoon, Andrew Beng Jin Teoh
- Abstract要約: 分類データセットに基づいてトレーニングされたニューラルネットワークは、インディストリビューション(ID)サンプルに対して、隠蔽層の特徴のより高いベクトルノルムを示すことが多い。
隠れた層ニューロンの活性化と不活性化の傾向を捉えることができる新規な負認識ノルム(NAN)を提案する。
- 参考スコア（独自算出の注目度）: 16.40441221109391
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A neural network trained on a classification dataset often exhibits a higher
vector norm of hidden layer features for in-distribution (ID) samples, while
producing relatively lower norm values on unseen instances from
out-of-distribution (OOD). Despite this intriguing phenomenon being utilized in
many applications, the underlying cause has not been thoroughly investigated.
In this study, we demystify this very phenomenon by scrutinizing the
discriminative structures concealed in the intermediate layers of a neural
network. Our analysis leads to the following discoveries: (1) The feature norm
is a confidence value of a classifier hidden in the network layer, specifically
its maximum logit. Hence, the feature norm distinguishes OOD from ID in the
same manner that a classifier confidence does. (2) The feature norm is
class-agnostic, thus it can detect OOD samples across diverse discriminative
models. (3) The conventional feature norm fails to capture the deactivation
tendency of hidden layer neurons, which may lead to misidentification of ID
samples as OOD instances. To resolve this drawback, we propose a novel
negative-aware norm (NAN) that can capture both the activation and deactivation
tendencies of hidden layer neurons. We conduct extensive experiments on NAN,
demonstrating its efficacy and compatibility with existing OOD detectors, as
well as its capability in label-free environments.
- Abstract（参考訳）: 分類データセットでトレーニングされたニューラルネットワークは、イン・ディストリビューション(id)サンプルの隠れ層特徴のより高いベクターノルムをしばしば提示し、アウト・オブ・ディストリビューション(ood)から未知のインスタンスに対して比較的低いノルム値を生成する。
この興味深い現象は多くの応用で利用されているが、根本的な原因は調査されていない。
本研究では,ニューラルネットワークの中間層に隠された識別構造を精査することにより,この現象を解明する。
1)特徴ノルムは,ネットワーク層に隠された分類器の信頼性値,特に最大ロジットである。
したがって、特徴ノルムは、分類器の信頼度と同じ方法でOODとIDを区別する。
(2) 特徴ノルムはクラスに依存しないため、様々な識別モデルでoodサンプルを検出できる。
3) 従来の特徴ノルムは, 隠蔽層ニューロンの非活性化傾向を捉えず, ID サンプルを OOD インスタンスと誤同定する可能性がある。
この欠点を解決するために,隠れ層ニューロンの活性化と不活性化の傾向を捉えることのできる,新たな負認識ノルム(nan)を提案する。
我々はnanを広範囲に実験し,既存のood検出器の有効性と互換性を実証し,ラベルフリー環境においてその性能を示す。
関連論文リスト
- Going Beyond Conventional OOD Detection [0.0]
アウト・オブ・ディストリビューション(OOD)検出は、重要なアプリケーションにディープラーニングモデルの安全なデプロイを保証するために重要である。
従来型OOD検出(ASCOOD)への統一的アプローチを提案する。
提案手法は, スパイラル相関の影響を効果的に軽減し, 微粒化特性の獲得を促す。
論文 参考訳（メタデータ） (2024-11-16T13:04:52Z) - The Best of Both Worlds: On the Dilemma of Out-of-distribution Detection [75.65876949930258]
アウト・オブ・ディストリビューション(OOD)検出はモデル信頼性に不可欠である。
我々は,OODの一般化能力を秘かに犠牲にすることで,最先端手法のOOD検出性能が向上することを示す。
論文 参考訳（メタデータ） (2024-10-12T07:02:04Z) - Your Classifier Can Be Secretly a Likelihood-Based OOD Detector [17.420727709895736]
Intrinsic Likelihood (INK) を提案する。
INKは、far-OODと near-OODを含む様々なOOD検出設定において、新しい最先端技術を確立している。
論文 参考訳（メタデータ） (2024-08-09T04:00:53Z) - Distilling the Unknown to Unveil Certainty [66.29929319664167]
標準ネットワークがトレーニングされるIDデータから逸脱するテストサンプルを特定するためには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。
本稿では,IDデータのトレーニングが可能であるか否かを問う,先駆的な学習フレームワークであるOODナレッジ蒸留について紹介する。
論文 参考訳（メタデータ） (2023-11-14T08:05:02Z) - Detecting Out-of-Distribution Through the Lens of Neural Collapse [7.04686607977352]
安全なデプロイメントには、アウト・オブ・ディストリビューション(OOD)検出が不可欠だ。
既存の検出器は、一般化の相違とコストの懸念を示す。
我々はニューラル崩壊の傾向にインスパイアされた、高度に多用途で効率的なOOD検出器を提案する。
論文 参考訳（メタデータ） (2023-11-02T05:18:28Z) - T2FNorm: Extremely Simple Scaled Train-time Feature Normalization for
OOD Detection [16.03174062601543]
我々は,OOD符号化の目的のために非変換空間を用いながら,訓練中に特徴を超球面空間に変換する新しいアプローチであるT2FNormを紹介した。
In-distribution(ID)におけるモデル精度を損なうことなくOOD検出能力を驚くほど向上させる方法である。
論文 参考訳（メタデータ） (2023-05-28T18:56:54Z) - Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。
GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
論文 参考訳（メタデータ） (2023-02-06T16:38:43Z) - A Novel Explainable Out-of-Distribution Detection Approach for Spiking
Neural Networks [6.100274095771616]
この研究は、スパイキングニューラルネットワークに入力されたテスト例がトレーニングされたデータの分布に属するかどうかを識別できる新しいOoD検出器を提案する。
我々は、スパイクカウントパターンの形で、ネットワークの隠蔽層の内部活性化を特徴付ける。
入力インスタンスのどの部分が最もOoDサンプルとして検出されるかを明らかにする属性マップを作成するために,局所的な説明法が考案された。
論文 参考訳（メタデータ） (2022-09-30T11:16:35Z) - Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。
本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。
このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
論文 参考訳（メタデータ） (2021-06-08T11:40:49Z) - Learn what you can't learn: Regularized Ensembles for Transductive
Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。
本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。
本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文 参考訳（メタデータ） (2020-12-10T16:55:13Z) - Understanding Classifier Mistakes with Generative Models [88.20470690631372]
ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。
本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。
我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
論文 参考訳（メタデータ） (2020-10-05T22:13:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。