論文の概要: LINe: Out-of-Distribution Detection by Leveraging Important Neurons
- arxiv url: http://arxiv.org/abs/2303.13995v1
- Date: Fri, 24 Mar 2023 13:49:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-27 14:30:23.906899
- Title: LINe: Out-of-Distribution Detection by Leveraging Important Neurons
- Title（参考訳）: line: 重要なニューロンを利用した分布外検出
- Authors: Yong Hyun Ahn, Gyeong-Moon Park, Seong Tae Kim
- Abstract要約: 本稿では,分布内データとOODデータ間のモデル出力の差を解析するための新しい側面を紹介する。
本稿では,分布検出のポストホックアウトのための新しい手法であるLINe( Leveraging Important Neurons)を提案する。
- 参考スコア（独自算出の注目度）: 15.797257361788812
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: It is important to quantify the uncertainty of input samples, especially in
mission-critical domains such as autonomous driving and healthcare, where
failure predictions on out-of-distribution (OOD) data are likely to cause big
problems. OOD detection problem fundamentally begins in that the model cannot
express what it is not aware of. Post-hoc OOD detection approaches are widely
explored because they do not require an additional re-training process which
might degrade the model's performance and increase the training cost. In this
study, from the perspective of neurons in the deep layer of the model
representing high-level features, we introduce a new aspect for analyzing the
difference in model outputs between in-distribution data and OOD data. We
propose a novel method, Leveraging Important Neurons (LINe), for post-hoc Out
of distribution detection.
Shapley value-based pruning reduces the effects of noisy outputs by selecting
only high-contribution neurons for predicting specific classes of input data
and masking the rest. Activation clipping fixes all values above a certain
threshold into the same value, allowing LINe to treat all the class-specific
features equally and just consider the difference between the number of
activated feature differences between in-distribution and OOD data.
Comprehensive experiments verify the effectiveness of the proposed method by
outperforming state-of-the-art post-hoc OOD detection methods on CIFAR-10,
CIFAR-100, and ImageNet datasets.
- Abstract（参考訳）: 特に自律運転や医療といったミッションクリティカルな分野において、アウト・オブ・ディストリビューション(OOD)データの障害予測が大きな問題を引き起こす可能性がある場合において、入力サンプルの不確実性を定量化することが重要である。
OOD検出問題は、モデルが認識していないことを表現できないという点で、基本的に始まります。
ポストホックなood検出アプローチは、モデルのパフォーマンスを低下させ、トレーニングコストを増加させる追加の再トレーニングプロセスを必要としないため、広く検討されている。
本研究では,高次特徴を表すモデルの深層におけるニューロンの観点から,分布内データとOODデータ間のモデル出力の差を解析するための新しい側面を紹介する。
本稿では,分布検出のポストホックアウトのための新しい手法であるLINe( Leveraging Important Neurons)を提案する。
shapley値に基づくプルーニングは、入力データの特定のクラスを予測し、残りをマスキングするために高分配ニューロンのみを選択することで、ノイズ出力の効果を減少させる。
アクティベーション・クリッピングは、あるしきい値以上のすべての値を同じ値に固定し、lineがクラス固有のすべての特徴を等しく扱うことを可能にし、インディストリビューションとoodデータの間の活性化された特徴の差の数を単に考慮するだけでよい。
CIFAR-10, CIFAR-100, ImageNetデータセット上で, 最先端のOOD検出手法よりも高い性能で提案手法の有効性を検証する。
関連論文リスト
- Self-Calibrated Tuning of Vision-Language Models for Out-of-Distribution Detection [24.557227100200215]
オープンソースアプリケーションに信頼性の高い機械学習モデルをデプロイするには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。
近年のCLIPによるOOD検出の進歩は,IDデータから抽出したOOD特徴に即時調整を施すことによって有望な結果を示した。
提案手法は,SCT(Self-Calibrated Tuning)と呼ばれる新しいフレームワークで,与えられた数ショットのIDデータのみを用いて効果的なOOD検出を行う。
論文 参考訳（メタデータ） (2024-11-05T02:29:16Z) - What If the Input is Expanded in OOD Detection? [77.37433624869857]
Out-of-distriion (OOD) 検出は未知のクラスからのOOD入力を特定することを目的としている。
In-distriion(ID)データと区別するために,様々なスコアリング関数を提案する。
入力空間に異なる共通の汚職を用いるという、新しい視点を導入する。
論文 参考訳（メタデータ） (2024-10-24T06:47:28Z) - Advancing Out-of-Distribution Detection through Data Purification and
Dynamic Activation Function Design [12.45245390882047]
OOD-R(Out-of-Distribution-Rectified)は,ノイズ低減特性が向上したオープンソースデータセットの集合体である。
OOD-Rはノイズフィルタリング技術を導入してデータセットを洗練し、OOD検出アルゴリズムのより正確で信頼性の高い評価を確実にする。
本稿では,多様な入力に対するモデルの応答を微調整し,特徴抽出の安定性を向上させる革新的な方法であるActFunを提案する。
論文 参考訳（メタデータ） (2024-03-06T02:39:22Z) - EAT: Towards Long-Tailed Out-of-Distribution Detection [55.380390767978554]
本稿では,長い尾を持つOOD検出の課題に対処する。
主な困難は、尾クラスに属するサンプルとOODデータを区別することである。
本稿では,(1)複数の禁制クラスを導入して分布内クラス空間を拡大すること,(2)コンテキストリッチなOODデータに画像をオーバーレイすることでコンテキスト限定のテールクラスを拡大すること,の2つの簡単な考え方を提案する。
論文 参考訳（メタデータ） (2023-12-14T13:47:13Z) - Classifier-head Informed Feature Masking and Prototype-based Logit
Smoothing for Out-of-Distribution Detection [27.062465089674763]
ニューラルネットワークを現実世界にデプロイする際には、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。
1つの大きな課題は、ニューラルネットワークがOODデータに対して過信的な予測をすることです。
本稿では,新しい特徴マスキング戦略と新しいロジット平滑化戦略に基づく,効果的なポストホックOOD検出手法を提案する。
論文 参考訳（メタデータ） (2023-10-27T12:42:17Z) - Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。
GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
論文 参考訳（メタデータ） (2023-02-06T16:38:43Z) - Augmenting Softmax Information for Selective Classification with
Out-of-Distribution Data [7.221206118679026]
既存のポストホック法はOOD検出でのみ評価した場合とは大きく異なる性能を示す。
本稿では,特徴に依存しない情報を用いて,ソフトマックスに基づく信頼度を向上するSCOD(Softmax Information Retaining Combination, SIRC)の新たな手法を提案する。
多様なImageNetスケールのデータセットと畳み込みニューラルネットワークアーキテクチャの実験は、SIRCがSCODのベースラインを一貫して一致または上回っていることを示している。
論文 参考訳（メタデータ） (2022-07-15T14:39:57Z) - On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。
DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
論文 参考訳（メタデータ） (2021-07-01T17:59:07Z) - Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。
本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。
このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
論文 参考訳（メタデータ） (2021-06-08T11:40:49Z) - Learn what you can't learn: Regularized Ensembles for Transductive
Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。
本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。
本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文 参考訳（メタデータ） (2020-12-10T16:55:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。