論文の概要: Mitigating Overconfidence in Out-of-Distribution Detection by Capturing Extreme Activations
- arxiv url: http://arxiv.org/abs/2405.12658v1
- Date: Tue, 21 May 2024 10:14:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-22 13:39:22.817680
- Title: Mitigating Overconfidence in Out-of-Distribution Detection by Capturing Extreme Activations
- Title（参考訳）: 極活動捕獲による分布外検出における過信の軽減
- Authors: Mohammad Azizmalayeri, Ameen Abu-Hanna, Giovanni Cinà,
- Abstract要約: Overconfidence"は特定のニューラルネットワークアーキテクチャの本質的な性質であり、OOD検出の低さにつながる。
ニューラルネットワークの最後層における極端なアクティベーション値を計測し、この過信のプロキシを利用して、複数のOOD検出ベースラインを改善する。
基準値と比較すると,OOD検出は2桁に増加し,精度が向上することが多い。
- 参考スコア（独自算出の注目度）: 1.8531577178922987
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Detecting out-of-distribution (OOD) instances is crucial for the reliable deployment of machine learning models in real-world scenarios. OOD inputs are commonly expected to cause a more uncertain prediction in the primary task; however, there are OOD cases for which the model returns a highly confident prediction. This phenomenon, denoted as "overconfidence", presents a challenge to OOD detection. Specifically, theoretical evidence indicates that overconfidence is an intrinsic property of certain neural network architectures, leading to poor OOD detection. In this work, we address this issue by measuring extreme activation values in the penultimate layer of neural networks and then leverage this proxy of overconfidence to improve on several OOD detection baselines. We test our method on a wide array of experiments spanning synthetic data and real-world data, tabular and image datasets, multiple architectures such as ResNet and Transformer, different training loss functions, and include the scenarios examined in previous theoretical work. Compared to the baselines, our method often grants substantial improvements, with double-digit increases in OOD detection AUC, and it does not damage performance in any scenario.
- Abstract（参考訳）: 現実世界のシナリオにおいて、マシンラーニングモデルの信頼性の高いデプロイには、アウト・オブ・ディストリビューション(OOD)インスタンスの検出が不可欠だ。
OOD入力は、通常、一次タスクにおいてより不確実な予測を引き起こすと予測されるが、モデルが高い信頼性の予測を返すOODケースが存在する。
この現象は「過信」と表現され、OOD検出に挑戦する。
特に、理論的な証拠は、過信は特定のニューラルネットワークアーキテクチャの本質的な性質であり、OOD検出の低さにつながることを示している。
本研究では,ニューラルネットワークの終端層における極端な活性化値を測定し,この過信のプロキシを利用して複数のOOD検出ベースラインを改善することにより,この問題に対処する。
提案手法は,合成データと実世界のデータ,表と画像のデータセット,ResNetやTransformerなどの複数のアーキテクチャ,トレーニング損失関数の相違,過去の理論的研究で検討されたシナリオを含む,幅広い実験で検証する。
ベースラインと比較すると,OOD検出AUCは2桁に増加し,どのシナリオにおいても性能が損なわれることはない。
関連論文リスト
- Rethinking Out-of-Distribution Detection on Imbalanced Data Distribution [38.844580833635725]
アーキテクチャ設計におけるバイアスを緩和し,不均衡なOOD検出器を増強する訓練時間正規化手法を提案する。
提案手法は,CIFAR10-LT,CIFAR100-LT,ImageNet-LTのベンチマークに対して一貫した改良を行う。
論文 参考訳（メタデータ） (2024-07-23T12:28:59Z) - Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
多くの信頼度推定法は誤分類誤りを検出するのに有害である。
本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
論文 参考訳（メタデータ） (2024-03-05T11:44:14Z) - Out-of-Distribution Knowledge Distillation via Confidence Amendment [50.56321442948141]
標準ネットワークがトレーニングされるIDデータから逸脱するテストサンプルを特定するためには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。
本稿では,IDデータのトレーニングが可能であるか否かを問う,先駆的な学習フレームワークであるOODナレッジ蒸留について紹介する。
このフレームワークは、標準ネットワークからOODに敏感な知識を活用し、IDとOODサンプルの識別に適したバイナリ分類器を構築する。
論文 参考訳（メタデータ） (2023-11-14T08:05:02Z) - NECO: NEural Collapse Based Out-of-distribution detection [2.4958897155282282]
OOD検出のための新しいポストホック法NECOを紹介する。
実験の結果,NECOは小型・大規模OOD検出タスクの両方を達成できた。
OOD検出における本手法の有効性を理論的に説明する。
論文 参考訳（メタデータ） (2023-10-10T17:53:36Z) - Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳（メタデータ） (2023-10-02T03:25:32Z) - Can Pre-trained Networks Detect Familiar Out-of-Distribution Data? [37.36999826208225]
PT-OODが事前学習ネットワークのOOD検出性能に及ぼす影響について検討した。
特徴空間におけるPT-OODの低線形分離性はPT-OOD検出性能を著しく低下させることがわかった。
本稿では,大規模事前学習モデルに対する一意な解を提案する。
論文 参考訳（メタデータ） (2023-10-02T02:01:00Z) - Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。
GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
論文 参考訳（メタデータ） (2023-02-06T16:38:43Z) - ReAct: Out-of-distribution Detection With Rectified Activations [20.792140933660075]
オフ・オブ・ディストリビューション (OOD) 検出は, 実用的重要性から近年注目されている。
主な課題の1つは、モデルがしばしばOODデータに対して高い信頼性の予測を生成することである。
我々は,OODデータに対するモデル過信を低減するためのシンプルで効果的な手法であるReActを提案する。
論文 参考訳（メタデータ） (2021-11-24T21:02:07Z) - Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。
本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。
このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
論文 参考訳（メタデータ） (2021-06-08T11:40:49Z) - Learn what you can't learn: Regularized Ensembles for Transductive
Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。
本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。
本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文 参考訳（メタデータ） (2020-12-10T16:55:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。