論文の概要: Beyond AUROC & co. for evaluating out-of-distribution detection
performance
- arxiv url: http://arxiv.org/abs/2306.14658v1
- Date: Mon, 26 Jun 2023 12:51:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-27 13:36:33.174318
- Title: Beyond AUROC & co. for evaluating out-of-distribution detection
performance
- Title(参考訳): アウトオブディストリビューション検出性能評価のためのauroc & co.
- Authors: Galadrielle Humblot-Renaux, Sergio Escalera, Thomas B. Moeslund
- Abstract要約: 安全(r)AIとの関連性を考えると,OOD検出法の比較の基礎が実用的ニーズと整合しているかどうかを検討することが重要である。
我々は,IDとOODの分離が不十分なことを明示する新しい指標であるAUTC(Area Under the Threshold Curve)を提案する。
- 参考スコア(独自算出の注目度): 50.88341818412508
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While there has been a growing research interest in developing
out-of-distribution (OOD) detection methods, there has been comparably little
discussion around how these methods should be evaluated. Given their relevance
for safe(r) AI, it is important to examine whether the basis for comparing OOD
detection methods is consistent with practical needs. In this work, we take a
closer look at the go-to metrics for evaluating OOD detection, and question the
approach of exclusively reducing OOD detection to a binary classification task
with little consideration for the detection threshold. We illustrate the
limitations of current metrics (AUROC & its friends) and propose a new metric -
Area Under the Threshold Curve (AUTC), which explicitly penalizes poor
separation between ID and OOD samples. Scripts and data are available at
https://github.com/glhr/beyond-auroc
- Abstract(参考訳): out-of-distribution (ood) 検出法の開発には研究の関心が高まっているが、これらの手法をどのように評価すべきかについては議論が分かれている。
安全(r)AIとの関連性を考えると,OOD検出法の比較の基礎が実用的ニーズと整合しているかどうかを検討することが重要である。
本研究は,OOD検出評価のためのgo-toメトリクスを詳しく検討し,検出閾値を考慮せずに,OOD検出を二項分類タスクに限定的に還元するアプローチを疑問視する。
我々は,現在の測定値(AUROCとその友人)の限界を解説し,IDとOODの分離が不十分なことを明示した新しい測定値Area Under the Threshold Curve(AUTC)を提案する。
スクリプトとデータはhttps://github.com/glhr/beyond-aurocで入手できる。
関連論文リスト
- Model-free Test Time Adaptation for Out-Of-Distribution Detection [62.49795078366206]
我々はtextbfDistribution textbfDetection (abbr) のための非パラメトリックテスト時間 textbfAdaptation フレームワークを提案する。
Abbrは、オンラインテストサンプルを使用して、テスト中のモデル適応、データ分散の変更への適応性を向上させる。
複数のOOD検出ベンチマークにおける包括的実験により,abrの有効性を示す。
論文 参考訳(メタデータ) (2023-11-28T02:00:47Z) - Open-World Lifelong Graph Learning [7.535219325248997]
オープンワールドシナリオにおける生涯グラフ学習の課題について検討する。
我々は、新しいクラスを認識するために、out-of-Distribution (OOD) 検出手法を利用する。
我々は,OOD検出手法とグラフ近傍から収集した情報を組み合わせることで,新しいクラス検出を行うことを提案する。
論文 参考訳(メタデータ) (2023-10-19T08:18:10Z) - Unsupervised Evaluation of Out-of-distribution Detection: A Data-centric
Perspective [55.45202687256175]
アウト・オブ・ディストリビューション(OOD)検出法は、個々のテストサンプルがイン・ディストリビューション(IND)なのかOODなのかという、試験対象の真実を持っていると仮定する。
本稿では,OOD検出における教師なし評価問題を初めて紹介する。
我々は,OOD検出性能の教師なし指標としてGscoreを計算する3つの方法を提案する。
論文 参考訳(メタデータ) (2023-02-16T13:34:35Z) - Plugin estimators for selective classification with out-of-distribution
detection [67.28226919253214]
現実世界の分類器は、信頼性の低いサンプルの予測を控えることの恩恵を受けることができる。
これらの設定は、選択分類(SC)とアウト・オブ・ディストリビューション(OOD)の検出文献において広範囲に研究されている。
OOD検出による選択分類に関する最近の研究は、これらの問題の統一的な研究を議論している。
本稿では,既存の手法を理論的に基礎づけ,有効かつ一般化したSCOD用プラグイン推定器を提案する。
論文 参考訳(メタデータ) (2023-01-29T07:45:17Z) - OpenOOD: Benchmarking Generalized Out-of-Distribution Detection [60.13300701826931]
アウト・オブ・ディストリビューション(OOD)検出は、安全クリティカルな機械学習アプリケーションにとって不可欠である。
この分野では現在、統一的で厳格に定式化され、包括的なベンチマークが欠けている。
関連フィールドで開発された30以上のメソッドを実装したOpenOODという,統一的で構造化されたシステムを構築します。
論文 参考訳(メタデータ) (2022-10-13T17:59:57Z) - Augmenting Softmax Information for Selective Classification with
Out-of-Distribution Data [7.221206118679026]
既存のポストホック法はOOD検出でのみ評価した場合とは大きく異なる性能を示す。
本稿では,特徴に依存しない情報を用いて,ソフトマックスに基づく信頼度を向上するSCOD(Softmax Information Retaining Combination, SIRC)の新たな手法を提案する。
多様なImageNetスケールのデータセットと畳み込みニューラルネットワークアーキテクチャの実験は、SIRCがSCODのベースラインを一貫して一致または上回っていることを示している。
論文 参考訳(メタデータ) (2022-07-15T14:39:57Z) - Practical Evaluation of Out-of-Distribution Detection Methods for Image
Classification [22.26009759606856]
本稿では,代表的なOOD検出手法の性能を3つのシナリオで実験的に評価する。
その結果,シナリオとデータセットの違いにより,手法間の相対的な性能が変化することがわかった。
また,OOD検出手法の選択のガイドとしても利用することができる。
論文 参考訳(メタデータ) (2021-01-07T09:28:45Z) - Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。
ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
論文 参考訳(メタデータ) (2020-03-21T17:46:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。