論文の概要: Unsupervised Evaluation of Out-of-distribution Detection: A Data-centric Perspective

• arxiv url: http://arxiv.org/abs/2302.08287v1
• Date: Thu, 16 Feb 2023 13:34:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-17 13:49:39.336950
• Title: Unsupervised Evaluation of Out-of-distribution Detection: A Data-centric Perspective
• Title（参考訳）: 分布外検出の教師なし評価:データ中心視点
• Authors: Yuhang Zhang, Weihong Deng, Liang Zheng
• Abstract要約: アウト・オブ・ディストリビューション(OOD)検出法は、個々のテストサンプルがイン・ディストリビューション(IND)なのかOODなのかという、試験対象の真実を持っていると仮定する。 本稿では,OOD検出における教師なし評価問題を初めて紹介する。 我々は,OOD検出性能の教師なし指標としてGscoreを計算する3つの方法を提案する。
• 参考スコア（独自算出の注目度）: 55.45202687256175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Out-of-distribution (OOD) detection methods assume that they have test ground truths, i.e., whether individual test samples are in-distribution (IND) or OOD. However, in the real world, we do not always have such ground truths, and thus do not know which sample is correctly detected and cannot compute the metric like AUROC to evaluate the performance of different OOD detection methods. In this paper, we are the first to introduce the unsupervised evaluation problem in OOD detection, which aims to evaluate OOD detection methods in real-world changing environments without OOD labels. We propose three methods to compute Gscore as an unsupervised indicator of OOD detection performance. We further introduce a new benchmark Gbench, which has 200 real-world OOD datasets of various label spaces to train and evaluate our method. Through experiments, we find a strong quantitative correlation betwwen Gscore and the OOD detection performance. Extensive experiments demonstrate that our Gscore achieves state-of-the-art performance. Gscore also generalizes well with different IND/OOD datasets, OOD detection methods, backbones and dataset sizes. We further provide interesting analyses of the effects of backbones and IND/OOD datasets on OOD detection performance. The data and code will be available.
• Abstract（参考訳）: out-of-distribution (ood) 検出法は、個々のテストサンプルが in-distribution (ind) か ood かを仮定する。 しかし,現実の世界では,必ずしもそのような基礎的事実は持たないため,どのサンプルが正しく検出されたかは分かっておらず,AUROCのような計量を計算して異なるOOD検出手法の性能を評価することはできない。 本稿では,OODラベルのない実環境変化環境におけるOOD検出手法の評価を目的とした,OOD検出における教師なし評価問題を初めて紹介する。 OOD検出性能の教師なし指標としてGscoreを計算する3つの方法を提案する。 さらに、Gbenchというベンチマークを新たに導入し、様々なラベル空間の現実のOODデータセットを200個用意し、この手法を訓練し評価する。 実験により, Gscore と OOD 検出性能の相関が強いことがわかった。 我々のGscoreは最先端のパフォーマンスを実現している。 Gscoreはまた、異なるIND/OODデータセット、OOD検出方法、バックボーン、データセットサイズをうまく一般化している。 さらに, バックボーンとIND/OODデータセットがOOD検出性能に与える影響について興味深い解析を行った。 データとコードは利用可能になる。

関連論文リスト

• Rethinking Out-of-Distribution Detection on Imbalanced Data Distribution [38.844580833635725]
  アーキテクチャ設計におけるバイアスを緩和し,不均衡なOOD検出器を増強する訓練時間正規化手法を提案する。 提案手法は,CIFAR10-LT,CIFAR100-LT,ImageNet-LTのベンチマークに対して一貫した改良を行う。
  論文  参考訳（メタデータ） (2024-07-23T12:28:59Z)
• Model-free Test Time Adaptation for Out-Of-Distribution Detection [62.49795078366206]
  我々はtextbfDistribution textbfDetection (abbr) のための非パラメトリックテスト時間 textbfAdaptation フレームワークを提案する。 Abbrは、オンラインテストサンプルを使用して、テスト中のモデル適応、データ分散の変更への適応性を向上させる。 複数のOOD検出ベンチマークにおける包括的実験により,abrの有効性を示す。
  論文  参考訳（メタデータ） (2023-11-28T02:00:47Z)
• Beyond AUROC & co. for evaluating out-of-distribution detection performance [50.88341818412508]
  安全(r)AIとの関連性を考えると,OOD検出法の比較の基礎が実用的ニーズと整合しているかどうかを検討することが重要である。 我々は,IDとOODの分離が不十分なことを明示する新しい指標であるAUTC(Area Under the Threshold Curve)を提案する。
  論文  参考訳（メタデータ） (2023-06-26T12:51:32Z)
• In or Out? Fixing ImageNet Out-of-Distribution Detection Evaluation [43.865923770543205]
  アウト・オブ・ディストリビューション(OOD)検出は、イン・ディストリビューション・タスクとは無関係な入力を識別する問題である。 現在使用されているテストOODデータセットの大部分は、オープンセット認識(OSR)文学からのデータセットを含む、深刻な問題を抱えている。 我々はNINCOに新しいテストOODデータセットを導入し、各サンプルをIDフリーにチェックし、OOD検出器の強度と障害モードの詳細な分析を可能にする。
  論文  参考訳（メタデータ） (2023-06-01T15:48:10Z)
• Rethinking Out-of-distribution (OOD) Detection: Masked Image Modeling is All You Need [52.88953913542445]
  簡単な再構築手法を用いることで,OOD検出の性能が大幅に向上する可能性が示唆された。 我々は、OOD検出フレームワーク(MOOD)のプリテキストタスクとして、マスケ画像モデリング(Masked Image Modeling)を採用する。
  論文  参考訳（メタデータ） (2023-02-06T08:24:41Z)
• Towards Realistic Out-of-Distribution Detection: A Novel Evaluation Framework for Improving Generalization in OOD Detection [14.541761912174799]
  本稿では,OOD(Out-of-Distribution)検出のための新しい評価フレームワークを提案する。 より現実的な設定で機械学習モデルのパフォーマンスを評価することを目的としている。
  論文  参考訳（メタデータ） (2022-11-20T07:30:15Z)
• Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
  ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。 本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。 このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
  論文  参考訳（メタデータ） (2021-06-08T11:40:49Z)
• Practical Evaluation of Out-of-Distribution Detection Methods for Image Classification [22.26009759606856]
  本稿では,代表的なOOD検出手法の性能を3つのシナリオで実験的に評価する。 その結果,シナリオとデータセットの違いにより,手法間の相対的な性能が変化することがわかった。 また,OOD検出手法の選択のガイドとしても利用することができる。
  論文  参考訳（メタデータ） (2021-01-07T09:28:45Z)
• ATOM: Robustifying Out-of-distribution Detection Using Outlier Mining [51.19164318924997]
  インフォメーション・アウトリエ・マイニングによるアドリアトレーニングは、OOD検出の堅牢性を向上させる。 ATOMは,古典的,敵対的なOOD評価タスクの幅広いファミリーの下で,最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-06-26T20:58:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。