論文の概要: Dissecting Out-of-Distribution Detection and Open-Set Recognition: A Critical Analysis of Methods and Benchmarks
- arxiv url: http://arxiv.org/abs/2408.16757v1
- Date: Thu, 29 Aug 2024 17:55:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-30 12:41:39.479108
- Title: Dissecting Out-of-Distribution Detection and Open-Set Recognition: A Critical Analysis of Methods and Benchmarks
- Title（参考訳）: アウト・オブ・ディストリビューション検出とオープンセット認識:方法とベンチマークの批判的分析
- Authors: Hongjun Wang, Sagar Vaze, Kai Han,
- Abstract要約: 我々は,コミュニティ内の2つの大きなサブフィールドの総合的なビュー – アウト・オブ・ディストリビューション(OOD)検出とオープンセット認識(OSR) – を提供することを目指している。
我々は,OOD検出における最先端手法とOSR設定との厳密な相互評価を行い,それらの手法の性能の強い相関関係を同定する。
我々は,OOD検出とOSRによって取り組まれている問題を解消する,より大規模なベンチマーク設定を提案する。
- 参考スコア（独自算出の注目度）: 17.520137576423593
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Detecting test-time distribution shift has emerged as a key capability for safely deployed machine learning models, with the question being tackled under various guises in recent years. In this paper, we aim to provide a consolidated view of the two largest sub-fields within the community: out-of-distribution (OOD) detection and open-set recognition (OSR). In particular, we aim to provide rigorous empirical analysis of different methods across settings and provide actionable takeaways for practitioners and researchers. Concretely, we make the following contributions: (i) We perform rigorous cross-evaluation between state-of-the-art methods in the OOD detection and OSR settings and identify a strong correlation between the performances of methods for them; (ii) We propose a new, large-scale benchmark setting which we suggest better disentangles the problem tackled by OOD detection and OSR, re-evaluating state-of-the-art OOD detection and OSR methods in this setting; (iii) We surprisingly find that the best performing method on standard benchmarks (Outlier Exposure) struggles when tested at scale, while scoring rules which are sensitive to the deep feature magnitude consistently show promise; and (iv) We conduct empirical analysis to explain these phenomena and highlight directions for future research. Code: \url{https://github.com/Visual-AI/Dissect-OOD-OSR}
- Abstract（参考訳）: テスト時の分散シフトの検出は、安全にデプロイされた機械学習モデルにとって重要な機能として現れており、近年ではさまざまなガイダンスの下で問題に対処している。
本稿では,コミュニティ内における2つの大きなサブフィールド,アウト・オブ・ディストリビューション(OOD)検出とオープン・セット認識(OSR)の総合的なビューを提供することを目的とする。
特に,異なる手法の厳密な実験分析と,実践者や研究者に実用的なテイクアウトを提供することを目標にしている。
具体的には、以下の貢献をします。
i) OOD検出における最先端手法とOSR設定の厳密な相互評価を行い,その手法の性能の強い相関関係を同定する。
(II) OOD検出とOSRによる問題に対処し, 最先端のOOD検出とOSR手法を再評価する, より大規模なベンチマーク設定を提案する。
3) 標準ベンチマーク(アウトレーラ露光)における最高のパフォーマンス手法は、スケールでテストする場合に苦労する一方で、深い特徴量に敏感なルールのスコアリングは、常に有望である、という驚くべき結果が得られます。
(4)これらの現象を説明するための実証分析を行い、今後の研究の方向性を明らかにする。
コード: \url{https://github.com/Visual-AI/Dissect-OOD-OSR}
関連論文リスト
- Margin-bounded Confidence Scores for Out-of-Distribution Detection [2.373572816573706]
本稿では,非自明なOOD検出問題に対処するため,Margin bounded Confidence Scores (MaCS) と呼ばれる新しい手法を提案する。
MaCS は ID と OOD のスコアの差を拡大し、決定境界をよりコンパクトにする。
画像分類タスクのための様々なベンチマークデータセットの実験により,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2024-09-22T05:40:25Z) - Unifying Unsupervised Graph-Level Anomaly Detection and Out-of-Distribution Detection: A Benchmark [73.58840254552656]
近年,非教師付きグラフレベルの異常検出(GLAD)と教師なしグラフレベルのアウト・オブ・ディストリビューション(OOD)検出が注目されている。
教師なしグラフレベルのOODと異常検出のための統一ベンチマーク(我々の方法)を提案する。
我々のベンチマークでは、4つの実用的な異常とOOD検出シナリオにまたがる35のデータセットを網羅している。
我々は,既存手法の有効性,一般化性,堅牢性,効率性について多次元解析を行った。
論文 参考訳（メタデータ） (2024-06-21T04:07:43Z) - Rethinking Out-of-Distribution Detection for Reinforcement Learning: Advancing Methods for Evaluation and Detection [3.7384109981836158]
強化学習(RL)におけるアウト・オブ・ディストリビューション(OOD)検出の問題点について検討する。
本稿では、RLにおけるOOD検出の用語の明確化を提案し、他の機械学習分野の文献と整合する。
OOD検出のための新しいベンチマークシナリオを提案し、エージェント環境ループの異なるコンポーネントに時間的自己相関を伴う異常を導入する。
DEXTERはベンチマークシナリオ間の異常を確実に識別でき、統計から得られた最先端のOOD検出器や高次元変化点検出器と比較して優れた性能を示す。
論文 参考訳（メタデータ） (2024-04-10T15:39:49Z) - Expecting The Unexpected: Towards Broad Out-Of-Distribution Detection [9.656342063882555]
5種類の分布変化について検討し,OOD検出手法の性能評価を行った。
その結果,これらの手法は未知のクラスの検出に優れるが,他のタイプの分散シフトに遭遇した場合,その性能は不整合であることがわかった。
我々は、より一貫性があり包括的なOOD検出ソリューションを提供するアンサンブルアプローチを提案する。
論文 参考訳（メタデータ） (2023-08-22T14:52:44Z) - Beyond AUROC & co. for evaluating out-of-distribution detection
performance [50.88341818412508]
安全(r)AIとの関連性を考えると,OOD検出法の比較の基礎が実用的ニーズと整合しているかどうかを検討することが重要である。
我々は,IDとOODの分離が不十分なことを明示する新しい指標であるAUTC(Area Under the Threshold Curve)を提案する。
論文 参考訳（メタデータ） (2023-06-26T12:51:32Z) - Plugin estimators for selective classification with out-of-distribution
detection [67.28226919253214]
現実世界の分類器は、信頼性の低いサンプルの予測を控えることの恩恵を受けることができる。
これらの設定は、選択分類(SC)とアウト・オブ・ディストリビューション(OOD)の検出文献において広範囲に研究されている。
OOD検出による選択分類に関する最近の研究は、これらの問題の統一的な研究を議論している。
本稿では,既存の手法を理論的に基礎づけ,有効かつ一般化したSCOD用プラグイン推定器を提案する。
論文 参考訳（メタデータ） (2023-01-29T07:45:17Z) - OpenOOD: Benchmarking Generalized Out-of-Distribution Detection [60.13300701826931]
アウト・オブ・ディストリビューション(OOD)検出は、安全クリティカルな機械学習アプリケーションにとって不可欠である。
この分野では現在、統一的で厳格に定式化され、包括的なベンチマークが欠けている。
関連フィールドで開発された30以上のメソッドを実装したOpenOODという,統一的で構造化されたシステムを構築します。
論文 参考訳（メタデータ） (2022-10-13T17:59:57Z) - Triggering Failures: Out-Of-Distribution detection by learning from
local adversarial attacks in Semantic Segmentation [76.2621758731288]
セグメンテーションにおけるアウト・オブ・ディストリビューション(OOD)オブジェクトの検出に取り組む。
私たちの主な貢献は、ObsNetと呼ばれる新しいOOD検出アーキテクチャであり、ローカル・アタック(LAA)に基づく専用トレーニングスキームと関連付けられています。
3つの異なるデータセットの文献の最近の10つの手法と比較して,速度と精度の両面で最高の性能が得られることを示す。
論文 参考訳（メタデータ） (2021-08-03T17:09:56Z) - Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。
ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
論文 参考訳（メタデータ） (2020-03-21T17:46:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。