論文の概要: Rethinking the Evaluation of Out-of-Distribution Detection: A Sorites Paradox
- arxiv url: http://arxiv.org/abs/2406.09867v1
- Date: Fri, 14 Jun 2024 09:27:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-17 14:24:30.117061
- Title: Rethinking the Evaluation of Out-of-Distribution Detection: A Sorites Paradox
- Title（参考訳）: アウト・オブ・ディストリビューション検出の評価の再考:ソリテスパラドックス
- Authors: Xingming Long, Jie Zhang, Shiguang Shan, Xilin Chen,
- Abstract要約: 既存のアウト・オブ・ディストリビューション(OOD)検出ベンチマークは、サンプルを新しいラベルでOODデータとして分類する。
いくつかの限界OODサンプルは、実際には分布内(ID)サンプルに密接なセマンティック内容を持ち、OODサンプルをソリテスパラドックス(英語版)と判定する。
この問題に対処するため,Incremental Shift OOD (IS-OOD) というベンチマークを構築した。
- 参考スコア（独自算出の注目度）: 70.57120710151105
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most existing out-of-distribution (OOD) detection benchmarks classify samples with novel labels as the OOD data. However, some marginal OOD samples actually have close semantic contents to the in-distribution (ID) sample, which makes determining the OOD sample a Sorites Paradox. In this paper, we construct a benchmark named Incremental Shift OOD (IS-OOD) to address the issue, in which we divide the test samples into subsets with different semantic and covariate shift degrees relative to the ID dataset. The data division is achieved through a shift measuring method based on our proposed Language Aligned Image feature Decomposition (LAID). Moreover, we construct a Synthetic Incremental Shift (Syn-IS) dataset that contains high-quality generated images with more diverse covariate contents to complement the IS-OOD benchmark. We evaluate current OOD detection methods on our benchmark and find several important insights: (1) The performance of most OOD detection methods significantly improves as the semantic shift increases; (2) Some methods like GradNorm may have different OOD detection mechanisms as they rely less on semantic shifts to make decisions; (3) Excessive covariate shifts in the image are also likely to be considered as OOD for some methods. Our code and data are released in https://github.com/qqwsad5/IS-OOD.
- Abstract（参考訳）: 既存のアウト・オブ・ディストリビューション(OOD)検出ベンチマークでは、新しいラベルのサンプルをOODデータとして分類している。
しかし、いくつかの限界OODサンプルは実際には分布内(ID)サンプルに密接な意味的内容を持ち、OODサンプルをソリテスパラドックス(英語版)と判定する。
本稿では,Incrmental Shift OOD (IS-OOD) というベンチマークを構築し,テストサンプルを,IDデータセットに対して異なる意味と共変のシフト度を持つサブセットに分割する。
データ分割は、提案したLanguage Aligned Image Feature Decomposition (LAID)に基づくシフト測定手法により達成される。
さらに、IS-OODベンチマークを補完するために、より多様な共変量を含む高品質な画像を含むSyn-ISデータセットを構築した。
1) セマンティックシフトの増加に伴って多くのOOD検出手法の性能が著しく向上する; (2) GradNormのようないくつかの手法は、決定のためにセマンティックシフトが少ないため、OOD検出機構が異なる可能性がある; 3) 画像中の過剰な共変量シフトもOODと見なされる可能性がある。
私たちのコードとデータはhttps://github.com/qqwsad5/IS-OOD.orgで公開されています。
関連論文リスト
- Semantic or Covariate? A Study on the Intractable Case of Out-of-Distribution Detection [70.57120710151105]
ID分布のセマンティック空間をより正確に定義する。
また,OOD と ID の区別性を保証する "Tractable OOD" の設定も定義する。
論文 参考訳（メタデータ） (2024-11-18T03:09:39Z) - Margin-bounded Confidence Scores for Out-of-Distribution Detection [2.373572816573706]
本稿では,非自明なOOD検出問題に対処するため,Margin bounded Confidence Scores (MaCS) と呼ばれる新しい手法を提案する。
MaCS は ID と OOD のスコアの差を拡大し、決定境界をよりコンパクトにする。
画像分類タスクのための様々なベンチマークデータセットの実験により,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2024-09-22T05:40:25Z) - Distilling the Unknown to Unveil Certainty [66.29929319664167]
標準ネットワークがトレーニングされるIDデータから逸脱するテストサンプルを特定するためには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。
本稿では,IDデータのトレーニングが可能であるか否かを問う,先駆的な学習フレームワークであるOODナレッジ蒸留について紹介する。
論文 参考訳（メタデータ） (2023-11-14T08:05:02Z) - General-Purpose Multi-Modal OOD Detection Framework [5.287829685181842]
アウト・オブ・ディストリビューション(OOD)検出は、機械学習(ML)システムの安全性と信頼性を保証するために重要なトレーニングデータとは異なるテストサンプルを特定する。
本稿では,2値分類器とコントラスト学習コンポーネントを組み合わせた,汎用的な弱教師付きOOD検出フレームワークWOODを提案する。
提案したWOODモデルを複数の実世界のデータセット上で評価し、実験結果により、WOODモデルがマルチモーダルOOD検出の最先端手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-07-24T18:50:49Z) - Out-of-Distributed Semantic Pruning for Robust Semi-Supervised Learning [17.409939628100517]
我々は,OODセマンティック・プルーニング(OSP)と呼ばれる統合フレームワークを提案する。
OSPは、ID分類の精度を13.7%、TinyImageNetデータセットのOOD検出のAUROCの5.9%に上回っている。
論文 参考訳（メタデータ） (2023-05-29T15:37:07Z) - Unsupervised Evaluation of Out-of-distribution Detection: A Data-centric
Perspective [55.45202687256175]
アウト・オブ・ディストリビューション(OOD)検出法は、個々のテストサンプルがイン・ディストリビューション(IND)なのかOODなのかという、試験対象の真実を持っていると仮定する。
本稿では,OOD検出における教師なし評価問題を初めて紹介する。
我々は,OOD検出性能の教師なし指標としてGscoreを計算する3つの方法を提案する。
論文 参考訳（メタデータ） (2023-02-16T13:34:35Z) - Estimating Soft Labels for Out-of-Domain Intent Detection [122.68266151023676]
Out-of-Domain (OOD)インテント検出は,実際の対話システムにおいて重要である。
擬似OODサンプルに対するソフトラベルを推定できる適応型ソフト擬似ラベル法(ASoul)を提案する。
論文 参考訳（メタデータ） (2022-11-10T13:31:13Z) - Full-Spectrum Out-of-Distribution Detection [42.98617540431124]
両シフトタイプを考慮し、フルスペクトルOOD(FS-OOD)検出を導入する。
本稿では,単純な特徴に基づくセマンティックススコア関数であるSEMを提案する。
SEMは現在の最先端の手法を大きく上回っている。
論文 参考訳（メタデータ） (2022-04-11T17:59:14Z) - Exploring Covariate and Concept Shift for Detection and Calibration of
Out-of-Distribution Data [77.27338842609153]
キャラクタリゼーションにより、OODデータの検出と信頼性校正には、それぞれのシフトに対する感度が重要であることが明らかになった。
分布内データのみを用いて両シフトでのOOD検出を改善するために,幾何学的に着想を得た手法を提案する。
我々は,OOD検出とキャリブレーションの両面で,異なるタイプのシフトの下でうまく機能する手法を最初に提案する。
論文 参考訳（メタデータ） (2021-10-28T15:42:55Z) - Semantically Coherent Out-of-Distribution Detection [26.224146828317277]
現在のアウト・オブ・ディストリビューション(OOD)検出ベンチマークは、ひとつのデータセットをイン・ディストリビューション(ID)として定義し、他のすべてのデータセットをOODとして定義することで、一般的に構築されている。
ベンチマークを再設計し、セマンティック・コヒーレント・アウト・オブ・ディストリビューション検出(SC-OOD)を提案する。
本手法は,SC-OODベンチマークにおける最先端性能を実現する。
論文 参考訳（メタデータ） (2021-08-26T17:53:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。