論文の概要: Practical Evaluation of Out-of-Distribution Detection Methods for Image Classification

• arxiv url: http://arxiv.org/abs/2101.02447v1
• Date: Thu, 7 Jan 2021 09:28:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-10 18:03:46.019324
• Title: Practical Evaluation of Out-of-Distribution Detection Methods for Image Classification
• Title（参考訳）: 画像分類のための分布外検出法の実際的評価
• Authors: Engkarat Techapanurak, Takayuki Okatani
• Abstract要約: 本稿では,代表的なOOD検出手法の性能を3つのシナリオで実験的に評価する。 その結果,シナリオとデータセットの違いにより,手法間の相対的な性能が変化することがわかった。 また,OOD検出手法の選択のガイドとしても利用することができる。
• 参考スコア（独自算出の注目度）: 22.26009759606856
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We reconsider the evaluation of OOD detection methods for image recognition. Although many studies have been conducted so far to build better OOD detection methods, most of them follow Hendrycks and Gimpel's work for the method of experimental evaluation. While the unified evaluation method is necessary for a fair comparison, there is a question of if its choice of tasks and datasets reflect real-world applications and if the evaluation results can generalize to other OOD detection application scenarios. In this paper, we experimentally evaluate the performance of representative OOD detection methods for three scenarios, i.e., irrelevant input detection, novel class detection, and domain shift detection, on various datasets and classification tasks. The results show that differences in scenarios and datasets alter the relative performance among the methods. Our results can also be used as a guide for practitioners for the selection of OOD detection methods.
• Abstract（参考訳）: 我々は画像認識のためのOOD検出手法の評価を再考する。 より優れたOOD検出法を構築するために多くの研究が行われてきたが、そのほとんどはヘンドリックスとギンペルの実験的な評価法に追随している。 公正な比較には統一評価法が必要であるが、タスクとデータセットの選択が現実世界のアプリケーションに反映するかどうか、評価結果が他のOOD検出アプリケーションシナリオに一般化できるかどうかが疑問である。 本稿では,様々なデータセットや分類タスクにおいて,非関連な入力検出,新しいクラス検出,ドメインシフト検出の3つのシナリオに対して,代表OOD検出手法の性能を実験的に評価する。 その結果,シナリオとデータセットの違いにより,手法間の相対的な性能が変化することがわかった。 また,OOD検出法を選択するための実践者のためのガイドとしても利用できる。

関連論文リスト

• Beyond AUROC & co. for evaluating out-of-distribution detection performance [50.88341818412508]
  安全(r)AIとの関連性を考えると,OOD検出法の比較の基礎が実用的ニーズと整合しているかどうかを検討することが重要である。 我々は,IDとOODの分離が不十分なことを明示する新しい指標であるAUTC(Area Under the Threshold Curve)を提案する。
  論文  参考訳（メタデータ） (2023-06-26T12:51:32Z)
• Better Understanding Differences in Attribution Methods via Systematic Evaluations [57.35035463793008]
  モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。 本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。 これらの評価手法を用いて、広範囲のモデルにおいて広く用いられている属性手法の長所と短所について検討する。
  論文  参考訳（メタデータ） (2023-03-21T14:24:58Z)
• Unsupervised Evaluation of Out-of-distribution Detection: A Data-centric Perspective [55.45202687256175]
  アウト・オブ・ディストリビューション(OOD)検出法は、個々のテストサンプルがイン・ディストリビューション(IND)なのかOODなのかという、試験対象の真実を持っていると仮定する。 本稿では,OOD検出における教師なし評価問題を初めて紹介する。 我々は,OOD検出性能の教師なし指標としてGscoreを計算する3つの方法を提案する。
  論文  参考訳（メタデータ） (2023-02-16T13:34:35Z)
• Rethinking Out-of-distribution (OOD) Detection: Masked Image Modeling is All You Need [52.88953913542445]
  簡単な再構築手法を用いることで,OOD検出の性能が大幅に向上する可能性が示唆された。 我々は、OOD検出フレームワーク(MOOD)のプリテキストタスクとして、マスケ画像モデリング(Masked Image Modeling)を採用する。
  論文  参考訳（メタデータ） (2023-02-06T08:24:41Z)
• Breaking Down Out-of-Distribution Detection: Many Methods Based on OOD Training Data Estimate a Combination of the Same Core Quantities [104.02531442035483]
  本研究の目的は,OOD検出手法の暗黙的なスコアリング機能を識別すると同時に,共通の目的を認識することである。 内分布と外分布の2値差はOOD検出問題のいくつかの異なる定式化と等価であることを示す。 また, 外乱露光で使用される信頼損失は, 理論上最適のスコアリング関数と非自明な方法で異なる暗黙的なスコアリング関数を持つことを示した。
  論文  参考訳（メタデータ） (2022-06-20T16:32:49Z)
• Towards Better Understanding Attribution Methods [77.1487219861185]
  モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。 本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。 また,いくつかの属性法の性能を著しく向上する処理後平滑化ステップを提案する。
  論文  参考訳（メタデータ） (2022-05-20T20:50:17Z)
• Out-of-Distribution Detection for Medical Applications: Guidelines for Practical Evaluation [0.0]
  Out-of-Distribution(OOD)サンプルをリアルタイムで検出することは、医療分野における機械学習モデルのデプロイにとって重要な安全性チェックである。 実際にOOD検出方法を選択する方法には,評価ガイドラインが欠如している。 本稿では,特定の医療データセットに対して最適なOOD検出器を選択するための,一連の実践的考察と試験を提案する。
  論文  参考訳（メタデータ） (2021-09-30T07:05:20Z)
• Evaluation of Out-of-Distribution Detection Performance of Self-Supervised Learning in a Controllable Environment [27.28750644075659]
  自己教師付き学習(SSL)手法のアウト・オブ・ディストリビューション(OOD)検出性能を新しい評価フレームワークを用いて評価する。 従来の評価手法と異なり,提案手法は分布内サンプルからのOODサンプルの距離を調整している。
  論文  参考訳（メタデータ） (2020-11-26T04:11:48Z)
• Contrastive Training for Improved Out-of-Distribution Detection [36.61315534166451]
  本稿では,OOD検出性能向上のためのコントラストトレーニングを提案する。 コントラストトレーニングは,多くのベンチマークにおいてOOD検出性能を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2020-07-10T18:40:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。