論文の概要: Are Out-of-Distribution Detection Methods Reliable?

• arxiv url: http://arxiv.org/abs/2211.10892v1
• Date: Sun, 20 Nov 2022 07:30:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 20:14:41.558084
• Title: Are Out-of-Distribution Detection Methods Reliable?
• Title（参考訳）: 分散検出手法は信頼できるか?
• Authors: Vahid Reza Khazaie and Anthony Wong and Mohammad Sabokrou
• Abstract要約: 本稿では,現実的な環境下での配当検出(OOD)の性能を評価するための新しい評価枠組みを確立する。 新しいOODテストデータセットであるCIFAR-10-R、CIFAR-100-R、MVTec-Rは、研究者が現実的な分布シフトの下でOOD検出性能をベンチマークできるようにする。 標準ベンチマークデータセットのさらなるパフォーマンス改善は、そのようなモデルの現実のユーザビリティを向上するものではないことを実証する。
• 参考スコア（独自算出の注目度）: 15.470208827545353
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper establishes a novel evaluation framework for assessing the performance of out-of-distribution (OOD) detection in realistic settings. Our goal is to expose the shortcomings of existing OOD detection benchmarks and encourage a necessary research direction shift toward satisfying the requirements of real-world applications. We expand OOD detection research by introducing new OOD test datasets CIFAR-10-R, CIFAR-100-R, and MVTec-R, which allow researchers to benchmark OOD detection performance under realistic distribution shifts. We also introduce a generalizability score to measure a method's ability to generalize from standard OOD detection test datasets to a realistic setting. Contrary to existing OOD detection research, we demonstrate that further performance improvements on standard benchmark datasets do not increase the usability of such models in the real world. State-of-the-art (SOTA) methods tested on our realistic distributionally-shifted datasets drop in performance for up to 45%. This setting is critical for evaluating the reliability of OOD models before they are deployed in real-world environments.
• Abstract（参考訳）: 本稿では,現実的な環境下での配当検出(OOD)の性能を評価するための新しい評価枠組みを確立する。 我々のゴールは、既存のOOD検出ベンチマークの欠点を明らかにし、現実世界のアプリケーションの要件を満たすための必要な研究の方向転換を促すことです。 我々は,新しいOODテストデータセットCIFAR-10-R,CIFAR-100-R,MVTec-Rを導入し,OOD検出性能を現実的な分布シフト下でベンチマークできるようにした。 また、標準のood検出テストデータセットから現実的な設定へ一般化するメソッドの能力を測定するための一般化可能性スコアも導入する。 既存のOOD検出研究とは対照的に、標準ベンチマークデータセットのさらなる性能向上は、そのようなモデルの現実のユーザビリティを向上しないことを示した。 実際の分散シフトデータセットでテストされた最先端(sota)メソッドは、パフォーマンスを最大45%低下させる。 この設定は、実際の環境にデプロイする前にOODモデルの信頼性を評価するために重要である。

関連論文リスト

• Model-free Test Time Adaptation for Out-Of-Distribution Detection [62.49795078366206]
  我々はtextbfDistribution textbfDetection (abbr) のための非パラメトリックテスト時間 textbfAdaptation フレームワークを提案する。 Abbrは、オンラインテストサンプルを使用して、テスト中のモデル適応、データ分散の変更への適応性を向上させる。 複数のOOD検出ベンチマークにおける包括的実験により,abrの有効性を示す。
  論文  参考訳（メタデータ） (2023-11-28T02:00:47Z)
• Can Pre-trained Networks Detect Familiar Out-of-Distribution Data? [37.36999826208225]
  PT-OODが事前学習ネットワークのOOD検出性能に及ぼす影響について検討した。 特徴空間におけるPT-OODの低線形分離性はPT-OOD検出性能を著しく低下させることがわかった。 本稿では,大規模事前学習モデルに対する一意な解を提案する。
  論文  参考訳（メタデータ） (2023-10-02T02:01:00Z)
• AUTO: Adaptive Outlier Optimization for Online Test-Time OOD Detection [81.49353397201887]
  オープンソースアプリケーションに機械学習モデルをデプロイするには、アウト・オブ・ディストリビューション(OOD)検出が不可欠だ。 我々は、未ラベルのオンラインデータをテスト時に直接利用してOOD検出性能を向上させる、テスト時OOD検出と呼ばれる新しいパラダイムを導入する。 本稿では,入出力フィルタ,IDメモリバンク,意味的に一貫性のある目的からなる適応外乱最適化(AUTO)を提案する。
  論文  参考訳（メタデータ） (2023-03-22T02:28:54Z)
• Unsupervised Evaluation of Out-of-distribution Detection: A Data-centric Perspective [55.45202687256175]
  アウト・オブ・ディストリビューション(OOD)検出法は、個々のテストサンプルがイン・ディストリビューション(IND)なのかOODなのかという、試験対象の真実を持っていると仮定する。 本稿では,OOD検出における教師なし評価問題を初めて紹介する。 我々は,OOD検出性能の教師なし指標としてGscoreを計算する3つの方法を提案する。
  論文  参考訳（メタデータ） (2023-02-16T13:34:35Z)
• Rethinking Out-of-distribution (OOD) Detection: Masked Image Modeling is All You Need [52.88953913542445]
  簡単な再構築手法を用いることで,OOD検出の性能が大幅に向上する可能性が示唆された。 我々は、OOD検出フレームワーク(MOOD)のプリテキストタスクとして、マスケ画像モデリング(Masked Image Modeling)を採用する。
  論文  参考訳（メタデータ） (2023-02-06T08:24:41Z)
• Pseudo-OOD training for robust language models [78.15712542481859]
  OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。 In-distribution(IND)データを用いて擬似OODサンプルを生成するPOORE-POORE-POSthoc pseudo-Ood Regularizationを提案する。 我々は3つの現実世界の対話システムに関する枠組みを広く評価し、OOD検出における新たな最先端技術を実現した。
  論文  参考訳（メタデータ） (2022-10-17T14:32:02Z)
• How Useful are Gradients for OOD Detection Really? [5.459639971144757]
  Out of Distribution(OOD)検出は、リアルタイムアプリケーションに高性能な機械学習モデルをデプロイする上で重要な課題である。 OOD検出のための勾配法を詳細に解析し,比較する。 本稿では,OOD検出における性能と計算効率の両面において,従来のベースラインよりも向上した汎用的,非段階的なOOD検出手法を提案する。
  論文  参考訳（メタデータ） (2022-05-20T21:10:05Z)
• RODD: A Self-Supervised Approach for Robust Out-of-Distribution Detection [12.341250124228859]
  本稿では,分散データセットに依存しない簡易かつ効果的なOOD検出手法を提案する。 提案手法は, コンパクトな低次元空間上に埋没するトレーニングサンプルの自己教師型特徴学習に依存する。 自己教師付きコントラスト学習を用いた事前学習モデルでは、潜伏空間における一次元特徴学習のより良いモデルが得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-06T03:05:58Z)
• ReAct: Out-of-distribution Detection With Rectified Activations [20.792140933660075]
  オフ・オブ・ディストリビューション (OOD) 検出は, 実用的重要性から近年注目されている。 主な課題の1つは、モデルがしばしばOODデータに対して高い信頼性の予測を生成することである。 我々は,OODデータに対するモデル過信を低減するためのシンプルで効果的な手法であるReActを提案する。
  論文  参考訳（メタデータ） (2021-11-24T21:02:07Z)
• Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
  既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。 ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
  論文  参考訳（メタデータ） (2020-03-21T17:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。