論文の概要: No True State-of-the-Art? OOD Detection Methods are Inconsistent across
Datasets
- arxiv url: http://arxiv.org/abs/2109.05554v1
- Date: Sun, 12 Sep 2021 16:35:00 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-14 15:30:02.492049
- Title: No True State-of-the-Art? OOD Detection Methods are Inconsistent across
Datasets
- Title(参考訳): 真実の状態は?
OOD検出法はデータセット間で一貫性がない
- Authors: Fahim Tajwar, Ananya Kumar, Sang Michael Xie, Percy Liang
- Abstract要約: アウト・オブ・ディストリビューション検出は、信頼できるMLシステムの重要なコンポーネントである。
本研究では,これらの手法が16対の標準セット上でのOOD検出よりも本質的に優れていることを示す。
また、ある(ID, OOD)ペアにおいて他の(ID, OOD)ペアよりも優れる手法は、低データ方式ではそうしない可能性があることを示す。
- 参考スコア(独自算出の注目度): 69.725266027309
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Out-of-distribution detection is an important component of reliable ML
systems. Prior literature has proposed various methods (e.g., MSP (Hendrycks &
Gimpel, 2017), ODIN (Liang et al., 2018), Mahalanobis (Lee et al., 2018)),
claiming they are state-of-the-art by showing they outperform previous methods
on a selected set of in-distribution (ID) and out-of-distribution (OOD)
datasets. In this work, we show that none of these methods are inherently
better at OOD detection than others on a standardized set of 16 (ID, OOD)
pairs. We give possible explanations for these inconsistencies with simple toy
datasets where whether one method outperforms another depends on the structure
of the ID and OOD datasets in question. Finally, we show that a method
outperforming another on a certain (ID, OOD) pair may not do so in a low-data
regime. In the low-data regime, we propose a distance-based method, Pairwise
OOD detection (POD), which is based on Siamese networks and improves over
Mahalanobis by sidestepping the expensive covariance estimation step. Our
results suggest that the OOD detection problem may be too broad, and we should
consider more specific structures for leverage.
- Abstract(参考訳): 分散検出は信頼性の高いmlシステムの重要なコンポーネントである。
以前の文献では、msp (hendrycks & gimpel, 2017), odin (liang et al., 2018), mahalanobis (lee et al., 2018) など、さまざまな方法を提案しており、選択された分散(id)と分散(ood)データセットのセットで以前の方法よりも優れていることを示している。
本研究では,これらの手法が16対の標準セット(ID, OOD)上でのOOD検出において,他の方法よりも本質的に優れていることを示す。
一方の手法が他の手法よりも優れているかどうかが問題となるIDとOODデータセットの構造に依存している場合、これらの矛盾を単純な玩具データセットで説明できる。
最後に、ある(ID, OOD)ペアにおいて他の(ID, OOD)ペアよりも優れる手法が、低データ方式では実現できないことを示す。
低データ環境では,siameseネットワークに基づく距離ベース手法であるペアワイズood検出(pod)を提案し,コストのかかる共分散推定ステップを副ステップとしてマハラノビスよりも改善する。
以上の結果から,ood検出問題は広すぎる可能性があり,さらに具体的な構造を考慮すべきである。
関連論文リスト
- How to Overcome Curse-of-Dimensionality for Out-of-Distribution
Detection? [29.668859994222238]
OOD検出のための新しいフレームワークSubspace Nearest Neighbor (SNN)を提案する。
トレーニングにおいて,本手法は次元の最も関連性の高い部分集合を利用してモデルとその特徴表現を正規化する。
現在の最良の距離ベースの手法と比較して、SNNはCIFAR-100ベンチマークで平均FPR95を15.96%削減している。
論文 参考訳(メタデータ) (2023-12-22T06:04:09Z) - EAT: Towards Long-Tailed Out-of-Distribution Detection [55.380390767978554]
本稿では,長い尾を持つOOD検出の課題に対処する。
主な困難は、尾クラスに属するサンプルとOODデータを区別することである。
本稿では,(1)複数の禁制クラスを導入して分布内クラス空間を拡大すること,(2)コンテキストリッチなOODデータに画像をオーバーレイすることでコンテキスト限定のテールクラスを拡大すること,の2つの簡単な考え方を提案する。
論文 参考訳(メタデータ) (2023-12-14T13:47:13Z) - Model-free Test Time Adaptation for Out-Of-Distribution Detection [62.49795078366206]
我々はtextbfDistribution textbfDetection (abbr) のための非パラメトリックテスト時間 textbfAdaptation フレームワークを提案する。
Abbrは、オンラインテストサンプルを使用して、テスト中のモデル適応、データ分散の変更への適応性を向上させる。
複数のOOD検出ベンチマークにおける包括的実験により,abrの有効性を示す。
論文 参考訳(メタデータ) (2023-11-28T02:00:47Z) - Out-of-distribution Detection Learning with Unreliable
Out-of-distribution Sources [73.28967478098107]
アウト・オブ・ディストリビューション(OOD)検出は、予測者が有効な予測を行うことができないOODデータをイン・ディストリビューション(ID)データとして識別する。
通常、OODパターンを識別できる予測器をトレーニングするために、実際のアウト・オブ・ディストリビューション(OOD)データを収集するのは困難である。
本稿では,Auxiliary Task-based OOD Learning (ATOL) というデータ生成に基づく学習手法を提案する。
論文 参考訳(メタデータ) (2023-11-06T16:26:52Z) - Beyond AUROC & co. for evaluating out-of-distribution detection
performance [50.88341818412508]
安全(r)AIとの関連性を考えると,OOD検出法の比較の基礎が実用的ニーズと整合しているかどうかを検討することが重要である。
我々は,IDとOODの分離が不十分なことを明示する新しい指標であるAUTC(Area Under the Threshold Curve)を提案する。
論文 参考訳(メタデータ) (2023-06-26T12:51:32Z) - Augmenting Softmax Information for Selective Classification with
Out-of-Distribution Data [7.221206118679026]
既存のポストホック法はOOD検出でのみ評価した場合とは大きく異なる性能を示す。
本稿では,特徴に依存しない情報を用いて,ソフトマックスに基づく信頼度を向上するSCOD(Softmax Information Retaining Combination, SIRC)の新たな手法を提案する。
多様なImageNetスケールのデータセットと畳み込みニューラルネットワークアーキテクチャの実験は、SIRCがSCODのベースラインを一貫して一致または上回っていることを示している。
論文 参考訳(メタデータ) (2022-07-15T14:39:57Z) - Out-of-distribution Detection with Deep Nearest Neighbors [33.71627349163909]
アウト・オブ・ディストリビューション(OOD)検出は、オープンな世界で機械学習モデルをデプロイするための重要なタスクである。
本稿では,OOD検出における非パラメトリック近接距離の有効性について検討する。
いくつかのベンチマークで最寄りのOOD検出の有効性を実証し,優れた性能を示す。
論文 参考訳(メタデータ) (2022-04-13T16:45:21Z) - Igeood: An Information Geometry Approach to Out-of-Distribution
Detection [35.04325145919005]
Igeoodは, オフ・オブ・ディストリビューション(OOD)サンプルを効果的に検出する手法である。
Igeoodは任意のトレーニング済みニューラルネットワークに適用され、機械学習モデルにさまざまなアクセス権を持つ。
Igeoodは、さまざまなネットワークアーキテクチャやデータセットにおいて、競合する最先端の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-03-15T11:26:35Z) - Training OOD Detectors in their Natural Habitats [31.565635192716712]
アウト・オブ・ディストリビューション(OOD)検出は、野生にデプロイされた機械学習モデルにとって重要である。
近年の手法では,OOD検出の改善のために補助外乱データを用いてモデルを正規化している。
我々は、自然にIDとOODの両方のサンプルで構成される野生の混合データを活用する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2022-02-07T15:38:39Z) - Learn what you can't learn: Regularized Ensembles for Transductive
Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。
本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。
本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文 参考訳(メタデータ) (2020-12-10T16:55:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。