論文の概要: In or Out? Fixing ImageNet Out-of-Distribution Detection Evaluation
- arxiv url: http://arxiv.org/abs/2306.00826v1
- Date: Thu, 1 Jun 2023 15:48:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-02 14:58:24.480242
- Title: In or Out? Fixing ImageNet Out-of-Distribution Detection Evaluation
- Title（参考訳）: In or Out?
画像ネットの分布外検出評価の修正
- Authors: Julian Bitterwolf, Maximilian M\"uller, Matthias Hein
- Abstract要約: アウト・オブ・ディストリビューション(OOD)検出は、イン・ディストリビューション・タスクとは無関係な入力を識別する問題である。
現在使用されているテストOODデータセットの大部分は、オープンセット認識(OSR)文学からのデータセットを含む、深刻な問題を抱えている。
我々はNINCOに新しいテストOODデータセットを導入し、各サンプルをIDフリーにチェックし、OOD検出器の強度と障害モードの詳細な分析を可能にする。
- 参考スコア（独自算出の注目度）: 43.865923770543205
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Out-of-distribution (OOD) detection is the problem of identifying inputs
which are unrelated to the in-distribution task. The OOD detection performance
when the in-distribution (ID) is ImageNet-1K is commonly being tested on a
small range of test OOD datasets. We find that most of the currently used test
OOD datasets, including datasets from the open set recognition (OSR)
literature, have severe issues: In some cases more than 50$\%$ of the dataset
contains objects belonging to one of the ID classes. These erroneous samples
heavily distort the evaluation of OOD detectors. As a solution, we introduce
with NINCO a novel test OOD dataset, each sample checked to be ID free, which
with its fine-grained range of OOD classes allows for a detailed analysis of an
OOD detector's strengths and failure modes, particularly when paired with a
number of synthetic "OOD unit-tests". We provide detailed evaluations across a
large set of architectures and OOD detection methods on NINCO and the
unit-tests, revealing new insights about model weaknesses and the effects of
pretraining on OOD detection performance. We provide code and data at
https://github.com/j-cb/NINCO.
- Abstract（参考訳）: out-of-distribution (ood) 検出は、分散タスクとは無関係な入力を識別する問題である。
インディストリビューション(ID)がImageNet-1Kである場合のOOD検出性能は、少数のOODデータセットで一般的にテストされている。
オープンセット認識(OSR)文学のデータセットを含む、現在使用されているテストOODデータセットの大部分が、深刻な問題を抱えていることがわかった。
これらの誤ったサンプルはOOD検出器の評価を著しく歪めている。
そこで本研究では,新しいOODデータセットをNINCOで導入し,各サンプルがIDフリーであることが確認された。OODクラスは粒度の細かい範囲で,OOD検出器の強度と故障モード,特に多数の合成「OODユニットテスト」と組み合わせた場合の詳細な解析を可能にする。
我々は、NINCOと単体テストにおける大規模なアーキテクチャセットとOOD検出方法の詳細な評価を行い、モデルの弱点と事前学習がOOD検出性能に与える影響について新たな知見を明らかにした。
コードとデータはhttps://github.com/j-cb/ninco.com/で提供します。
関連論文リスト
- Rethinking the Evaluation of Out-of-Distribution Detection: A Sorites Paradox [70.57120710151105]
既存のアウト・オブ・ディストリビューション(OOD)検出ベンチマークは、サンプルを新しいラベルでOODデータとして分類する。
いくつかの限界OODサンプルは、実際には分布内(ID)サンプルに密接なセマンティック内容を持ち、OODサンプルをソリテスパラドックス(英語版)と判定する。
この問題に対処するため,Incremental Shift OOD (IS-OOD) というベンチマークを構築した。
論文 参考訳（メタデータ） (2024-06-14T09:27:56Z) - Negative Label Guided OOD Detection with Pretrained Vision-Language Models [96.67087734472912]
Out-of-distriion (OOD) は未知のクラスからサンプルを識別することを目的としている。
我々は,大規模なコーパスデータベースから大量の負のラベルを抽出する,NegLabelと呼ばれる新しいポストホックOOD検出手法を提案する。
論文 参考訳（メタデータ） (2024-03-29T09:19:52Z) - SR-OOD: Out-of-Distribution Detection via Sample Repairing [48.272537939227206]
アウト・オブ・ディストリビューション(OOD)検出は、機械学習モデルの信頼性と堅牢性を保証するための重要なタスクである。
近年の研究では、生成モデルはOODサンプルに高い信頼度を割り当てることがしばしばあり、データのセマンティックな情報を捕捉できないことが示されている。
我々は,サンプル修復の利点を生かし,新しいOOD検出フレームワーク,SR-OODを提案する。
本フレームワークは,OOD検出における最先端な生成手法よりも優れた性能を実現する。
論文 参考訳（メタデータ） (2023-05-26T16:35:20Z) - Unsupervised Evaluation of Out-of-distribution Detection: A Data-centric
Perspective [55.45202687256175]
アウト・オブ・ディストリビューション(OOD)検出法は、個々のテストサンプルがイン・ディストリビューション(IND)なのかOODなのかという、試験対象の真実を持っていると仮定する。
本稿では,OOD検出における教師なし評価問題を初めて紹介する。
我々は,OOD検出性能の教師なし指標としてGscoreを計算する3つの方法を提案する。
論文 参考訳（メタデータ） (2023-02-16T13:34:35Z) - On the Usefulness of Deep Ensemble Diversity for Out-of-Distribution
Detection [7.221206118679026]
ディープラーニングの安全性クリティカルな応用において、OOD(Out-of-Distribution)データを検出する能力が重要である。
この文献の既存の直観は、ディープ・アンサンブルの予測の多様性は分布シフトを示しているということである。
ImageNet-scale OOD 検出では,この直観が有効でないことを示す。
論文 参考訳（メタデータ） (2022-07-15T15:02:38Z) - Augmenting Softmax Information for Selective Classification with
Out-of-Distribution Data [7.221206118679026]
既存のポストホック法はOOD検出でのみ評価した場合とは大きく異なる性能を示す。
本稿では,特徴に依存しない情報を用いて,ソフトマックスに基づく信頼度を向上するSCOD(Softmax Information Retaining Combination, SIRC)の新たな手法を提案する。
多様なImageNetスケールのデータセットと畳み込みニューラルネットワークアーキテクチャの実験は、SIRCがSCODのベースラインを一貫して一致または上回っていることを示している。
論文 参考訳（メタデータ） (2022-07-15T14:39:57Z) - PnPOOD : Out-Of-Distribution Detection for Text Classification via Plug
andPlay Data Augmentation [25.276900899887192]
ドメイン外サンプル生成によるOOD検出を行うデータ拡張手法であるOODを提案する。
本手法は, クラス境界に近い高品質な識別サンプルを生成し, 精度の高いOOD検出を行う。
我々は、OOD検出に先立つ試みで使用されるデータセットで重要なデータ漏洩問題を強調し、同じ問題に悩まされないOOD検出のための新しいデータセットで結果を共有する。
論文 参考訳（メタデータ） (2021-10-31T14:02:26Z) - Learn what you can't learn: Regularized Ensembles for Transductive
Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。
本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。
本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文 参考訳（メタデータ） (2020-12-10T16:55:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。