論文の概要: Raising the Bar on the Evaluation of Out-of-Distribution Detection
- arxiv url: http://arxiv.org/abs/2209.11960v1
- Date: Sat, 24 Sep 2022 08:48:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-27 14:55:55.062219
- Title: Raising the Bar on the Evaluation of Out-of-Distribution Detection
- Title（参考訳）: アウト・オブ・ディストリビューション検出におけるバーの上昇
- Authors: Jishnu Mukhoti, Tsung-Yu Lin, Bor-Chun Chen, Ashish Shah, Philip H.S.
Torr, Puneet K. Dokania, Ser-Nam Lim
- Abstract要約: 我々は、知覚/視覚的・意味的類似性の概念をiDデータと微妙に異なる概念を用いて、OoDデータの2つのカテゴリを定義した。
iD データセットが与えられた2つのカテゴリそれぞれから OoD サンプルを生成するための GAN ベースのフレームワークを提案する。
従来のベンチマークで非常によく機能する最先端のOoD検出手法は,提案したベンチマークよりもはるかに堅牢であることを示す。
- 参考スコア（独自算出の注目度）: 88.70479625837152
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In image classification, a lot of development has happened in detecting
out-of-distribution (OoD) data. However, most OoD detection methods are
evaluated on a standard set of datasets, arbitrarily different from training
data. There is no clear definition of what forms a ``good" OoD dataset.
Furthermore, the state-of-the-art OoD detection methods already achieve near
perfect results on these standard benchmarks. In this paper, we define 2
categories of OoD data using the subtly different concepts of perceptual/visual
and semantic similarity to in-distribution (iD) data. We define Near OoD
samples as perceptually similar but semantically different from iD samples, and
Shifted samples as points which are visually different but semantically akin to
iD data. We then propose a GAN based framework for generating OoD samples from
each of these 2 categories, given an iD dataset. Through extensive experiments
on MNIST, CIFAR-10/100 and ImageNet, we show that a) state-of-the-art OoD
detection methods which perform exceedingly well on conventional benchmarks are
significantly less robust to our proposed benchmark. Moreover, b) models
performing well on our setup also perform well on conventional real-world OoD
detection benchmarks and vice versa, thereby indicating that one might not even
need a separate OoD set, to reliably evaluate performance in OoD detection.
- Abstract（参考訳）: 画像分類では、アウト・オブ・ディストリビューション(ood)データを検出することに多くの進展があった。
しかし、ほとんどのood検出法は、トレーニングデータとは任意に異なる標準データセット上で評価される。
良い”OoDデータセットを形成するものを明確に定義することはできない。
さらに、最先端のOoD検出手法は、これらの標準ベンチマークでほぼ完璧な結果が得られる。
本稿では,知覚・視覚的・意味的類似性の概念をiDデータと比較し,OoDデータのカテゴリを2つ定義する。
我々は、Near OoDサンプルをiDサンプルと知覚的に似ているが意味的に異なるものと定義し、シフトしたサンプルを視覚的に異なるが、意味的にiDデータに似た点として定義する。
次に、iDデータセットが与えられた2つのカテゴリそれぞれからOoDサンプルを生成するためのGANベースのフレームワークを提案する。
mnist, cifar-10/100, imagenet の広範な実験により,
a)従来のベンチマークで非常によく機能する最先端のood検出手法は,提案するベンチマークに比べて著しくロバスト性が低い。
さらに
b) 従来の実世界のood検出ベンチマークでも良好に動作し,その逆もまた良好であり,ood検出の性能を確実に評価するために,個別のoodセットも不要であることを示す。
関連論文リスト
- Revisiting Deep Ensemble for Out-of-Distribution Detection: A Loss Landscape Perspective [28.545919238058982]
Out-of-Distribution (OoD) は、In-Distribution (InD) データからOoDサンプルを検出する方法である。
我々は,OoD検出における損失景観とモードアンサンブルの新しい視点を提案する。
論文 参考訳（メタデータ） (2023-10-22T08:11:51Z) - SEE-OoD: Supervised Exploration For Enhanced Out-of-Distribution
Detection [11.05254400092658]
我々は,OoD検出精度を高めるために,ワッサースタインスコアを用いた生成逆学習手法を提案する。
具体的には、このジェネレータはOoD空間を探索し、識別器からのフィードバックを用いて合成OoDサンプルを生成する。
提案手法は,様々なコンピュータビジョンデータセットにおける最先端技術よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-10-12T05:20:18Z) - Interpretable Out-Of-Distribution Detection Using Pattern Identification [0.0]
データベースプログラムのアウト・オブ・ディストリビューション(OoD)検出は最重要課題である。
文献における一般的なアプローチは、イン・オブ・ディストリビューション(in-distriion、IoD)とOoDバリデーション・サンプルを必要とする検出器を訓練する傾向がある。
我々は、より解釈可能で堅牢なOoD検出器を構築するために、説明可能なAI、すなわちPartialulパターン識別アルゴリズムから既存の研究を活用することを提案する。
論文 参考訳（メタデータ） (2023-01-24T15:35:54Z) - GOOD-D: On Unsupervised Graph Out-Of-Distribution Detection [67.90365841083951]
我々は,OODグラフを検出するための新しいグラフコントラスト学習フレームワークGOOD-Dを開発した。
GOOD-Dは、潜在IDパターンをキャプチャし、異なる粒度のセマンティック不整合に基づいてOODグラフを正確に検出することができる。
教師なしグラフレベルのOOD検出における先駆的な研究として,提案手法と最先端手法を比較した総合的なベンチマークを構築した。
論文 参考訳（メタデータ） (2022-11-08T12:41:58Z) - Benchmarking Deep Models for Salient Object Detection [67.07247772280212]
汎用SALOD(General SALient Object Detection)ベンチマークを構築し,複数のSOD手法の総合的な比較を行った。
以上の実験では、既存の損失関数は、通常いくつかの指標に特化しているが、他の指標には劣る結果が報告されている。
我々は,深層ネットワークに画素レベルと画像レベルの両方の監視信号を統合することにより,より識別的な特徴を学習するためのエッジ・アウェア・ロス(EA)を提案する。
論文 参考訳（メタデータ） (2022-02-07T03:43:16Z) - DOI: Divergence-based Out-of-Distribution Indicators via Deep Generative
Models [6.617664042202313]
深層生成モデルに基づくOoD(out-of-distriion)インジケータが最近提案され、小さなデータセットでうまく動作することが示されている。
既存のOoDインジケータのためのベンチマーク(92のデータセットペアを含む)の最初の大規模なコレクションを実行し、うまく機能しないことを観察する。
深層生成モデルにおける分散性に基づくアウト・オブ・ディストリビューションインジケータ(従来の可能性ベースではなく)のための新しい理論的枠組みであるDOIを提案する。
論文 参考訳（メタデータ） (2021-08-12T02:49:54Z) - Entropy Maximization and Meta Classification for Out-Of-Distribution
Detection in Semantic Segmentation [7.305019142196585]
自動運転など多くのアプリケーションにおいて,OoD(Out-of-Distribution)サンプルが不可欠である。
OoD検出の自然なベースラインアプローチは、ピクセル回りのソフトマックスエントロピーのしきい値です。
そのアプローチを大幅に改善する2段階の手順を提案する。
論文 参考訳（メタデータ） (2020-12-09T11:01:06Z) - NADS: Neural Architecture Distribution Search for Uncertainty Awareness [79.18710225716791]
機械学習(ML)システムは、トレーニングデータとは異なるディストリビューションから来るテストデータを扱う場合、しばしばOoD(Out-of-Distribution)エラーに遭遇する。
既存のOoD検出アプローチはエラーを起こしやすく、時にはOoDサンプルに高い確率を割り当てることもある。
本稿では,すべての不確実性を考慮したアーキテクチャの共通構築ブロックを特定するために,ニューラルアーキテクチャ分布探索(NADS)を提案する。
論文 参考訳（メタデータ） (2020-06-11T17:39:07Z) - Generalized ODIN: Detecting Out-of-distribution Image without Learning
from Out-of-distribution Data [87.61504710345528]
我々は,OoD検出性能を改善しつつ,ニューラルネットワークをOoDデータのチューニングから解放する2つの方法を提案する。
具体的には、信頼性スコアリングと修正された入力前処理法を分離することを提案する。
大規模画像データセットのさらなる解析により、セマンティックシフトと非セマンティックシフトの2種類の分布シフトが有意な差を示すことが示された。
論文 参考訳（メタデータ） (2020-02-26T04:18:25Z) - Stance Detection Benchmark: How Robust Is Your Stance Detection? [65.91772010586605]
Stance Detection (StD) は、あるトピックやクレームに対する著者の姿勢を検出することを目的としている。
マルチデータセット学習環境において、さまざまなドメインの10のStDデータセットから学習するStDベンチマークを導入する。
このベンチマーク設定では、5つのデータセットに新しい最先端結果を表示することができます。
論文 参考訳（メタデータ） (2020-01-06T13:37:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。