論文の概要: A noisy elephant in the room: Is your out-of-distribution detector robust to label noise?
- arxiv url: http://arxiv.org/abs/2404.01775v1
- Date: Tue, 2 Apr 2024 09:40:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-03 17:09:01.463791
- Title: A noisy elephant in the room: Is your out-of-distribution detector robust to label noise?
- Title(参考訳): 部屋の中の騒々しい象:あなたのアウト・オブ・ディストリビューション・ディテクターは、ラベルのノイズに頑丈か?
- Authors: Galadrielle Humblot-Renaux, Sergio Escalera, Thomas B. Moeslund,
- Abstract要約: 我々は、最先端のOOD検出方法20について詳しく検討する。
不正に分類されたIDサンプルとOODサンプルの分離が不十分であることを示す。
- 参考スコア(独自算出の注目度): 49.88894124047644
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The ability to detect unfamiliar or unexpected images is essential for safe deployment of computer vision systems. In the context of classification, the task of detecting images outside of a model's training domain is known as out-of-distribution (OOD) detection. While there has been a growing research interest in developing post-hoc OOD detection methods, there has been comparably little discussion around how these methods perform when the underlying classifier is not trained on a clean, carefully curated dataset. In this work, we take a closer look at 20 state-of-the-art OOD detection methods in the (more realistic) scenario where the labels used to train the underlying classifier are unreliable (e.g. crowd-sourced or web-scraped labels). Extensive experiments across different datasets, noise types & levels, architectures and checkpointing strategies provide insights into the effect of class label noise on OOD detection, and show that poor separation between incorrectly classified ID samples vs. OOD samples is an overlooked yet important limitation of existing methods. Code: https://github.com/glhr/ood-labelnoise
- Abstract(参考訳): コンピュータビジョンシステムの安全な配置には、不慣れな画像や予期せぬ画像を検出する能力が不可欠である。
分類の文脈では、モデルのトレーニング領域外の画像を検出するタスクは、アウト・オブ・ディストリビューション(OOD)検出として知られている。
ポストホックなOOD検出手法の開発には研究の関心が高まりつつあるが、基礎となる分類器がクリーンで慎重にキュレートされたデータセットでトレーニングされていない場合、これらの手法がどのように機能するかについては、ほとんど議論されていない。
本研究では,基礎となる分類器をトレーニングするラベルが信頼できない(例えば,クラウドソースやWebスクラッドラベル)という(より現実的な)シナリオにおいて,最先端のOOD検出方法20について詳しく検討する。
異なるデータセット、ノイズタイプ、レベル、アーキテクチャ、チェックポインティング戦略にわたる大規模な実験は、クラスラベルノイズがOOD検出に与える影響についての洞察を与え、誤って分類されたIDサンプルとOODサンプルの分離が不十分であることを示す。
コード:https://github.com/glhr/ood-labelnoise
関連論文リスト
- An accurate detection is not all you need to combat label noise in web-noisy datasets [23.020126612431746]
分離した超平面の直接推定により,OOD試料の正確な検出が可能であることを示す。
本稿では,線形分離を用いた雑音検出とSOTA(State-of-the-art-the-loss)アプローチを交互に行うハイブリッドソリューションを提案する。
論文 参考訳(メタデータ) (2024-07-08T00:21:42Z) - EAT: Towards Long-Tailed Out-of-Distribution Detection [55.380390767978554]
本稿では,長い尾を持つOOD検出の課題に対処する。
主な困難は、尾クラスに属するサンプルとOODデータを区別することである。
本稿では,(1)複数の禁制クラスを導入して分布内クラス空間を拡大すること,(2)コンテキストリッチなOODデータに画像をオーバーレイすることでコンテキスト限定のテールクラスを拡大すること,の2つの簡単な考え方を提案する。
論文 参考訳(メタデータ) (2023-12-14T13:47:13Z) - Beyond AUROC & co. for evaluating out-of-distribution detection
performance [50.88341818412508]
安全(r)AIとの関連性を考えると,OOD検出法の比較の基礎が実用的ニーズと整合しているかどうかを検討することが重要である。
我々は,IDとOODの分離が不十分なことを明示する新しい指標であるAUTC(Area Under the Threshold Curve)を提案する。
論文 参考訳(メタデータ) (2023-06-26T12:51:32Z) - NGC: A Unified Framework for Learning with Open-World Noisy Data [36.96188289965334]
本稿では,データの幾何学的構造とモデル予測信頼性を利用して,クリーンなサンプルを収集するグラフベースの新しいフレームワークであるNoisy Graph Cleaning(NGC)を提案する。
異なる種類のノイズを持つ複数のベンチマークで実験を行い、その結果、我々の手法の最先端性能を実証した。
論文 参考訳(メタデータ) (2021-08-25T04:04:46Z) - Triggering Failures: Out-Of-Distribution detection by learning from
local adversarial attacks in Semantic Segmentation [76.2621758731288]
セグメンテーションにおけるアウト・オブ・ディストリビューション(OOD)オブジェクトの検出に取り組む。
私たちの主な貢献は、ObsNetと呼ばれる新しいOOD検出アーキテクチャであり、ローカル・アタック(LAA)に基づく専用トレーニングスキームと関連付けられています。
3つの異なるデータセットの文献の最近の10つの手法と比較して,速度と精度の両面で最高の性能が得られることを示す。
論文 参考訳(メタデータ) (2021-08-03T17:09:56Z) - Attention-Aware Noisy Label Learning for Image Classification [97.26664962498887]
大規模ラベル付きサンプルで学習した深層畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンにおいて顕著な進歩を遂げている。
大量のラベル付きビジュアルデータを取得する最も安価な方法は、Flickrのようなユーザーが提供するラベルでウェブサイトからクロールすることである。
本稿では,潜在的なラベルノイズのあるデータセットに基づいて学習したネットワークの識別能力を向上させるために,注目に敏感なラベル学習手法を提案する。
論文 参考訳(メタデータ) (2020-09-30T15:45:36Z) - Learning with Out-of-Distribution Data for Audio Classification [60.48251022280506]
我々は,OODインスタンスを破棄するよりも,特定のOODインスタンスを検出・復号化することで,学習に肯定的な影響を及ぼすことを示す。
提案手法は,畳み込みニューラルネットワークの性能を著しく向上させる。
論文 参考訳(メタデータ) (2020-02-11T21:08:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。