論文の概要: A Unified Benchmark for the Unknown Detection Capability of Deep Neural
Networks
- arxiv url: http://arxiv.org/abs/2112.00337v2
- Date: Tue, 1 Aug 2023 03:45:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-02 18:37:06.432157
- Title: A Unified Benchmark for the Unknown Detection Capability of Deep Neural
Networks
- Title(参考訳): 深部ニューラルネットワークの未知検出能力に関する統一ベンチマーク
- Authors: Jihyo Kim, Jiin Koo, Sangheum Hwang
- Abstract要約: 本稿では,従来の個別タスクの統合である未知検出タスクを紹介する。
我々は、Deep Ensembleが未知の発見において、他のアプローチよりも一貫して優れていることを発見した。
- 参考スコア(独自算出の注目度): 2.578242050187029
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks have achieved outstanding performance over various
tasks, but they have a critical issue: over-confident predictions even for
completely unknown samples. Many studies have been proposed to successfully
filter out these unknown samples, but they only considered narrow and specific
tasks, referred to as misclassification detection, open-set recognition, or
out-of-distribution detection. In this work, we argue that these tasks should
be treated as fundamentally an identical problem because an ideal model should
possess detection capability for all those tasks. Therefore, we introduce the
unknown detection task, an integration of previous individual tasks, for a
rigorous examination of the detection capability of deep neural networks on a
wide spectrum of unknown samples. To this end, unified benchmark datasets on
different scales were constructed and the unknown detection capabilities of
existing popular methods were subject to comparison. We found that Deep
Ensemble consistently outperforms the other approaches in detecting unknowns;
however, all methods are only successful for a specific type of unknown. The
reproducible code and benchmark datasets are available at
https://github.com/daintlab/unknown-detection-benchmarks .
- Abstract(参考訳): ディープニューラルネットワークは様々なタスクにおいて優れたパフォーマンスを実現しているが、それらは重要な問題である:完全に未知のサンプルであっても過信予測である。
これらの未知のサンプルのフィルタリングに成功するために多くの研究が提案されているが、それらは、誤分類検出、オープンセット認識、分散検出と呼ばれる、狭く特定のタスクのみを考慮していた。
本研究では,これらのタスクは,理想モデルがすべてのタスクに対して検出能力を持つべきなので,基本的に同一の問題として扱われるべきである,と論じる。
そこで我々は,従来の個別タスクの統合である未知検出タスクを導入し,未知サンプルの幅広いスペクトル上での深部ニューラルネットワークの検出能力を厳密に検証する。
この目的のために、異なるスケールの統一ベンチマークデータセットを構築し、既存の一般的な方法の未知の検出能力を比較した。
我々は、Deep Ensembleが未知の検出において他の手法よりも一貫して優れていることを発見した。
再現可能なコードとベンチマークデータセットは、https://github.com/daintlab/unknown-detection-benchmarksで入手できる。
関連論文リスト
- Assaying on the Robustness of Zero-Shot Machine-Generated Text Detectors [57.7003399760813]
先進的なLarge Language Models (LLMs) とその特殊な変種を探索し、いくつかの方法でこの分野に寄与する。
トピックと検出性能の間に有意な相関関係が発見された。
これらの調査は、様々なトピックにまたがるこれらの検出手法の適応性と堅牢性に光を当てた。
論文 参考訳(メタデータ) (2023-12-20T10:53:53Z) - Deep Learning Object Detection Approaches to Source Identification [15.813217907813778]
本稿では,従来の音源識別アルゴリズムを用いて,故障事例を緩和するシステムを提案する。
コントリビューションには、オブジェクト検出問題としてのフレーミングソース識別、スペクトログラムオブジェクト検出データセットの公開、およびデータセット上でトレーニングされたRetinaNetおよびYOLOv5オブジェクト検出モデルの評価が含まれる。
論文 参考訳(メタデータ) (2022-10-27T02:08:46Z) - Meta-learning One-class Classifiers with Eigenvalue Solvers for
Supervised Anomaly Detection [55.888835686183995]
教師付き異常検出のためのニューラルネットワークに基づくメタラーニング手法を提案する。
提案手法は,既存の異常検出法や少数ショット学習法よりも優れた性能を実現することを実験的に実証した。
論文 参考訳(メタデータ) (2021-03-01T01:43:04Z) - Open Set Recognition with Conditional Probabilistic Generative Models [51.40872765917125]
オープンセット認識のための条件付き確率生成モデル(CPGM)を提案する。
CPGMは未知のサンプルを検出できるが、異なる潜在特徴を条件付きガウス分布に近似させることで、既知のクラスを分類できる。
複数のベンチマークデータセットの実験結果から,提案手法がベースラインを著しく上回ることがわかった。
論文 参考訳(メタデータ) (2020-08-12T06:23:49Z) - AutoOD: Automated Outlier Detection via Curiosity-guided Search and
Self-imitation Learning [72.99415402575886]
外乱検出は重要なデータマイニングの課題であり、多くの実用的応用がある。
本稿では,最適なニューラルネットワークモデルを探すことを目的とした自動外乱検出フレームワークであるAutoODを提案する。
さまざまな実世界のベンチマークデータセットに対する実験結果から、AutoODが特定したディープモデルが最高のパフォーマンスを達成することが示された。
論文 参考訳(メタデータ) (2020-06-19T18:57:51Z) - NADS: Neural Architecture Distribution Search for Uncertainty Awareness [79.18710225716791]
機械学習(ML)システムは、トレーニングデータとは異なるディストリビューションから来るテストデータを扱う場合、しばしばOoD(Out-of-Distribution)エラーに遭遇する。
既存のOoD検出アプローチはエラーを起こしやすく、時にはOoDサンプルに高い確率を割り当てることもある。
本稿では,すべての不確実性を考慮したアーキテクチャの共通構築ブロックを特定するために,ニューラルアーキテクチャ分布探索(NADS)を提案する。
論文 参考訳(メタデータ) (2020-06-11T17:39:07Z) - FairMOT: On the Fairness of Detection and Re-Identification in Multiple
Object Tracking [92.48078680697311]
マルチオブジェクトトラッキング(MOT)はコンピュータビジョンにおいて重要な問題である。
本稿では,FairMOTと呼ばれる,アンカーフリーなオブジェクト検出アーキテクチャCenterNetをベースとした,シンプルかつ効果的なアプローチを提案する。
このアプローチは、検出と追跡の両方において高い精度を達成する。
論文 参考訳(メタデータ) (2020-04-04T08:18:00Z) - Conditional Gaussian Distribution Learning for Open Set Recognition [10.90687687505665]
オープンセット認識のための条件付きガウス分布学習(CGDL)を提案する。
未知のサンプルを検出することに加えて、異なる潜伏特徴を異なるガウスモデルに近似させることにより、既知のサンプルを分類することもできる。
いくつかの標準画像に対する実験により,提案手法はベースライン法を著しく上回り,新たな最先端結果が得られることが明らかになった。
論文 参考訳(メタデータ) (2020-03-19T14:32:08Z) - A Post-processing Method for Detecting Unknown Intent of Dialogue System
via Pre-trained Deep Neural Network Classifier [23.25650237235107]
対話システムにおける未知の意図を検出するために,SofterMaxとDeep novelty Detection (SMDN)を提案する。
我々の手法は、モデルアーキテクチャを変更することなく、ディープニューラルネットワークで訓練された任意の分類器の上に柔軟に適用することができる。
本手法は,既知の意図と異なる事例を未知とし,その事例や事前の知識を必要としない事例を分類する。
論文 参考訳(メタデータ) (2020-03-07T03:29:01Z) - $\text{A}^3$: Activation Anomaly Analysis [0.7734726150561088]
隠れアクティベーション値には,正常標本と異常標本の識別に有用な情報が含まれていることを示す。
我々のアプローチは、純粋にデータ駆動のエンドツーエンドモデルで3つのニューラルネットワークを組み合わせる。
異常ネットワークのおかげで、我々の手法は厳密な半教師付き設定でも機能する。
論文 参考訳(メタデータ) (2020-03-03T21:23:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。