論文の概要: Large-Scale Evaluation of Open-Set Image Classification Techniques
- arxiv url: http://arxiv.org/abs/2406.09112v1
- Date: Thu, 13 Jun 2024 13:43:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-14 17:44:14.903049
- Title: Large-Scale Evaluation of Open-Set Image Classification Techniques
- Title(参考訳): オープンセット画像分類手法の大規模評価
- Authors: Halil Bisgin, Andres Palechor, Mike Suter, Manuel Günther,
- Abstract要約: Open-Set Classification (OSC)アルゴリズムは、クローズドとオープンセットの両方の認識能力を最大化することを目的としている。
近年の研究では、このようなアルゴリズムが小規模なデータセット上で有効であることが示されているが、実験が限定されているため、実世界の問題における性能評価は困難である。
- 参考スコア(独自算出の注目度): 1.1249583407496218
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The goal for classification is to correctly assign labels to unseen samples. However, most methods misclassify samples with unseen labels and assign them to one of the known classes. Open-Set Classification (OSC) algorithms aim to maximize both closed and open-set recognition capabilities. Recent studies showed the utility of such algorithms on small-scale data sets, but limited experimentation makes it difficult to assess their performances in real-world problems. Here, we provide a comprehensive comparison of various OSC algorithms, including training-based (SoftMax, Garbage, EOS) and post-processing methods (Maximum SoftMax Scores, Maximum Logit Scores, OpenMax, EVM, PROSER), the latter are applied on features from the former. We perform our evaluation on three large-scale protocols that mimic real-world challenges, where we train on known and negative open-set samples, and test on known and unknown instances. Our results show that EOS helps to improve performance of almost all post-processing algorithms. Particularly, OpenMax and PROSER are able to exploit better-trained networks, demonstrating the utility of hybrid models. However, while most algorithms work well on negative test samples -- samples of open-set classes seen during training -- they tend to perform poorly when tested on samples of previously unseen unknown classes, especially in challenging conditions.
- Abstract(参考訳): 分類の目標は、ラベルを見えないサンプルに正しく割り当てることである。
しかし、ほとんどのメソッドはサンプルを目に見えないラベルで分類し、既知のクラスの1つに割り当てます。
Open-Set Classification (OSC)アルゴリズムは、クローズドとオープンセットの両方の認識能力を最大化することを目的としている。
近年の研究では、このようなアルゴリズムが小規模なデータセット上で有効であることが示されているが、実験が限定されているため、実世界の問題における性能評価は困難である。
本稿では,トレーニングベース (SoftMax, Garbage, EOS) や後処理手法 (Maximum SoftMax Scores, Maximum Logit Scores, OpenMax, EVM, PROSER) を含むOSCアルゴリズムの総合的な比較を行った。
我々は、実世界の課題を模倣する3つの大規模プロトコルの評価を行い、既知の、負のオープンセットサンプルをトレーニングし、既知の、未知のインスタンスをテストする。
以上の結果から,EOSは後処理アルゴリズムの性能向上に有効であることが示唆された。
特に、OpenMaxとPROSERは、より訓練されたネットワークを活用でき、ハイブリッドモデルの実用性を実証することができる。
しかし、ほとんどのアルゴリズムは負のテストサンプル -- トレーニング中に見られるオープンセットクラスのサンプル -- でうまく機能するが、以前は見つからなかった未知のクラスのサンプル、特に困難な状況でテストすると、パフォーマンスが低下する傾向にある。
関連論文リスト
- Informed Decision-Making through Advancements in Open Set Recognition and Unknown Sample Detection [0.0]
オープンセット認識(OSR)は、より現実に近い状況に分類タスクを導入することを目的としている。
本研究は,OSRタスクの分類を改善するために,特徴空間の新たな表現を探索するアルゴリズムを提供する。
論文 参考訳(メタデータ) (2024-05-09T15:15:34Z) - Multiclass Learning from Noisy Labels for Non-decomposable Performance Measures [15.358504449550013]
非分解性性能尺度の2つのクラスに対して雑音ラベルから学習するアルゴリズムを設計する。
どちらの場合も、広範に研究されているクラス条件雑音モデルの下で、アルゴリズムのノイズ補正バージョンを開発する。
実験では,ラベルノイズ処理におけるアルゴリズムの有効性を実証した。
論文 参考訳(メタデータ) (2024-02-01T23:03:53Z) - Open-Set Facial Expression Recognition [42.62439125553367]
顔表情認識(FER)モデルは一般的に、7つの基本クラスを固定したデータセットで訓練される。
最近の研究では、基本的なものよりもはるかに多くの表現が存在することが指摘されている。
オープンセットFERタスクを初めて提案する。
論文 参考訳(メタデータ) (2024-01-23T05:57:50Z) - OpenAUC: Towards AUC-Oriented Open-Set Recognition [151.5072746015253]
従来の機械学習は、トレーニングとテストセットが同じラベル空間を共有するという密接な前提に従っている。
Open-Set Recognition (OSR) は、クローズセットサンプルとオープンセットサンプルの両方で正確な予測を行うことを目的としている。
これらの問題を解決するために,OpenAUCという新しいメトリクスを提案する。
論文 参考訳(メタデータ) (2022-10-22T08:54:15Z) - Large-Scale Open-Set Classification Protocols for ImageNet [0.0]
Open-Set Classification (OSC) は、実世界のシナリオにクローズドセットの分類モデルを適用することを目的としている。
本稿では,未知のクラスと未知のクラスの間で,異なるレベルの類似性を持つ自然画像のリッチなデータセットを提供する3つのオープンセットプロトコルを提案する。
本稿では,ディープラーニングモデルのトレーニングが既知のサンプルの分類と未知のサンプルの拒絶の両方に対処するかどうかを評価するために,新しい検証基準を提案する。
論文 参考訳(メタデータ) (2022-10-13T07:01:34Z) - Is margin all you need? An extensive empirical study of active learning
on tabular data [66.18464006872345]
我々は,OpenML-CC18ベンチマークを用いて,69の実世界のデータセット上での各種能動学習アルゴリズムの性能を解析した。
意外なことに、古典的なマージンサンプリング技術は、現在の最先端技術を含む、他のすべてのものよりも優れている。
論文 参考訳(メタデータ) (2022-10-07T21:18:24Z) - Towards Automated Imbalanced Learning with Deep Hierarchical
Reinforcement Learning [57.163525407022966]
不均衡学習はデータマイニングにおいて基本的な課題であり、各クラスにトレーニングサンプルの不均等な比率が存在する。
オーバーサンプリングは、少数民族のための合成サンプルを生成することによって、不均衡な学習に取り組む効果的な手法である。
我々は,異なるレベルの意思決定を共同で最適化できる自動オーバーサンプリングアルゴリズムであるAutoSMOTEを提案する。
論文 参考訳(メタデータ) (2022-08-26T04:28:01Z) - Learning with Neighbor Consistency for Noisy Labels [69.83857578836769]
特徴空間におけるトレーニング例間の類似性を利用した雑音ラベルから学習する手法を提案する。
合成(CIFAR-10, CIFAR-100)とリアル(mini-WebVision, Clothing1M, mini-ImageNet-Red)の両方のノイズを評価するデータセットの評価を行った。
論文 参考訳(メタデータ) (2022-02-04T15:46:27Z) - Reconstruction guided Meta-learning for Few Shot Open Set Recognition [31.49168444631114]
ReFOCS (Reconstructing Exemplar-based Few-shot Open-set Classifier) を提案する。
新規な再構築型メタラーニング戦略であるReFOCSを用いてFSOSRを効率化する。
ReFOCSは複数の最先端手法より優れていることを示す。
論文 参考訳(メタデータ) (2021-07-31T23:23:35Z) - Adaptive Sampling for Best Policy Identification in Markov Decision
Processes [79.4957965474334]
本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。
最先端アルゴリズムの利点を論じ、解説する。
論文 参考訳(メタデータ) (2020-09-28T15:22:24Z) - Few-Shot Open-Set Recognition using Meta-Learning [72.15940446408824]
オープンセット認識の問題点を考察する。
新しいoPen sEt mEta LEaRning (PEELER)アルゴリズムが導入された。
論文 参考訳(メタデータ) (2020-05-27T23:49:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。