論文の概要: A framework for benchmarking class-out-of-distribution detection and its application to ImageNet

• arxiv url: http://arxiv.org/abs/2302.11893v1
• Date: Thu, 23 Feb 2023 09:57:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-24 15:43:21.088561
• Title: A framework for benchmarking class-out-of-distribution detection and its application to ImageNet
• Title（参考訳）: クラスアウト分布検出のためのベンチマークフレームワークとそのImageNetへの応用
• Authors: Ido Galil, Mohammed Dabbah, Ran El-Yaniv
• Abstract要約: 本稿では,画像分類器のクラスアウト・オブ・ディストリビューション・インスタンス検出能力のベンチマークを行う新しいフレームワークを提案する。 我々はこの手法をImageNetに適用し、ImageNet-1k分類器として525の事前訓練と公開を行った。
• 参考スコア（独自算出の注目度）: 15.929238800072195
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When deployed for risk-sensitive tasks, deep neural networks must be able to detect instances with labels from outside the distribution for which they were trained. In this paper we present a novel framework to benchmark the ability of image classifiers to detect class-out-of-distribution instances (i.e., instances whose true labels do not appear in the training distribution) at various levels of detection difficulty. We apply this technique to ImageNet, and benchmark 525 pretrained, publicly available, ImageNet-1k classifiers. The code for generating a benchmark for any ImageNet-1k classifier, along with the benchmarks prepared for the above-mentioned 525 models is available at https://github.com/mdabbah/COOD_benchmarking. The usefulness of the proposed framework and its advantage over alternative existing benchmarks is demonstrated by analyzing the results obtained for these models, which reveals numerous novel observations including: (1) knowledge distillation consistently improves class-out-of-distribution (C-OOD) detection performance; (2) a subset of ViTs performs better C-OOD detection than any other model; (3) the language--vision CLIP model achieves good zero-shot detection performance, with its best instance outperforming 96% of all other models evaluated; (4) accuracy and in-distribution ranking are positively correlated to C-OOD detection; and (5) we compare various confidence functions for C-OOD detection. Our companion paper, also published in ICLR 2023 (What Can We Learn From The Selective Prediction And Uncertainty Estimation Performance Of 523 Imagenet Classifiers), examines the uncertainty estimation performance (ranking, calibration, and selective prediction performance) of these classifiers in an in-distribution setting.
• Abstract（参考訳）: リスクに敏感なタスクのためにデプロイされた場合、ディープニューラルネットワークは、トレーニング対象のディストリビューション外のラベル付きインスタンスを検出する必要がある。 本稿では,画像分類器が,学習過程において真のラベルが出現しないインスタンスを,様々なレベルの検出困難度で検出する能力のベンチマークを行うための新しいフレームワークを提案する。 我々はこの手法をImageNetに適用し、525の事前訓練済み、公開されているImageNet-1k分類器をベンチマークする。 imagenet-1k分類器のベンチマークを生成するコードは、上記の525モデル用に用意されたベンチマークとともに、https://github.com/mdabbah/cood_benchmarkingで入手できる。 The usefulness of the proposed framework and its advantage over alternative existing benchmarks is demonstrated by analyzing the results obtained for these models, which reveals numerous novel observations including: (1) knowledge distillation consistently improves class-out-of-distribution (C-OOD) detection performance; (2) a subset of ViTs performs better C-OOD detection than any other model; (3) the language--vision CLIP model achieves good zero-shot detection performance, with its best instance outperforming 96% of all other models evaluated; (4) accuracy and in-distribution ranking are positively correlated to C-OOD detection; and (5) we compare various confidence functions for C-OOD detection. ICLR 2023 (What Can We Learn From The Selective Prediction And Uncertainty Estimation Performance of 523 Imagenet Classifiers) にも掲載され、これらの分類器の不確実性推定性能(評価、校正、選択予測性能)を非分布環境で検証した。

関連論文リスト

• Self-Supervised Learning in Deep Networks: A Pathway to Robust Few-Shot Classification [0.0]
  まず、ラベルのない大量のデータから共通特徴表現を学習できるように、自己スーパービジョンでモデルを事前訓練する。 その後、数ショットのデータセットMini-ImageNetで微調整を行い、限られたデータの下でモデルの精度と一般化能力を改善する。
  論文  参考訳（メタデータ） (2024-11-19T01:01:56Z)
• Credal Wrapper of Model Averaging for Uncertainty Estimation on Out-Of-Distribution Detection [5.19656787424626]
  本稿では,ベイズニューラルネットワーク(BNN)と深層アンサンブルのモデル平均化のクレダルセット表現を定式化するための,クレダルラッパー(redal wrapper)と呼ばれる革新的なアプローチを提案する。 BNNや深層アンサンブルから導かれる単一分布の有限個の集合が与えられた場合、提案手法はクラスごとの上層と下層の確率境界を抽出する。 提案手法は,BNNおよび深層アンサンブルベースラインと比較して,不確実性推定において優れた性能を示す。
  論文  参考訳（メタデータ） (2024-05-23T20:51:22Z)
• Investigating the Limitation of CLIP Models: The Worst-Performing Categories [53.360239882501325]
  コントラスト言語-画像事前学習(CLIP)は、自然言語を視覚概念に統合する基礎モデルを提供する。 通常、十分に設計されたテキストプロンプトによって、多くの領域で満足な全体的な精度が達成できると期待されている。 しかし、最悪のカテゴリにおけるパフォーマンスは、全体的なパフォーマンスよりも著しく劣っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T05:37:33Z)
• Adapting Contrastive Language-Image Pretrained (CLIP) Models for Out-of-Distribution Detection [1.597617022056624]
  本研究では,視覚的アウトオブディストリビューション(OOD)検出のための事前訓練された特徴抽出器に関する総合的研究を行った。 我々は,OOD検出のための視覚言語モデルに適応するスタイリット擬似ラベル探索(PLP)と呼ばれる,シンプルでスケーラブルな新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-03-10T10:02:18Z)
• What Can We Learn From The Selective Prediction And Uncertainty Estimation Performance Of 523 Imagenet Classifiers [15.929238800072195]
  本稿では,既存の523の事前学習深層画像ネット分類器の選択的予測と不確実性評価性能について述べる。 蒸留法に基づくトレーニング体制は、他のトレーニング方式よりも常により良い不確実性推定を導出することを発見した。 例えば、ImageNetでは前例のない99%のトップ1選択精度を47%で発見しました。
  論文  参考訳（メタデータ） (2023-02-23T09:25:28Z)
• Effective Robustness against Natural Distribution Shifts for Models with Different Training Data [113.21868839569]
  効果的ロバスト性」は、分配内(ID)性能から予測できる以上の余分な分配外ロバスト性を測定する。 異なるデータに基づいてトレーニングされたモデルの有効ロバスト性を評価・比較するための新しい評価指標を提案する。
  論文  参考訳（メタデータ） (2023-02-02T19:28:41Z)
• Boosting Out-of-Distribution Detection with Multiple Pre-trained Models [41.66566916581451]
  事前訓練されたモデルを用いたポストホック検出は有望な性能を示し、大規模にスケールできる。 本稿では,事前訓練されたモデルの動物園から抽出した複数の検出決定をアンサンブルすることで,検出強化手法を提案する。 CIFAR10 と ImageNet のベンチマークでは, 相対性能を 65.40% と 26.96% で大幅に改善した。
  論文  参考訳（メタデータ） (2022-12-24T12:11:38Z)
• mc-BEiT: Multi-choice Discretization for Image BERT Pre-training [52.04866462439979]
  Image BERT pre-training with masked image modeling (MIM)は、自己教師付き表現学習に対処する一般的な実践である。 改良されたBERTスタイルの画像事前学習手法であるmc-BEiTを導入する。
  論文  参考訳（メタデータ） (2022-03-29T09:08:18Z)
• Measuring Self-Supervised Representation Quality for Downstream Classification using Discriminative Features [56.89813105411331]
  我々は,SimCLR,SwaV,MoCo,BYOL,DINO,SimSiam,VICReg,Barlow Twinsといった最先端の自己教師型モデルの表現空間について検討した。 本稿では,標本が誤分類される可能性を確実に予測できる教師なしスコアである自己監督表現品質スコア(Qスコア)を提案する。 Q-Score正規化による微調整により、SSLモデルの線形探索精度はImageNet-100で5.8%、ImageNet-1Kで3.7%向上する。
  論文  参考訳（メタデータ） (2022-03-03T17:48:23Z)
• Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes for Dense Object Detection [85.53263670166304]
  一段検出器は基本的に、物体検出を密度の高い分類と位置化として定式化する。 1段検出器の最近の傾向は、局所化の質を推定するために個別の予測分岐を導入することである。 本稿では, 上記の3つの基本要素, 品質推定, 分類, ローカライゼーションについて述べる。
  論文  参考訳（メタデータ） (2020-06-08T07:24:33Z)
• I Am Going MAD: Maximum Discrepancy Competition for Comparing Classifiers Adaptively [135.7695909882746]
  我々は、MAD(Maximum Discrepancy)コンペティションを命名する。 任意に大きいラベル付き画像のコーパスから小さなテストセットを適応的にサンプリングする。 結果のモデル依存画像集合に人間のラベルを付けると、競合する分類器の相対的な性能が明らかになる。
  論文  参考訳（メタデータ） (2020-02-25T03:32:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。