Fugu-MT 論文翻訳(概要): What Can We Learn From The Selective Prediction And Uncertainty Estimation Performance Of 523 Imagenet Classifiers

論文の概要: What Can We Learn From The Selective Prediction And Uncertainty Estimation Performance Of 523 Imagenet Classifiers

arxiv url: http://arxiv.org/abs/2302.11874v1
Date: Thu, 23 Feb 2023 09:25:28 GMT
ステータス: 処理完了
システム内更新日: 2023-02-24 15:54:00.817875
Title: What Can We Learn From The Selective Prediction And Uncertainty Estimation Performance Of 523 Imagenet Classifiers
Title（参考訳）: 523画像ネット分類器の選択予測と不確かさ推定性能から何が学べるか
Authors: Ido Galil, Mohammed Dabbah, Ran El-Yaniv
Abstract要約: 本稿では,既存の523の事前学習深層画像ネット分類器の選択的予測と不確実性評価性能について述べる。蒸留法に基づくトレーニング体制は、他のトレーニング方式よりも常により良い不確実性推定を導出することを発見した。例えば、ImageNetでは前例のない99%のトップ1選択精度を47%で発見しました。
参考スコア（独自算出の注目度）: 15.929238800072195
License: http://creativecommons.org/licenses/by/4.0/
Abstract: When deployed for risk-sensitive tasks, deep neural networks must include an uncertainty estimation mechanism. Here we examine the relationship between deep architectures and their respective training regimes, with their corresponding selective prediction and uncertainty estimation performance. We consider some of the most popular estimation performance metrics previously proposed including AUROC, ECE, AURC as well as coverage for selective accuracy constraint. We present a novel and comprehensive study of selective prediction and the uncertainty estimation performance of 523 existing pretrained deep ImageNet classifiers that are available in popular repositories. We identify numerous and previously unknown factors that affect uncertainty estimation and examine the relationships between the different metrics. We find that distillation-based training regimes consistently yield better uncertainty estimations than other training schemes such as vanilla training, pretraining on a larger dataset and adversarial training. Moreover, we find a subset of ViT models that outperform any other models in terms of uncertainty estimation performance. For example, we discovered an unprecedented 99% top-1 selective accuracy on ImageNet at 47% coverage (and 95% top-1 accuracy at 80%) for a ViT model, whereas a competing EfficientNet-V2-XL cannot obtain these accuracy constraints at any level of coverage. Our companion paper, also published in ICLR 2023 (A framework for benchmarking class-out-of-distribution detection and its application to ImageNet), examines the performance of these classifiers in a class-out-of-distribution setting.
Abstract（参考訳）: リスクに敏感なタスクにデプロイする場合、ディープニューラルネットワークには不確実性推定機構を含める必要がある。本稿では, 深層建築とその訓練体制との関係について検討し, 対応する選択予測と不確実性推定性能について検討する。 auroc, ece, aurcなど,これまで提案されていた最も一般的な推定パフォーマンス指標と,選択的精度制約のカバレッジについて検討した。本稿では,一般的なリポジトリで利用可能な523の既存のdeep imagenet分類器の選択的予測と不確実性推定性能について,新規かつ包括的に検討する。我々は,不確実性推定に影響を及ぼす未知の要因を多数同定し,各指標間の関係を考察した。蒸留法に基づくトレーニング体制は,バニラトレーニングやデータセットの事前トレーニング,敵のトレーニングなど,他のトレーニング手法よりも不確実性を常に評価している。さらに、不確実性推定性能において、他のモデルよりも優れたViTモデルのサブセットを見つける。例えば、ViTモデルでは、ImageNetでは前例のない99%のトップ1選択精度が47%のカバレッジ(95%のトップ1選択精度が80%)で、競合するEfficientNet-V2-XLでは、任意のレベルのカバレッジではこれらの精度制約が得られない。 ICLR 2023(distributionのクラスアウト検出をベンチマークするフレームワークとそのImageNetへの適用)にも掲載した同伴論文では,これらの分類器の性能をdistributionのクラスアウト設定で検証している。

関連論文リスト

Post-hoc Probabilistic Vision-Language Models [51.12284891724463]
視覚言語モデル(VLM)は、分類、検索、生成タスクにおいて顕著な成功を収めている。追加トレーニングを必要としないVLMにおけるポストホック不確実性評価を提案する。この結果から,大規模モデルの安全性クリティカルな応用が期待できることがわかった。
論文参考訳（メタデータ） (2024-12-08T18:16:13Z)
Leveraging Uncertainty Estimates To Improve Classifier Performance [4.4951754159063295]
バイナリ分類では、正のクラスのモデルスコアが、アプリケーション要求に基づいて選択されたしきい値を超えるかどうかに基づいて、インスタンスのラベルを予測する。しかし、モデルスコアは真の肯定率と一致しないことが多い。これは特に、クラス間の差分サンプリングを含むトレーニングや、トレインとテスト設定間の分散ドリフトがある場合に当てはまる。
論文参考訳（メタデータ） (2023-11-20T12:40:25Z)
Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
論文参考訳（メタデータ） (2023-04-20T07:29:23Z)
A framework for benchmarking class-out-of-distribution detection and its application to ImageNet [15.929238800072195]
本稿では,画像分類器のクラスアウト・オブ・ディストリビューション・インスタンス検出能力のベンチマークを行う新しいフレームワークを提案する。我々はこの手法をImageNetに適用し、ImageNet-1k分類器として525の事前訓練と公開を行った。
論文参考訳（メタデータ） (2023-02-23T09:57:48Z)
Post-hoc Uncertainty Learning using a Dirichlet Meta-Model [28.522673618527417]
本研究では,不確実性定量化能力の優れた事前学習モデルを構築するための新しいベイズメタモデルを提案する。提案手法は追加のトレーニングデータを必要としないため,不確かさの定量化に十分な柔軟性がある。提案するメタモデルアプローチの柔軟性と,これらのアプリケーションに対する優れた経験的性能を実証する。
論文参考訳（メタデータ） (2022-12-14T17:34:11Z)
Estimating Model Performance under Domain Shifts with Class-Specific Confidence Scores [25.162667593654206]
不均衡なデータセットのパフォーマンス推定の枠組みの中で,クラスワイドキャリブレーションを導入する。我々は、4つのタスクの実験を行い、提案した修正により、不均衡なデータセットの推定精度を一貫して改善する。
論文参考訳（メタデータ） (2022-07-20T15:04:32Z)
BayesCap: Bayesian Identity Cap for Calibrated Uncertainty in Frozen Neural Networks [50.15201777970128]
本研究では,凍結モデルに対するベイズIDマッピングを学習し,不確実性の推定を可能にするBayesCapを提案する。 BayesCapは、元のデータセットのごく一部でトレーニングできる、メモリ効率のよいメソッドである。本稿では,多種多様なアーキテクチャを用いた多種多様なタスクに対する本手法の有効性を示す。
論文参考訳（メタデータ） (2022-07-14T12:50:09Z)
Which models are innately best at uncertainty estimation? [15.929238800072195]
ディープニューラルネットワークは、リスクに敏感なタスクにデプロイされる場合、不確実性推定機構を備える必要がある。本稿では,深層建築とその訓練体制との関係について,その選択予測と不確実性推定性能について検討する。
論文参考訳（メタデータ） (2022-06-05T11:15:35Z)
NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
論文参考訳（メタデータ） (2022-02-07T12:30:45Z)
Dense Uncertainty Estimation [62.23555922631451]
本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
論文参考訳（メタデータ） (2021-10-13T01:23:48Z)
Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。