論文の概要: What classifiers know what they don't?

• arxiv url: http://arxiv.org/abs/2107.06217v1
• Date: Tue, 13 Jul 2021 16:17:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-14 17:13:06.379781
• Title: What classifiers know what they don't?
• Title（参考訳）: どんな分類器が知らないか知ってる?
• Authors: Mohamed Ishmael Belghazi and David Lopez-Paz
• Abstract要約: 深層画像分類器の予測不確実性評価を行うための,現実的なイメージネット規模のテストベッドであるUIMNETを紹介する。 我々のベンチマークでは,8つの最先端アルゴリズム,6つの不確実性尺度,4つのドメイン内メトリック,3つのドメイン外メトリクス,およびモデルのトレーニング,キャリブレーション,アンサンブル,セレクション,評価のための完全自動化パイプラインを実装している。
• 参考スコア（独自算出の注目度）: 23.166238399010012
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Being uncertain when facing the unknown is key to intelligent decision making. However, machine learning algorithms lack reliable estimates about their predictive uncertainty. This leads to wrong and overly-confident decisions when encountering classes unseen during training. Despite the importance of equipping classifiers with uncertainty estimates ready for the real world, prior work has focused on small datasets and little or no class discrepancy between training and testing data. To close this gap, we introduce UIMNET: a realistic, ImageNet-scale test-bed to evaluate predictive uncertainty estimates for deep image classifiers. Our benchmark provides implementations of eight state-of-the-art algorithms, six uncertainty measures, four in-domain metrics, three out-domain metrics, and a fully automated pipeline to train, calibrate, ensemble, select, and evaluate models. Our test-bed is open-source and all of our results are reproducible from a fixed commit in our repository. Adding new datasets, algorithms, measures, or metrics is a matter of a few lines of code-in so hoping that UIMNET becomes a stepping stone towards realistic, rigorous, and reproducible research in uncertainty estimation. Our results show that ensembles of ERM classifiers as well as single MIMO classifiers are the two best alternatives currently available to measure uncertainty about both in-domain and out-domain classes.
• Abstract（参考訳）: 未知の状況に直面することが、インテリジェントな意思決定の鍵となる。 しかし、機械学習アルゴリズムは予測の不確実性に関する信頼性の高い推定を欠いている。 これは、トレーニング中にクラスが見当たらないとき、誤った、過度に信頼できる判断につながる。 実世界に向けて不確実性推定を備えた分類器の装備の重要性にもかかわらず、以前の研究は小さなデータセットに重点を置いており、トレーニングとテストデータのクラス差はほとんど、あるいは全くない。 このギャップを埋めるために,我々は,深層画像分類器の予測不確実性評価を行う,現実的なイメージネット規模のテストベッドであるUIMNETを紹介した。 我々のベンチマークでは,8つの最先端アルゴリズム,6つの不確実性尺度,4つのドメイン内メトリック,3つのドメイン外メトリクス,およびモデルのトレーニング,キャリブレーション,アンサンブル,セレクション,評価のための完全自動化パイプラインを実装している。 テストベッドはオープンソースで、その結果はすべて、リポジトリの固定コミットから再現可能です。 新しいデータセット、アルゴリズム、測定値、メトリクスの追加は、数行のコードインの問題であり、uimnetが現実的な、厳密で再現可能な不確実性推定の研究への一歩になることを願っている。 ERM分類器のアンサンブルと単一MIMO分類器のアンサンブルは、ドメイン内およびドメイン外両方の不確実性を測定するために現在利用できる2つの選択肢である。

関連論文リスト

• Perception Matters: Enhancing Embodied AI with Uncertainty-Aware Semantic Segmentation [24.32551050538683]
  Embodied AIは、探索されていない環境での行動に大きな進歩を遂げた。 我々は、日付付き知覚モデルに焦点をあて、時間的集約を無視し、地上の真実からテスト時にノイズの多い知覚へと直接移行する。 本研究は,アグリゲーション間の知覚確率と不確かさを校正し,決定を下すことによって,同定された問題に対処する。
  論文  参考訳（メタデータ） (2024-08-05T08:14:28Z)
• Informed Decision-Making through Advancements in Open Set Recognition and Unknown Sample Detection [0.0]
  オープンセット認識(OSR)は、より現実に近い状況に分類タスクを導入することを目的としている。 本研究は,OSRタスクの分類を改善するために,特徴空間の新たな表現を探索するアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2024-05-09T15:15:34Z)
• Towards Robust and Interpretable EMG-based Hand Gesture Recognition using Deep Metric Meta Learning [37.21211404608413]
  本稿では,意味的かつ解釈可能な表現の作成を監督するために,EMG PRにおける深層メートル法メタラーニングへのシフトを提案する。 我々は、不正確な決定をよりよく拒否する頑健なクラス近接性に基づく信頼度推定器を導出する。
  論文  参考訳（メタデータ） (2024-04-17T23:37:50Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Revisiting Long-tailed Image Classification: Survey and Benchmarks with New Evaluation Metrics [88.39382177059747]
  メトリクスのコーパスは、長い尾の分布で学習するアルゴリズムの正確性、堅牢性、およびバウンダリを測定するために設計されている。 ベンチマークに基づいて,CIFAR10およびCIFAR100データセット上での既存手法の性能を再評価する。
  論文  参考訳（メタデータ） (2023-02-03T02:40:54Z)
• Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
  特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。 一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。 我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
  論文  参考訳（メタデータ） (2022-02-08T16:09:12Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• CertainNet: Sampling-free Uncertainty Estimation for Object Detection [65.28989536741658]
  ニューラルネットワークの不確実性を推定することは、安全クリティカルな設定において基本的な役割を果たす。 本研究では,オブジェクト検出のための新しいサンプリング不要不確実性推定法を提案する。 私たちはそれをCertainNetと呼び、各出力信号に対して、オブジェクト性、クラス、位置、サイズという、別の不確実性を提供するのは、これが初めてです。
  論文  参考訳（メタデータ） (2021-10-04T17:59:31Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。