論文の概要: Is the Performance of My Deep Network Too Good to Be True? A Direct Approach to Estimating the Bayes Error in Binary Classification

• arxiv url: http://arxiv.org/abs/2202.00395v1
• Date: Tue, 1 Feb 2022 13:22:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-02 13:58:18.622776
• Title: Is the Performance of My Deep Network Too Good to Be True? A Direct Approach to Estimating the Bayes Error in Binary Classification
• Title（参考訳）: 私のディープネットワークのパフォーマンスは、本当になるには良くないのでしょうか? 二項分類におけるベイズ誤差の直接推定法
• Authors: Takashi Ishida, Ikko Yamane, Nontawat Charoenphakdee, Gang Niu, Masashi Sugiyama
• Abstract要約: 分類問題において、ベイズ誤差は、最先端の性能を持つ分類器を評価するための基準として用いられる。 我々はベイズ誤差推定器を提案する。そこでは,クラスの不確かさを示すラベルの平均値のみを評価できる。 我々の柔軟なアプローチは、弱い教師付きデータであってもベイズ誤差を推定できる。
• 参考スコア（独自算出の注目度）: 86.32752788233913
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There is a fundamental limitation in the prediction performance that a machine learning model can achieve due to the inevitable uncertainty of the prediction target. In classification problems, this can be characterized by the Bayes error, which is the best achievable error with any classifier. The Bayes error can be used as a criterion to evaluate classifiers with state-of-the-art performance and can be used to detect test set overfitting. We propose a simple and direct Bayes error estimator, where we just take the mean of the labels that show \emph{uncertainty} of the classes. Our flexible approach enables us to perform Bayes error estimation even for weakly supervised data. In contrast to others, our method is model-free and even instance-free. Moreover, it has no hyperparameters and gives a more accurate estimate of the Bayes error than classifier-based baselines. Experiments using our method suggest that a recently proposed classifier, the Vision Transformer, may have already reached the Bayes error for certain benchmark datasets.
• Abstract（参考訳）: 予測対象の必然的な不確実性のため、機械学習モデルが達成できる予測性能には、基本的な制限がある。 分類問題において、これは任意の分類器で達成可能な最良の誤りであるベイズ誤差によって特徴づけられる。 ベイズ誤差は、最先端のパフォーマンスで分類器を評価する基準として使用することができ、テストセットのオーバーフィッティングを検出するために使用することができる。 我々は単純で直接的なベイズ誤差推定器を提案する。ここでは、クラスが \emph{uncertainty} を示すラベルの平均を取る。 我々の柔軟なアプローチは、弱い教師付きデータでもベイズ誤差を推定できる。 他の方法とは対照的に、我々の手法はモデルフリーであり、インスタンスフリーである。 さらに、ハイパーパラメータを持たず、分類器ベースのベースラインよりも正確にベイズ誤差を推定する。 この手法を用いた実験により、最近提案された分類器であるvision transformerが、特定のベンチマークデータセットのベイズ誤差に達している可能性が示唆された。

関連論文リスト

• Mitigating Word Bias in Zero-shot Prompt-based Classifiers [55.60306377044225]
  一致したクラス先行は、オラクルの上界性能と強く相関していることを示す。 また,NLPタスクに対するプロンプト設定において,一貫したパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2023-09-10T10:57:41Z)
• Probabilistic Safety Regions Via Finite Families of Scalable Classifiers [2.431537995108158]
  監視された分類は、データのパターンを認識して、振る舞いのクラスを分離する。 正準解は、機械学習の数値近似の性質に固有の誤分類誤差を含む。 本稿では,確率論的安全性領域の概念を導入し,入力空間のサブセットとして,誤分類されたインスタンスの数を確率論的に制御する手法を提案する。
  論文  参考訳（メタデータ） (2023-09-08T22:40:19Z)
• How to Fix a Broken Confidence Estimator: Evaluating Post-hoc Methods for Selective Classification with Deep Neural Networks [1.4502611532302039]
  我々は,ロジットの単純な$p$-norm正規化を行い,次に最大ロジットを信頼度推定器とすることで,選択的分類性能が著しく向上することを示した。 我々の結果は、分布シフトの下で一貫していることが示されている。
  論文  参考訳（メタデータ） (2023-05-24T18:56:55Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)
• Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
  ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。 分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。 本手法は精度と不確実性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-27T01:09:08Z)
• Robust Importance Sampling for Error Estimation in the Context of Optimal Bayesian Transfer Learning [13.760785726194591]
  最適ベイズ移動学習のための最小平均二乗誤差推定器(MMSE)を新たに導入する。 提案した推定器を用いて,多様な学習能力にまたがる幅広い分類器の分類精度を評価する。 合成データと実世界のRNAシークエンシング(RNA-seq)データの両方に基づく実験結果から,提案したOBTL誤差推定手法が標準誤差推定器より明らかに優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-05T19:11:33Z)
• Evaluating State-of-the-Art Classification Models Against Bayes Optimality [106.50867011164584]
  正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。 われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
  論文  参考訳（メタデータ） (2021-06-07T06:21:20Z)
• How to Control the Error Rates of Binary Classifiers [0.0]
  本稿では,二項分類を統計的テストに変換し,p値の分類を計算し,対象の誤差率を制限する方法を示す。 特に、二項分類器を統計検査に変換し、p-値の分類を計算し、対象の誤差率を制限する方法を示す。
  論文  参考訳（メタデータ） (2020-10-21T14:43:14Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。