論文の概要: Bayes-Optimal BER and AUC: Estimation and Evaluation of Estimators

• arxiv url: http://arxiv.org/abs/2609.02304v1
• Date: Wed, 02 Sep 2026 08:49:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-03 17:53:18.206791
• Title: Bayes-Optimal BER and AUC: Estimation and Evaluation of Estimators
• Title（参考訳）: ベイズ最適BERとAUC:推定器の評価と評価
• Abstract要約: 機械学習の基本的な量は、与えられたタスク上の任意のモデルによって達成可能な最適なパフォーマンスである。 最近の研究により、ベイズ誤差は二項分類におけるソフトラベルから推定できることが示されている。 最適なBERとAUCのためのソフトラベルに基づく推定器を提案する。
• 参考スコア（独自算出の注目度）: 47.001801756596926
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A fundamental quantity in machine learning is the optimal performance achievable by any model on a given task. Estimating this quantity allows us to distinguish the irreducible part of the error from a deficiency of the model, telling us how much room for improvement remains. Recent work has shown that the Bayes error, or equivalently the optimal accuracy, can be estimated from soft labels in binary classification. However, accuracy is often a poor summary of performance in settings with severe class imbalance or noisy annotations, where metrics such as the balanced error rate (BER) and the area under the ROC curve (AUC) are more appropriate. We address this gap with two complementary contributions. (i) Estimation. We propose soft-label-based estimators for the optimal BER and AUC. We first consider the clean setting in which true soft labels and the class prior are known, and then extend the estimators to a more realistic setting in which the class prior is unknown and the observed soft labels are corrupted by an unknown order-preserving transformation, possibly followed by additive noise. In the latter setting, we approximately recover the clean soft labels via isotonic regression with auxiliary hard labels, estimate the class prior with a clipped mean of the hard labels, and derive finite-sample error bounds for the resulting plug-in estimators. (ii) Evaluation. Since the optimum is unobservable on real datasets, evaluating any such estimator is itself nontrivial. We extend the FeeBee framework, originally proposed for evaluating Bayes-error estimators, to the optimal BER and AUC. The resulting procedure provides practical evaluation scores without requiring knowledge of the optimum, and applies to any estimator of the optimal BER or AUC, not only our proposed ones. Experiments on synthetic and real-world datasets validate both the estimators and the evaluation procedure.
• Abstract（参考訳）: 機械学習の基本的な量は、与えられたタスク上の任意のモデルによって達成可能な最適なパフォーマンスである。 この量を見積もることで、ミスの既約部分をモデルの欠如と区別し、改善の余地がどれだけ残っているかを示すことができます。 最近の研究により、ベイズ誤差は二項分類におけるソフトラベルから推定できることが示されている。 しかし、高いクラス不均衡やノイズの多いアノテーションを持つ設定では、精度が低い場合が多いため、バランスの取れたエラー率(BER)やROC曲線(AUC)の下の領域の方がより適切である。 このギャップを2つの補完的な貢献で解決する。 (i)推定。 最適なBERとAUCのためのソフトラベルに基づく推定器を提案する。 まず、真のソフトラベルとクラス先行が知られているクリーンな設定を検討し、次に、推定器を、クラス先行が未知であり、観測されたソフトラベルが未知の順序保存変換によって破壊されるような、より現実的な設定に拡張する。 後者では, 補助硬質ラベルを用いた等方性回帰を用いてクリーン軟質ラベルを概ね復元し, 切断平均値でクラスを推定し, 得られたプラグイン推定器に対する有限サンプル誤差境界を導出する。 (II) 評価。 実際のデータセットでは最適値が観測できないため、そのような推定値を評価することは自明ではない。 We extended the FeeBee framework, originally proposed for evaluation Bayes-error estimators, to the optimal BER and AUC。 提案手法は最適値の知識を必要とせずに実用的な評価スコアを提供し,提案手法だけでなく,最適BERやAUCの任意の推定値に適用する。 合成および実世界のデータセットの実験は、推定器と評価手順の両方を検証する。

関連論文リスト

• Practical estimation of the optimal classification error with soft labels and calibration [47.001801756596926]
  我々は,ベイズ誤差,最適誤差率を推定するために,ソフトラベルを用いた以前の研究を拡張した。 我々は、破損したソフトラベルによる推定という、より困難な問題に取り組みます。 私たちのメソッドはインスタンスフリーです。つまり、入力インスタンスへのアクセスを前提としません。
  論文  参考訳（メタデータ） (2025-05-27T06:04:57Z)
• C-Learner: Constrained Learning for Causal Inference [4.370964009390564]
  本稿では,両世界の最適な重み付けを実現し,安定したプラグイン推定を実現する新しいデバイアス化手法を提案する。 我々の制約学習フレームワークは、プラグイン量に対する一階誤差がゼロであるという制約の下で、最高のプラグイン推定器を解く。
  論文  参考訳（メタデータ） (2024-05-15T16:38:28Z)
• Data-Driven Estimation of the False Positive Rate of the Bayes Binary Classifier via Soft Labels [25.40796153743837]
  本稿では,与えられたデータセットからベイズ分類器の誤り陽性率(FPR)を推定する。 我々は,デノナイジング手法とNadaraya-Watson推定器を利用した効果的なFPR推定器を開発した。
  論文  参考訳（メタデータ） (2024-01-27T20:41:55Z)
• Model Calibration in Dense Classification with Adaptive Label Perturbation [44.62722402349157]
  既存の密接な二分分類モデルは、過信される傾向がある。 本稿では,各トレーニング画像に対する独自のラベル摂動レベルを学習する適応ラベル摂動(ASLP)を提案する。 ASLPは、分布内および分布外の両方のデータに基づいて、密度の高い二分分類モデルの校正度を著しく改善することができる。
  論文  参考訳（メタデータ） (2023-07-25T14:40:11Z)
• Optimizing Partial Area Under the Top-k Curve: Theory and Practice [151.5072746015253]
  トップk曲線下部分領域(AUTKC)と呼ばれる新しい計量法を開発した。 AUTKCはより優れた識別能力を持ち、ベイズ最適スコア関数は条件付き確率に対して正しいトップKランクを与えることができる。 提案手法を最適化するために,実証的なサロゲートリスク最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-03T11:09:13Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Robust Importance Sampling for Error Estimation in the Context of Optimal Bayesian Transfer Learning [13.760785726194591]
  最適ベイズ移動学習のための最小平均二乗誤差推定器(MMSE)を新たに導入する。 提案した推定器を用いて,多様な学習能力にまたがる幅広い分類器の分類精度を評価する。 合成データと実世界のRNAシークエンシング(RNA-seq)データの両方に基づく実験結果から,提案したOBTL誤差推定手法が標準誤差推定器より明らかに優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-05T19:11:33Z)
• Evaluating State-of-the-Art Classification Models Against Bayes Optimality [106.50867011164584]
  正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。 われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
  論文  参考訳（メタデータ） (2021-06-07T06:21:20Z)
• Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification [137.9939571408506]
  各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。 不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2020-12-16T04:09:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。