論文の概要: Model Evaluation in the Dark: Robust Classifier Metrics with Missing Labels

• arxiv url: http://arxiv.org/abs/2504.18385v1
• Date: Fri, 25 Apr 2025 14:31:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.796133
• Title: Model Evaluation in the Dark: Robust Classifier Metrics with Missing Labels
• Title（参考訳）: 暗黒におけるモデル評価:失明ラベル付きロバスト分類法
• Authors: Danial Dervovic, Michael Cashmore,
• Abstract要約: 本稿では,精度,リコール,ROC-AUCなどの指標を用いて分類器の評価を行うための多重計算手法を提案する。 予測分布の位置と形状が一般的に正しいことを実証的に示す。
• 参考スコア（独自算出の注目度）: 2.384873896423002
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Missing data in supervised learning is well-studied, but the specific issue of missing labels during model evaluation has been overlooked. Ignoring samples with missing values, a common solution, can introduce bias, especially when data is Missing Not At Random (MNAR). We propose a multiple imputation technique for evaluating classifiers using metrics such as precision, recall, and ROC-AUC. This method not only offers point estimates but also a predictive distribution for these quantities when labels are missing. We empirically show that the predictive distribution's location and shape are generally correct, even in the MNAR regime. Moreover, we establish that this distribution is approximately Gaussian and provide finite-sample convergence bounds. Additionally, a robustness proof is presented, confirming the validity of the approximation under a realistic error model.
• Abstract（参考訳）: 教師あり学習における欠落データはよく研究されているが、モデル評価中の欠落ラベルの具体的な問題は見過ごされている。 共通の解決策である値の欠落を無視すると、特にデータがランダム(MNAR)を欠いている場合、バイアスが発生する可能性がある。 本稿では,精度,リコール,ROC-AUCなどの指標を用いて分類器の評価を行うための多重計算手法を提案する。 この手法は、点推定だけでなく、ラベルの欠落時にこれらの量の予測分布も提供する。 我々は,MNAR体制においても,予測分布の位置と形状が概ね正しいことを実証的に示す。 さらに、この分布はおよそガウス的であり、有限サンプル収束境界を与える。 さらに、現実的な誤差モデルの下で近似の妥当性を確認する頑健性証明が提示される。

関連論文リスト

• A Statistical Model for Predicting Generalization in Few-Shot Classification [6.158812834002346]
  一般化誤差を予測するために,特徴分布のガウスモデルを導入する。 提案手法は, 相互検証戦略の離脱など, 代替案よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-13T10:21:15Z)
• Estimating the Contamination Factor's Distribution in Unsupervised Anomaly Detection [7.174572371800215]
  異常検出手法は、期待された振る舞いに従わない例を特定する。 異常として示される例の比率は、汚染因子と呼ばれる異常の予想割合と等しい。 ラベルのないデータセットの汚染係数の後方分布を推定する手法を提案する。
  論文  参考訳（メタデータ） (2022-10-19T11:51:25Z)
• Theoretical characterization of uncertainty in high-dimensional linear classification [24.073221004661427]
  本研究では,高次元入力データとラベルの限られたサンプル数から学習する不確実性が,近似メッセージパッシングアルゴリズムによって得られることを示す。 我々は,信頼度を適切に正則化することで緩和する方法について論じるとともに,損失に対するクロスバリデーションが0/1誤差よりもキャリブレーションが優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-07T15:32:07Z)
• Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
  ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。 分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。 本手法は精度と不確実性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-27T01:09:08Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Cross-validation: what does it estimate and how well does it do it? [2.049702429898688]
  クロスバリデーションは予測誤差を推定するために広く使われている手法であるが、その振る舞いは複雑であり、完全には理解されていない。 これは、通常の最小二乗に適合する線形モデルの場合ではなく、同じ集団から引き出された他の目に見えない訓練セットに適合するモデルの平均予測誤差を推定するものである。
  論文  参考訳（メタデータ） (2021-04-01T17:58:54Z)
• Distribution-free uncertainty quantification for classification under label shift [105.27463615756733]
  2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。 まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。 これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
  論文  参考訳（メタデータ） (2021-03-04T20:51:03Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Matrix Completion with Quantified Uncertainty through Low Rank Gaussian Copula [30.84155327760468]
  本稿では,不確かさを定量化した値計算の欠如に対する枠組みを提案する。 モデルに適合するために必要な時間は、データセット内の行数や列数と線形にスケールする。 実験結果から,本手法は様々な種類のデータに対して最先端の計算精度が得られることがわかった。
  論文  参考訳（メタデータ） (2020-06-18T19:51:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。