論文の概要: Instance-Level Costs for Nuanced Classifier Evaluation

• arxiv url: http://arxiv.org/abs/2605.03135v1
• Date: Mon, 04 May 2026 20:19:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:43.640697
• Title: Instance-Level Costs for Nuanced Classifier Evaluation
• Title（参考訳）: Nuanced Classifier評価のためのインスタンスレベルコスト
• Authors: Kabir Kang, Stephen Mussmann,
• Abstract要約: コンテンツモデレーション、医療スクリーニング、安全クリティカルなアプリケーションでは、明確なケースのミスは曖昧なケースのエラーよりもはるかにコストがかかる。 本研究では, 正規化過剰コスト (NEC) を提案する。これは, サンプル毎のコストによる分類誤差を重み付けし, コストが均一な場合に標準誤差率に還元する指標である。
• 参考スコア（独自算出の注目度）: 1.0481606990674208
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Standard classification treats all errors equally, but in content moderation, medical screening, and safety-critical applications, mistakes on clear-cut cases are far more costly than errors on ambiguous ones. We propose normalized excess cost (NEC), a metric that weights classification errors by per-example costs and reduces to standard error rate when costs are uniform. Costs can derive from annotator vote margins, distance from decision thresholds, or confidence ratings. Across text, image, and tabular benchmarks, we find that NEC is often substantially lower than error rate -- models with 5\% error rate can achieve 1.8\% NEC -- revealing that most mistakes concentrate on ambiguous, low-cost examples. However, incorporating costs into training via loss weighting, sampling strategies, or regression yields inconsistent benefits: improvements appear only when costs are predictable from input features, as in our synthetic control, while real-world datasets show mixed or negligible gains. Our framework provides a practical methodology for deriving and evaluating instance-level misclassification costs, even when cost-sensitive training offers limited benefit.
• Abstract（参考訳）: 標準的な分類では、すべてのエラーを平等に扱うが、コンテンツモデレーション、医療スクリーニング、安全クリティカルなアプリケーションでは、クリアカットケースのエラーは曖昧なエラーよりもはるかにコストがかかる。 本研究では, 正規化過剰コスト (NEC) を提案する。これは, サンプル毎のコストによる分類誤差を重み付けし, コストが均一な場合に標準誤差率に還元する指標である。 コストは、アノテータの票率、決定しきい値からの距離、あるいは信頼評価から導かれる。 テキスト、画像、および表のベンチマークを通じて、NECはエラー率よりもかなり低い場合が多く、エラー率5\%のモデルでは1.8\%のNECが得られることが分かり、ほとんどのミスは曖昧で低コストな例に集中している。 しかし、損失重み付け、サンプリング戦略、回帰利得によるトレーニングにコストを組み込むことで、改善は、我々の合成制御のように入力特徴からコストが予測可能な場合にのみ現れるが、現実のデータセットは混合または無視可能な利得を示す。 我々のフレームワークは、コストに敏感なトレーニングが限られた利益をもたらす場合でも、インスタンスレベルの誤分類コストを導出し評価するための実践的な方法論を提供する。

関連論文リスト

• Cost-Aware Learning [72.31444819326795]
  本稿では,異なるコンポーネント関数をサンプリングするコスト認識学習の問題点について考察する。 凸関数に対するコスト・アウェア・Descentアルゴリズムを提案し、そのコスト複雑性を導出し誤差を$$$とする。 本稿では,性能を保ちつつポリシー最適化のコストを削減するアルゴリズムであるCost-Aware GRPOを紹介する。
  論文  参考訳（メタデータ） (2026-04-30T15:39:09Z)
• Cost-Optimal Active AI Model Evaluation [71.2069549142394]
  生成AIシステムの開発には、継続的な評価、データ取得、アノテーションが必要である。 我々は、安価だがしばしば不正確で弱いレーダの使用を積極的にバランスさせる新しいコスト認識手法を開発した。 我々は、弱者と強者の間で所定のアノテーション予算を割り当てるためのコスト最適化政策のファミリーを導出する。
  論文  参考訳（メタデータ） (2025-06-09T17:14:41Z)
• Rethinking Early Stopping: Refine, Then Calibrate [49.966899634962374]
  キャリブレーション・リファインメント分解の新規な変分定式化について述べる。 我々は,校正誤差と精錬誤差が訓練中に同時に最小化されないという理論的,実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2025-01-31T15:03:54Z)
• Technical report on label-informed logit redistribution for better domain generalization in low-shot classification with foundation models [3.938980910007962]
  信頼度校正は、基礎モデルに基づく現実世界の意思決定システムにおいて、新たな課題である。 本研究では,微調整の際,不正分類を罰する損失目標に組み込んだペナルティを提案する。 CMP(textitconfidence misalignment penalty)と呼ぶ。
  論文  参考訳（メタデータ） (2025-01-29T11:54:37Z)
• Of Dice and Games: A Theory of Generalized Boosting [61.752303337418475]
  我々は、コスト感受性と多目的損失の両方を組み込むために、ブースティングの有名な理論を拡張した。 我々は、コスト感受性と多目的強化の包括的理論を開発し、弱い学習保証の分類を提供する。 我々の特徴付けは、昇降の幾何学的解釈に依存しており、コスト感受性と多目的損失の間の驚くべき等価性を明らかにしている。
  論文  参考訳（メタデータ） (2024-12-11T01:38:32Z)
• On support vector machines under a multiple-cost scenario [1.743685428161914]
  Support Vector Machine (SVM) はバイナリ分類において強力なツールである。 本稿では,性能制約を組み込んだ誤り分類コストを考慮した新しいSVMモデルを提案する。
  論文  参考訳（メタデータ） (2023-12-22T16:12:25Z)
• Rethinking Cost-sensitive Classification in Deep Learning via Adversarial Data Augmentation [4.479834103607382]
  コストに敏感な分類は、誤分類エラーがコストで大きく異なるアプリケーションにおいて重要である。 本稿では,過度パラメータ化モデルにコスト感受性を持たせるために,コスト依存型逆データ拡張フレームワークを提案する。 提案手法は,全体のコストを効果的に最小化し,臨界誤差を低減するとともに,全体的な精度で同等の性能を達成できる。
  論文  参考訳（メタデータ） (2022-08-24T19:00:30Z)
• Training Over-parameterized Models with Non-decomposable Objectives [46.62273918807789]
  より一般的なコスト行列を扱うために,ロジット調整という古典的な考え方を拡張した新たなコスト感受性損失を提案する。 私たちの損失は校正され、教師モデルの蒸留ラベルでさらに改善できます。
  論文  参考訳（メタデータ） (2021-07-09T19:29:33Z)
• Cost-Based Budget Active Learning for Deep Learning [0.9732863739456035]
  予算に制約のある集団における分類の不確実性やインスタンスの多様性を考慮したコストベースのバグデットアクティブラーニング(CBAL)を提案する。 min-maxに基づく原則的アプローチは、選択されたインスタンスのラベル付けと決定コストを最小化すると考えられる。
  論文  参考訳（メタデータ） (2020-12-09T17:42:44Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。