論文の概要: Cost-Sensitive Evaluation for Binary Classifiers

• arxiv url: http://arxiv.org/abs/2510.22016v1
• Date: Fri, 24 Oct 2025 20:34:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 19:54:32.486065
• Title: Cost-Sensitive Evaluation for Binary Classifiers
• Title（参考訳）: バイナリ分類器のコスト感評価
• Authors: Pierangelo Lombardo, Antonio Casoli, Cristian Cingolani, Shola Oshodi, Michele Zanatta,
• Abstract要約: 重み付き精度(英: Weighted Accuracy, WA)は、よく知られた精度の計量の重み付きバージョンとして、直接解釈されたバイナリ分類器の評価指標である。 コスト依存シナリオにおけるクラス不均衡を扱うための概念的枠組みを明らかにする。
• 参考スコア（独自算出の注目度）: 0.013048920509133805
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Selecting an appropriate evaluation metric for classifiers is crucial for model comparison and parameter optimization, yet there is not consensus on a universally accepted metric that serves as a definitive standard. Moreover, there is often a misconception about the perceived need to mitigate imbalance in datasets used to train classification models. Since the final goal in classifier optimization is typically maximizing the return of investment or, equivalently, minimizing the Total Classification Cost (TCC), we define Weighted Accuracy (WA), an evaluation metric for binary classifiers with a straightforward interpretation as a weighted version of the well-known accuracy metric, coherent with the need of minimizing TCC. We clarify the conceptual framework for handling class imbalance in cost-sensitive scenarios, providing an alternative to rebalancing techniques. This framework can be applied to any metric that, like WA, can be expressed as a linear combination of example-dependent quantities and allows for comparing the results obtained in different datasets and for addressing discrepancies between the development dataset, used to train and validate the model, and the target dataset, where the model will be deployed. It also specifies in which scenarios using UCCs-unaware class rebalancing techniques or rebalancing metrics aligns with TCC minimization and when it is instead counterproductive. Finally, we propose a procedure to estimate the WA weight parameter in the absence of fully specified UCCs and demonstrate the robustness of WA by analyzing its correlation with TCC in example-dependent scenarios.
• Abstract（参考訳）: 分類器の適切な評価基準を選択することは、モデル比較とパラメータ最適化にとって重要であるが、決定的な基準として機能する普遍的に受け入れられる計量について合意はない。 さらに、分類モデルのトレーニングに使用されるデータセットの不均衡を緩和する必要性が認識されているという誤解もしばしばある。 分類器最適化の最終目標は、一般的に投資のリターンを最大化することであり、またはそれと同等の総分類コスト(TCC)を最小化することであるので、よく知られた精度基準の重み付け版として、直訳した二項分類器の評価指標である重み付き精度(WA)を定義し、TCCの最小化の必要性と整合する。 コスト感受性シナリオにおけるクラス不均衡を扱うための概念的枠組みを明確にし、再バランス手法の代替手段を提供する。 このフレームワークは、WAのように、サンプル依存量の線形結合として表現することができ、異なるデータセットで得られた結果を比較し、モデルをトレーニングし、検証するために使用される開発データセットと、モデルをデプロイするターゲットデータセットとの間の相違に対処することができる。 また、UCCの無意識なクラス再バランス技術を使用したシナリオや、TCCの最小化に適合するメトリクスの再バランスのシナリオや、その代わりに非生産的なシナリオも定義している。 最後に,完全なUCCが存在しない場合のWA重みパラメータを推定し,実例依存シナリオにおけるTCLとの相関を解析してWAの堅牢性を示す手法を提案する。

関連論文リスト

• Explicit modelling of subject dependency in BCI decoding [12.17288254938554]
  Brain-Computer Interfaces (BCI) は、高いオブジェクト間の変動とラベル付きデータに悩まされる。 被験者の身元を条件とした軽量畳み込みニューラルネットワーク(CNN)を用いて、対象の依存関係を明示的にモデル化するエンド・ツー・エンドのアプローチを提案する。
  論文  参考訳（メタデータ） (2025-09-27T10:51:42Z)
• UniCBE: An Uniformity-driven Comparing Based Evaluation Framework with Unified Multi-Objective Optimization [19.673388630963807]
  統一統一性駆動型CBEフレームワークUniCBEを提案する。 AlpacaEvalベンチマークでは、UniCBEは評価予算の17%以上を削減し、Pearsonと地上の真実との相関は0.995を超えている。 新しいモデルが継続的に導入されるシナリオでは、UniCBEは評価コストの50%以上を節約できる。
  論文  参考訳（メタデータ） (2025-02-17T05:28:12Z)
• Optimizing Class-Level Probability Reweighting Coefficients for Equitable Prompting Accuracy [12.287692969438169]
  LLMは、事前訓練されたデータの統計正則性からのバイアスをしばしば発見する。 これは、分類とQAにおいて、永続的で不均一なクラス精度をもたらす。 本研究では,非微分不可能な性能駆動メトリクスを直接最適化するポストホック確率再重み付け手法を開発した。
  論文  参考訳（メタデータ） (2024-05-13T10:30:33Z)
• Optimal Baseline Corrections for Off-Policy Contextual Bandits [61.740094604552475]
  オンライン報酬指標の偏りのないオフライン推定を最適化する意思決定ポリシーを学習することを目指している。 学習シナリオにおける同値性に基づく単一のフレームワークを提案する。 我々のフレームワークは、分散最適非バイアス推定器の特徴付けを可能にし、それに対する閉形式解を提供する。
  論文  参考訳（メタデータ） (2024-05-09T12:52:22Z)
• Latent Semantic Consensus For Deterministic Geometric Model Fitting [109.44565542031384]
  我々はLSC(Latent Semantic Consensus)と呼ばれる効果的な方法を提案する。 LSCは、モデルフィッティング問題をデータポイントとモデル仮説に基づく2つの潜在意味空間に定式化する。 LSCは、一般的な多構造モデルフィッティングのために、数ミリ秒以内で一貫した、信頼性の高いソリューションを提供することができる。
  論文  参考訳（メタデータ） (2024-03-11T05:35:38Z)
• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)
• Conceptually Diverse Base Model Selection for Meta-Learners in Concept Drifting Data Streams [3.0938904602244355]
  本稿では,基礎となる部分空間間の主アングル(PA)を用いて計算したベースモデルの概念的類似性を推定するための新しいアプローチを提案する。 オンライン・トランスファー・ラーニング(TL)の文脈における共通アンサンブル・プルーニング・メトリクス、すなわち予測性能と相互情報(MI)を用いた閾値付けに対するこれらの手法の評価を行った。 その結果、概念的類似度閾値は計算オーバーヘッドを低減し、予測性能とMIを用いて閾値に匹敵する予測性能が得られることがわかった。
  論文  参考訳（メタデータ） (2021-11-29T13:18:53Z)
• Re-Assessing the "Classify and Count" Quantification Method [88.60021378715636]
  分類とカウント(CC)は、しばしば偏りのある推定器である。 以前の作業では、CCの適切に最適化されたバージョンを適切に使用できなかった。 最先端の手法に劣っているものの、ほぼ最先端の精度を実現している、と我々は主張する。
  論文  参考訳（メタデータ） (2020-11-04T21:47:39Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)
• Improved Design of Quadratic Discriminant Analysis Classifier in Unbalanced Settings [19.763768111774134]
  分類のための二次判別分析(QDA)またはその正規化バージョン(R-QDA)は推奨されないことが多い。 本稿では2つの正規化パラメータと修正バイアスに基づく改良されたR-QDAを提案する。
  論文  参考訳（メタデータ） (2020-06-11T12:17:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。