論文の概要: Evaluating classification performance across operating contexts: A comparison of decision curve analysis and cost curves

• arxiv url: http://arxiv.org/abs/2509.24608v1
• Date: Mon, 29 Sep 2025 11:15:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.936626
• Title: Evaluating classification performance across operating contexts: A comparison of decision curve analysis and cost curves
• Title（参考訳）: 運用文脈における分類性能の評価:決定曲線解析とコスト曲線の比較
• Authors: Louise AC Millard, Peter A Flach,
• Abstract要約: 決定曲線は、ブライア曲線と呼ばれる特定の種類のコスト曲線と密接に関連していることを示す。 損失の差は、純利益の差と同等である。 我々は,各空間に共通する基準線をいずれにも含めることができることを示唆し,有効比較として,上層エンベロープ決定曲線を提案する。
• 参考スコア（独自算出の注目度）: 0.8164433158925591
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Classification models typically predict a score and use a decision threshold to produce a classification. Appropriate model evaluation should carefully consider the context in which a model will be used, including the relative value of correct classifications of positive versus negative examples, which affects the threshold that should be used. Decision curve analysis (DCA) and cost curves are model evaluation approaches that assess the expected utility and expected loss of prediction models, respectively, across decision thresholds. We compared DCA and cost curves to determine how they are related, and their strengths and limitations. We demonstrate that decision curves are closely related to a specific type of cost curve called a Brier curve. Both curves are derived assuming model scores are calibrated and setting the classification threshold using the relative value of correct positive and negative classifications, and the x-axis of both curves are equivalent. Net benefit (used for DCA) and Brier loss (used for Brier curves) will always choose the same model as optimal at any given threshold. Across thresholds, differences in Brier loss are comparable whereas differences in net benefit cannot be compared. Brier curves are more generally applicable (when a wider range of thresholds are plausible), and the area under the Brier curve is the Brier score. We demonstrate that reference lines common in each space can be included in either and suggest the upper envelope decision curve as a useful comparison for DCA showing the possible gain in net benefit that could be achieved through recalibration alone.
• Abstract（参考訳）: 分類モデルは一般的にスコアを予測し、決定しきい値を使用して分類を生成する。 適切なモデル評価は、使用すべきしきい値に影響を与える正と負の正の例の正しい分類の相対値を含む、モデルを使用するコンテキストを慎重に考慮する必要がある。 決定曲線解析(英: Decision curve analysis, DCA)とコスト曲線(英: Cost curve)は、予測モデルの予測可能性と期待損失を評価するモデル評価手法である。 DCAとコスト曲線を比較して、それらがどのように関連しているか、その強さと限界を判断した。 決定曲線は、ブライア曲線と呼ばれる特定の種類のコスト曲線と密接に関連していることを示す。 両曲線は,正負の正負の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の負の正の正の正の正の正の正の正の正の正の正の 純利益(DCAに使用される)とブライア損失(ブライア曲線に使用される)は、任意のしきい値において最適なモデルを選択する。 一方、純利益の差は比較できない。 ブライア曲線はより一般に適用可能であり(より広い範囲のしきい値が可算である場合)、ブライア曲線の下の領域はブライアスコアである。 我々は,各空間に共通する基準線をいずれにも含めることができることを示すとともに,再校正のみで得られる純利益の獲得可能性を示すDCAの有用な比較として,上層エンベロープ決定曲線を提案する。

関連論文リスト

• On the Geometry of Receiver Operating Characteristic and Precision-Recall Curves [1.6790915329706384]
  二項分類問題における受信者動作特性(ROC)と高精度リコール曲線(PR)の幾何学について検討する。 鍵となる発見は、最もよく使われるバイナリ分類のメトリクスの多くは、単に合成関数 $G := F_p circ F_n-1$ の関数であるということである。
  論文  参考訳（メタデータ） (2025-04-02T23:04:28Z)
• Decision from Suboptimal Classifiers: Excess Risk Pre- and Post-Calibration [52.70324949884702]
  バッチ二分決定における近似的後続確率を用いた余剰リスクの定量化を行う。 我々は、再校正のみが後悔のほとんどに対処する体制と、後悔が集団的損失に支配される体制を識別する。 NLP実験では、これらの量によって、より高度なポストトレーニングの期待値が運用コストに値するかどうかが分かる。
  論文  参考訳（メタデータ） (2025-03-23T10:52:36Z)
• Adaptive $k$-nearest neighbor classifier based on the local estimation of the shape operator [49.87315310656657]
  我々は, 局所曲率をサンプルで探索し, 周辺面積を適応的に定義する適応型$k$-nearest(kK$-NN)アルゴリズムを提案する。 多くの実世界のデータセットから、新しい$kK$-NNアルゴリズムは、確立された$k$-NN法と比較してバランスの取れた精度が優れていることが示されている。
  論文  参考訳（メタデータ） (2024-09-08T13:08:45Z)
• Orthogonal Causal Calibration [55.28164682911196]
  我々は、因果校正作業を標準(非因果予測モデル)の校正作業に還元する一般的なアルゴリズムを開発する。 以上の結果から,既存のキャリブレーションアルゴリズムを因果的設定に応用できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-04T03:35:25Z)
• Precision and Recall Reject Curves for Classification [1.2507543279181126]
  本稿では、精度とリコール、リコール・リジェクト曲線、精度・リジェクト曲線を評価するリジェクション曲線を提案する。 不均衡なベンチマークと、これらのシナリオに対して提案された精度とリコール曲線によりより正確な洞察が得られる実世界の医療データを示す。
  論文  参考訳（メタデータ） (2023-08-16T14:09:48Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Deconfounding Scores: Feature Representations for Causal Effect Estimation with Weak Overlap [140.98628848491146]
  推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。 分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。 特に,この手法が標準正規化の魅力的な代替となることを示す。
  論文  参考訳（メタデータ） (2021-04-12T18:50:11Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。