論文の概要: Partial VOROS: A Cost-aware Performance Metric for Binary Classifiers with Precision and Capacity Constraints
- arxiv url: http://arxiv.org/abs/2510.18520v1
- Date: Tue, 21 Oct 2025 11:00:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 03:08:13.440649
- Title: Partial VOROS: A Cost-aware Performance Metric for Binary Classifiers with Precision and Capacity Constraints
- Title(参考訳): 部分VOROS:精度と容量制約を考慮した二項分類器の性能指標
- Authors: Christopher Ratigan, Kyle Heuton, Carissa Wang, Lenore Cowen, Michael C. Hughes,
- Abstract要約: 与えられた精度とキャパシティの制約を満たす分類器のサブセットは、ROC空間において実現可能な領域として表現できることを示す。
この領域を所望のコストパラメータの範囲で平均すると、ROC表面上の部分体積(または一部VOROS)が生じる。
死亡リスクを予測する実験では、病院のアラートアプリケーションにおいて、分類器の分類方法よりもコストを意識した指標の方が優れていることを示す。
- 参考スコア(独自算出の注目度): 6.995852507959363
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The ROC curve is widely used to assess binary classification performance. Yet for some applications such as alert systems for hospitalized patient monitoring, conventional ROC analysis cannot capture crucial factors that impact deployment, such as enforcing a minimum precision constraint to avoid false alarm fatigue or imposing an upper bound on the number of predicted positives to represent the capacity of hospital staff. The usual area under the curve metric also does not reflect asymmetric costs for false positives and false negatives. In this paper we address all three of these issues. First, we show how the subset of classifiers that meet given precision and capacity constraints can be represented as a feasible region in ROC space. We establish the geometry of this feasible region. We then define the partial area of lesser classifiers, a performance metric that is monotonic with cost and only accounts for the feasible portion of ROC space. Averaging this area over a desired range of cost parameters results in the partial volume over the ROC surface, or partial VOROS. In experiments predicting mortality risk using vital sign history on the MIMIC-IV dataset, we show this cost-aware metric is better than alternatives for ranking classifiers in hospital alert applications.
- Abstract(参考訳): ROC曲線は二分分類性能を評価するために広く用いられている。
しかし, 入院患者監視のための警報システムなどの応用では, 従来のROC分析では, 誤報疲労を避けるための最小限の精度制約や, 病院職員の能力を表すための予測陽性値に上限を課すなど, 展開に影響を与える重要な要因を捉えることができない。
曲線計量の通常の領域も、偽陽性と偽陰性の非対称コストを反映していない。
本稿ではこれら3つの問題に対処する。
まず、与えられた精度とキャパシティ制約を満たす分類器のサブセットが、ROC空間において実現可能な領域として表されることを示す。
この実現可能な領域の幾何学を確立します。
次に、より小さい分類器の部分領域を定義する。これは、コストと単調な性能計量であり、ROC空間の可能な部分のみを考慮に入れている。
この領域を所望のコストパラメータの範囲で平均すると、ROC表面上の部分体積(または一部VOROS)が生じる。
また,MIMIC-IVデータセットを用いた死亡リスク予測実験では,病院警報における分類器の分類方法よりも,コストを意識した指標の方が優れていることを示した。
関連論文リスト
- Conformal Lesion Segmentation for 3D Medical Images [82.92159832699583]
本稿では,データ駆動しきい値の校正をコンフォーマル化することで,テスト時間FNRが目標許容値以下であることを保証する,リスク制約付きフレームワークを提案する。
5つのバックボーンモデルにまたがる6つの3D-LSデータセット上でのCLSの統計的健全性と予測性能を検証し,臨床実践におけるリスク認識セグメンテーションの展開に関する実用的な知見を得た。
論文 参考訳(メタデータ) (2025-10-19T08:21:00Z) - Decision from Suboptimal Classifiers: Excess Risk Pre- and Post-Calibration [52.70324949884702]
バッチ二分決定における近似的後続確率を用いた余剰リスクの定量化を行う。
我々は、再校正のみが後悔のほとんどに対処する体制と、後悔が集団的損失に支配される体制を識別する。
NLP実験では、これらの量によって、より高度なポストトレーニングの期待値が運用コストに値するかどうかが分かる。
論文 参考訳(メタデータ) (2025-03-23T10:52:36Z) - A Novel Characterization of the Population Area Under the Risk Coverage Curve (AURC) and Rates of Finite Sample Estimators [22.231565523932286]
AURC(Area Under the Risk-Coverage Curve)は、SCシステムの性能を評価するための最前線評価指標として登場した。
有限サンプルシナリオに対する実験的なAURCプラグイン推定器を導出する。
複数のデータセットにまたがる実験により,推定器の有効性を実証的に検証した。
論文 参考訳(メタデータ) (2024-10-20T11:14:51Z) - Quality assurance of organs-at-risk delineation in radiotherapy [7.698565355235687]
放射線治療計画において,腫瘍標的と臓器の脱線は重要である。
自動セグメンテーションの品質保証は、まだ臨床実践において必要ではない。
提案手法は,一級分類フレームワークにおける残差ネットワークとアテンション機構を導入し,様々な種類のOAR輪郭誤差を高精度に検出することができた。
論文 参考訳(メタデータ) (2024-05-20T02:32:46Z) - A Tale of Sampling and Estimation in Discounted Reinforcement Learning [50.43256303670011]
割引平均推定問題に対して最小値の最小値を求める。
マルコフ過程の割引されたカーネルから直接サンプリングすることで平均を推定すると、説得力のある統計的性質が得られることを示す。
論文 参考訳(メタデータ) (2023-04-11T09:13:17Z) - Assessment of Treatment Effect Estimators for Heavy-Tailed Data [70.72363097550483]
ランダム化制御試験(RCT)における治療効果の客観的評価における中心的な障害は、その性能をテストするための基礎的真理(または検証セット)の欠如である。
この課題に対処するための新しいクロスバリデーションのような方法論を提供する。
本手法は,Amazonサプライチェーンに実装された709RCTに対して評価を行った。
論文 参考訳(メタデータ) (2021-12-14T17:53:01Z) - Deconfounding Scores: Feature Representations for Causal Effect
Estimation with Weak Overlap [140.98628848491146]
推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。
分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。
特に,この手法が標準正規化の魅力的な代替となることを示す。
論文 参考訳(メタデータ) (2021-04-12T18:50:11Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳(メタデータ) (2021-04-11T09:50:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。