論文の概要: Deep ROC Analysis and AUC as Balanced Average Accuracy to Improve Model
Selection, Understanding and Interpretation
- arxiv url: http://arxiv.org/abs/2103.11357v1
- Date: Sun, 21 Mar 2021 10:27:35 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-23 15:05:31.448871
- Title: Deep ROC Analysis and AUC as Balanced Average Accuracy to Improve Model
Selection, Understanding and Interpretation
- Title（参考訳）: モデル選択、理解、解釈を改善するためのバランス平均精度としての深いROC分析とAUC
- Authors: Andr\'e M. Carrington, Douglas G. Manuel, Paul W. Fieguth, Tim Ramsay,
Venet Osmani, Bernhard Wernly, Carol Bennett, Steven Hawken, Matthew McInnes,
Olivia Magwood, Yusuf Sheikh, Andreas Holzinger
- Abstract要約: 医療から自動運転までの意思決定には最適なパフォーマンスが欠かせません。
精度、感度、F1スコアなどの尺度は、個々の単一確率または予測リスクを反映した単一のしきい値の尺度である。
より洞察力のある分析のために,確率群や予測リスクを調査する,深層ROC解析の手法を提案する。
- 参考スコア（独自算出の注目度）: 4.7096631717710045
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Optimal performance is critical for decision-making tasks from medicine to
autonomous driving, however common performance measures may be too general or
too specific. For binary classifiers, diagnostic tests or prognosis at a
timepoint, measures such as the area under the receiver operating
characteristic curve, or the area under the precision recall curve, are too
general because they include unrealistic decision thresholds. On the other
hand, measures such as accuracy, sensitivity or the F1 score are measures at a
single threshold that reflect an individual single probability or predicted
risk, rather than a range of individuals or risk. We propose a method in
between, deep ROC analysis, that examines groups of probabilities or predicted
risks for more insightful analysis. We translate esoteric measures into
familiar terms: AUC and the normalized concordant partial AUC are balanced
average accuracy (a new finding); the normalized partial AUC is average
sensitivity; and the normalized horizontal partial AUC is average specificity.
Along with post-test measures, we provide a method that can improve model
selection in some cases and provide interpretation and assurance for patients
in each risk group. We demonstrate deep ROC analysis in two case studies and
provide a toolkit in Python.
- Abstract（参考訳）: 医療から自律運転までの意思決定作業には最適なパフォーマンスが不可欠だが、一般的なパフォーマンス対策は多すぎるか、具体的すぎる可能性がある。
二分分類器では、診断検査や時点の予後は、受信者の動作特性曲線の下の領域や精密リコール曲線の領域といった指標は、非現実的な決定しきい値を含むため、あまりにも一般的である。
一方、精度、感度、F1スコアなどの尺度は、個人またはリスクの範囲ではなく、個々の単一確率または予測リスクを反映する単一のしきい値における尺度である。
本研究では,より洞察に富んだ解析を行うために,確率群や予測リスク群を調べる手法を提案する。
AUCと正規化部分AUCは平均精度(新たな発見)、正規化部分AUCは平均感度、正規化水平部分AUCは平均特異性である。
検査後対策とともに,各リスクグループの患者に対して,モデル選択を改善し,解釈と保証を行う方法を提案する。
2つのケーススタディで深いROC分析を示し、Pythonでツールキットを提供する。
関連論文リスト
- PersonalizedUS: Interpretable Breast Cancer Risk Assessment with Local Coverage Uncertainty Quantification [2.6911061523689415]
現在の「ゴールドスタンダード」は、臨床医による手動のBI-RADSスコアに依存しており、しばしば不必要な生検や、患者とその家族に対する精神的な負担を伴っている。
我々は、直列予測の最近の進歩を活用して、正確でパーソナライズされたリスク推定を提供する、パーソナライズされた機械学習システムであるPersonalizedUSを紹介する。
具体的な臨床効果としては、BI-RADS 4aと4bの病変のうち、要求された生検を最大で65%減らし、がんの再発は最小限である。
論文 参考訳（メタデータ） (2024-08-28T00:47:55Z) - Improving Bias Correction Standards by Quantifying its Effects on Treatment Outcomes [54.18828236350544]
Propensity score matching (PSM) は、分析のために同等の人口を選択することで選択バイアスに対処する。
異なるマッチング手法は、すべての検証基準を満たす場合でも、同じタスクに対する平均処理効果(ATE)を著しく異なるものにすることができる。
この問題に対処するため,新しい指標A2Aを導入し,有効試合数を削減した。
論文 参考訳（メタデータ） (2024-07-20T12:42:24Z) - Structural-Based Uncertainty in Deep Learning Across Anatomical Scales: Analysis in White Matter Lesion Segmentation [8.64414399041931]
不確実性定量化(英: Uncertainty Quantification、UQ)は、ホワイトマター病変(WML)セグメンテーションの文脈における、自動ディープラーニング(DL)ツールの信頼性の指標である。
我々は, 構造的予測の相違から, 病変や患者スケールの不確かさを定量化する尺度を開発した。
444例の多心MRIデータから, 病変のモデル誤差をより効果的に把握し, 患者規模を計測できることが示唆された。
論文 参考訳（メタデータ） (2023-11-15T13:04:57Z) - Diagnosis Uncertain Models For Medical Risk Prediction [80.07192791931533]
本研究は, 患者の診断にはアクセスできない, バイタルサイン, 検査値, 既往歴にアクセス可能な患者リスクモデルについて考察する。
このようなすべての原因のリスクモデルが、診断全体にわたって良い一般化を持つが、予測可能な障害モードを持つことが示される。
患者診断の不確実性から生じるリスク予測の不確実性を明示的にモデル化し,この問題に対する対策を提案する。
論文 参考訳（メタデータ） (2023-06-29T23:36:04Z) - Uncertainty estimations methods for a deep learning model to aid in
clinical decision-making -- a clinician's perspective [0.0]
深層学習にインスパイアされた不確実性推定技術はいくつかあるが、医療データセットに実装されているものはほとんどない。
我々は,不確かさを推定するために,ドロップアウト変動推論(DO),テスト時間拡張(TTA),共形予測,単一決定論的手法を比較した。
臨床実習にモデルを組み込む前に,複数の推定手法を評価することが重要である。
論文 参考訳（メタデータ） (2022-10-02T17:54:54Z) - Mitigating multiple descents: A model-agnostic framework for risk
monotonization [84.6382406922369]
クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。
本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
論文 参考訳（メタデータ） (2022-05-25T17:41:40Z) - Robust and Agnostic Learning of Conditional Distributional Treatment
Effects [62.44901952244514]
条件平均治療効果(CATE)は、個々の因果効果の最適点予測である。
集約分析では、通常は分布処理効果(DTE)の測定によって対処される。
我々は,多種多様な問題に対して条件付きDTE(CDTE)を学習するための,新しい堅牢でモデルに依存しない手法を提供する。
論文 参考訳（メタデータ） (2022-05-23T17:40:31Z) - A New Approach for Interpretability and Reliability in Clinical Risk
Prediction: Acute Coronary Syndrome Scenario [0.33927193323747895]
我々は、リスクスコアと機械学習モデルの両方の最高の特徴を組み合わせた、新たなリスクアセスメント方法論を作成するつもりです。
提案手法は、標準LRと同一の試験結果を得たが、より優れた解釈性とパーソナライゼーションを提供する。
個人予測の信頼性推定は誤分類率と大きな相関を示した。
論文 参考訳（メタデータ） (2021-10-15T19:33:46Z) - Increasing the efficiency of randomized trial estimates via linear
adjustment for a prognostic score [59.75318183140857]
ランダム化実験による因果効果の推定は臨床研究の中心である。
歴史的借用法のほとんどは、厳格なタイプiエラー率制御を犠牲にして分散の削減を達成する。
論文 参考訳（メタデータ） (2020-12-17T21:10:10Z) - UNITE: Uncertainty-based Health Risk Prediction Leveraging Multi-sourced
Data [81.00385374948125]
我々はUNcertaInTyベースのhEalth Risk Prediction(UNITE)モデルを提案する。
UNITEは、複数ソースの健康データを活用した正確な疾患リスク予測と不確実性推定を提供する。
非アルコール性脂肪肝疾患(NASH)とアルツハイマー病(AD)の実態予測タスクにおけるUNITEの評価を行った。
UNITEはAD検出のF1スコアで最大0.841点、NASH検出のPR-AUCで最大0.609点を達成し、最高のベースラインで最大19%の高パフォーマンスを達成している。
論文 参考訳（メタデータ） (2020-10-22T02:28:11Z) - Optimal Best-Arm Identification Methods for Tail-Risk Measures [9.128264779870538]
条件付きバリュー・アット・リスク(CVaR)とバリュー・アット・リスク(VaR)は金融や保険業界で人気のあるテール・アット・リスク対策である。
CVaR, VaR, CVaRの最小値の平均は, CVaR, VaR, CVaRの最小値の平均である。
論文 参考訳（メタデータ） (2020-08-17T20:23:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。