論文の概要: Tournament Leave-pair-out Cross-validation for Receiver Operating
Characteristic (ROC) Analysis
- arxiv url: http://arxiv.org/abs/1801.09386v2
- Date: Wed, 24 Jan 2024 08:54:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-25 18:26:52.927944
- Title: Tournament Leave-pair-out Cross-validation for Receiver Operating
Characteristic (ROC) Analysis
- Title(参考訳): 受信機動作特性(roc)解析のためのトーナメントプレーアウトクロスバリデーション
- Authors: Ileana Montoya Perez, Antti Airola, Peter J. Bostr\"om, Ivan Jambor
and Tapio Pahikkala
- Abstract要約: 低次元データ上では,トーナメント・アウト・ペアアウト (TLPO) のクロスバリデーションは,トーナメント・アウト・ペアアウト (TLPO) のクロスバリデーションと同じくらい信頼性が高いことを示す。
また,TLPO ROC曲線から感度と特異性を確実に推定できることを示す。
- 参考スコア(独自算出の注目度): 2.099922236065961
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Receiver operating characteristic (ROC) analysis is widely used for
evaluating diagnostic systems. Recent studies have shown that estimating an
area under ROC curve (AUC) with standard cross-validation methods suffers from
a large bias. The leave-pair-out (LPO) cross-validation has been shown to
correct this bias. However, while LPO produces an almost unbiased estimate of
AUC, it does not provide a ranking of the data needed for plotting and
analyzing the ROC curve. In this study, we propose a new method called
tournament leave-pair-out (TLPO) cross-validation. This method extends LPO by
creating a tournament from pair comparisons to produce a ranking for the data.
TLPO preserves the advantage of LPO for estimating AUC, while it also allows
performing ROC analyses. We have shown using both synthetic and real world data
that TLPO is as reliable as LPO for AUC estimation, and confirmed the bias in
leave-one-out cross-validation on low-dimensional data. As a case study on ROC
analysis, we also evaluate how reliably sensitivity and specificity can be
estimated from TLPO ROC curves.
- Abstract(参考訳): 受信者動作特性(ROC)解析は診断システムの評価に広く用いられている。
近年の研究では、標準クロスバリデーション法でROC曲線(AUC)の下での面積を推定することが大きなバイアスに悩まされることが示されている。
離脱ペアアウト(LPO)クロスバリデーションは、このバイアスを修正することが示されている。
しかし、LPOはAUCのほとんどバイアスのない推定値を生成するが、ROC曲線のプロットと解析に必要なデータのランキングは提供していない。
そこで本研究では,トーナメント終了ペアアウト(TLPO)クロスバリデーションと呼ばれる新しい手法を提案する。
この方法は、ペア比較からトーナメントを作成してLPOを拡張し、データのランキングを生成する。
TLPO は AUC を推定するための LPO の利点を保ち、ROC 解析も可能である。
我々は, TLPOがAUC推定のLPOと同じくらい信頼性の高い合成データと実世界データの両方を用いて, 低次元データ上でのLeft-one-outクロスバリデーションのバイアスを確認した。
ROC解析のケーススタディとして、TLPO ROC曲線から感度と特異性を確実に推定できるかどうかを評価する。
関連論文リスト
- Empirical investigation of multi-source cross-validation in clinical machine learning [1.023858929087312]
クロスバリデーション法は、機械学習に基づく臨床予測モデルの精度を推定するために用いられる。
マルチソース環境における標準Kフォールドクロスバリデーションと離脱元クロスバリデーションの系統的評価について述べる。
以上の結果から,K-foldクロスバリデーションは単一ソースデータと複数ソースデータの両方において,新たなソースへの一般化を目標とする場合の予測性能を体系的に過大評価していることがわかった。
論文 参考訳(メタデータ) (2024-03-22T07:56:31Z) - The Gaps between Pre-train and Downstream Settings in Bias Evaluation
and Debiasing [74.7319697510621]
In-Context Learning (ICL)は、FTベースのデバイアス法と比較して、PLMの変更を小さくする。
ICL-based debiasing method is a higher correlation between intrinsic and extrinsic bias scores than FT-based method。
論文 参考訳(メタデータ) (2024-01-16T17:15:08Z) - The curious case of the test set AUROC [0.5242869847419834]
テストROC曲線のみから得られるスコアを考えると、モデルがどのように機能するか、その一般化する能力について、より狭い洞察しか得られない、と我々は論じる。
論文 参考訳(メタデータ) (2023-12-19T17:40:58Z) - Annotation-Free Group Robustness via Loss-Based Resampling [3.355491272942994]
経験的リスク最小化による画像分類のためのニューラルネットワークのトレーニングは、予測のための因果的属性ではなく、突発的な属性に依存することに脆弱である。
トレーニングデータの小さな分割に対してERM事前学習モデルを評価することにより、データのグループ化を推測する。
水鳥とCelebAデータセットの様々なバージョンにおけるLFRの評価を行った。
論文 参考訳(メタデータ) (2023-12-08T08:22:02Z) - Correcting Underrepresentation and Intersectional Bias for Fair
Classification [55.2480439325792]
偏見バイアスによって劣化したデータから学習する問題について考察し, 正の例を, 一定の数のセンシティブなグループに対して, 異なる未知のレートでフィルタする。
交叉群のメンバーシップが各交叉率を計算不能にするような設定であっても,少数の偏りのないデータを用いてグループワイド・ドロップアウトパラメータを効率的に推定できることが示される。
我々は,この学習と再重み付け過程をカプセル化するアルゴリズムを提案し,高い確率で真の分布に対する仮説のリスクが任意に近いことをPACスタイルの強い保証を提供する。
論文 参考訳(メタデータ) (2023-06-19T18:25:44Z) - Efficient and robust transfer learning of optimal individualized
treatment regimes with right-censored survival data [7.308241944759317]
個別治療体制(英: individualized treatment regime、ITR)は、患者の特徴に基づいて治療を割り当てる決定規則である。
本稿では、値関数の2倍頑健な推定器を提案し、その最適ITRは、予め指定されたIRRのクラス内の値関数を最大化することにより学習する。
重篤なメタボリックアシダ血症に対するバイカーボネートナトリウム療法のシミュレーションおよび実データによる評価を行った。
論文 参考訳(メタデータ) (2023-01-13T11:47:10Z) - Assessment of Treatment Effect Estimators for Heavy-Tailed Data [70.72363097550483]
ランダム化制御試験(RCT)における治療効果の客観的評価における中心的な障害は、その性能をテストするための基礎的真理(または検証セット)の欠如である。
この課題に対処するための新しいクロスバリデーションのような方法論を提供する。
本手法は,Amazonサプライチェーンに実装された709RCTに対して評価を行った。
論文 参考訳(メタデータ) (2021-12-14T17:53:01Z) - Stochastic Optimization of Areas Under Precision-Recall Curves with
Provable Convergence [66.83161885378192]
ROC(AUROC)と精度リコール曲線(AUPRC)の下の領域は、不均衡問題に対する分類性能を評価するための一般的な指標である。
本稿では,深層学習のためのAUPRCの最適化手法を提案する。
論文 参考訳(メタデータ) (2021-04-18T06:22:21Z) - Sparse Feature Selection Makes Batch Reinforcement Learning More Sample
Efficient [62.24615324523435]
本稿では,スパース線形関数近似を用いた高次元バッチ強化学習(RL)の統計的解析を行う。
候補となる機能が多数存在する場合,提案手法がバッチRLをより効率的にサンプリングできるという事実に光を当てる。
論文 参考訳(メタデータ) (2020-11-08T16:48:02Z) - Evaluating probabilistic classifiers: Reliability diagrams and score
decompositions revisited [68.8204255655161]
確率的に統計的に一貫性があり、最適に結合し、再現可能な信頼性図を自動生成するCORP手法を導入する。
コーパスは非パラメトリックアイソトニック回帰に基づいており、プール・アジャセント・ヴァイオレータ(PAV)アルゴリズムによって実装されている。
論文 参考訳(メタデータ) (2020-08-07T08:22:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。