論文の概要: Tournament Leave-pair-out Cross-validation for Receiver Operating Characteristic (ROC) Analysis

• arxiv url: http://arxiv.org/abs/1801.09386v2
• Date: Wed, 24 Jan 2024 08:54:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-25 18:26:52.927944
• Title: Tournament Leave-pair-out Cross-validation for Receiver Operating Characteristic (ROC) Analysis
• Title（参考訳）: 受信機動作特性(roc)解析のためのトーナメントプレーアウトクロスバリデーション
• Authors: Ileana Montoya Perez, Antti Airola, Peter J. Bostr\"om, Ivan Jambor and Tapio Pahikkala
• Abstract要約: 低次元データ上では,トーナメント・アウト・ペアアウト (TLPO) のクロスバリデーションは,トーナメント・アウト・ペアアウト (TLPO) のクロスバリデーションと同じくらい信頼性が高いことを示す。 また,TLPO ROC曲線から感度と特異性を確実に推定できることを示す。
• 参考スコア（独自算出の注目度）: 2.099922236065961
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Receiver operating characteristic (ROC) analysis is widely used for evaluating diagnostic systems. Recent studies have shown that estimating an area under ROC curve (AUC) with standard cross-validation methods suffers from a large bias. The leave-pair-out (LPO) cross-validation has been shown to correct this bias. However, while LPO produces an almost unbiased estimate of AUC, it does not provide a ranking of the data needed for plotting and analyzing the ROC curve. In this study, we propose a new method called tournament leave-pair-out (TLPO) cross-validation. This method extends LPO by creating a tournament from pair comparisons to produce a ranking for the data. TLPO preserves the advantage of LPO for estimating AUC, while it also allows performing ROC analyses. We have shown using both synthetic and real world data that TLPO is as reliable as LPO for AUC estimation, and confirmed the bias in leave-one-out cross-validation on low-dimensional data. As a case study on ROC analysis, we also evaluate how reliably sensitivity and specificity can be estimated from TLPO ROC curves.
• Abstract（参考訳）: 受信者動作特性(ROC)解析は診断システムの評価に広く用いられている。 近年の研究では、標準クロスバリデーション法でROC曲線(AUC)の下での面積を推定することが大きなバイアスに悩まされることが示されている。 離脱ペアアウト(LPO)クロスバリデーションは、このバイアスを修正することが示されている。 しかし、LPOはAUCのほとんどバイアスのない推定値を生成するが、ROC曲線のプロットと解析に必要なデータのランキングは提供していない。 そこで本研究では,トーナメント終了ペアアウト(TLPO)クロスバリデーションと呼ばれる新しい手法を提案する。 この方法は、ペア比較からトーナメントを作成してLPOを拡張し、データのランキングを生成する。 TLPO は AUC を推定するための LPO の利点を保ち、ROC 解析も可能である。 我々は, TLPOがAUC推定のLPOと同じくらい信頼性の高い合成データと実世界データの両方を用いて, 低次元データ上でのLeft-one-outクロスバリデーションのバイアスを確認した。 ROC解析のケーススタディとして、TLPO ROC曲線から感度と特異性を確実に推定できるかどうかを評価する。

関連論文リスト

• Distributionally Robust Clustered Federated Learning: A Case Study in Healthcare [9.433126190164224]
  CS-RCFL(Cross-silo Robust Clustered Federated Learning)と呼ばれる新しいアルゴリズムを導入する。 我々は,各クライアントの経験的分布の周囲にあいまいな集合を構築し,ローカルデータの分布シフトをキャプチャする。 そこで我々は,モデルに依存しない整数分数プログラムを提案し,クライアントの連立への最適分布的ロバストなクラスタリングを決定する。
  論文  参考訳（メタデータ） (2024-10-09T16:25:01Z)
• Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
  我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。 さらに、テストポイントがトレーニングセットと非自明な相関を持ち、時系列予測で頻繁に発生するような場合まで分析を拡張します。 我々は多種多様な高次元データにまたがって理論を検証する。
  論文  参考訳（メタデータ） (2024-08-08T17:27:29Z)
• Empirical investigation of multi-source cross-validation in clinical ECG classification [0.9749684343406612]
  クロスバリデーション法は、機械学習に基づく臨床予測モデルの精度を推定するために用いられる。 マルチソース環境における標準Kフォールドクロスバリデーションと離脱元クロスバリデーションの系統的評価について述べる。 以上の結果から,K-foldクロスバリデーションは単一ソースデータと複数ソースデータの両方において,新たなソースへの一般化を目標とする場合の予測性能を体系的に過大評価していることがわかった。
  論文  参考訳（メタデータ） (2024-03-22T07:56:31Z)
• The Gaps between Pre-train and Downstream Settings in Bias Evaluation and Debiasing [74.7319697510621]
  In-Context Learning (ICL)は、FTベースのデバイアス法と比較して、PLMの変更を小さくする。 ICL-based debiasing method is a higher correlation between intrinsic and extrinsic bias scores than FT-based method。
  論文  参考訳（メタデータ） (2024-01-16T17:15:08Z)
• The curious case of the test set AUROC [0.5242869847419834]
  テストROC曲線のみから得られるスコアを考えると、モデルがどのように機能するか、その一般化する能力について、より狭い洞察しか得られない、と我々は論じる。
  論文  参考訳（メタデータ） (2023-12-19T17:40:58Z)
• Annotation-Free Group Robustness via Loss-Based Resampling [3.355491272942994]
  経験的リスク最小化による画像分類のためのニューラルネットワークのトレーニングは、予測のための因果的属性ではなく、突発的な属性に依存することに脆弱である。 トレーニングデータの小さな分割に対してERM事前学習モデルを評価することにより、データのグループ化を推測する。 水鳥とCelebAデータセットの様々なバージョンにおけるLFRの評価を行った。
  論文  参考訳（メタデータ） (2023-12-08T08:22:02Z)
• Assessment of Treatment Effect Estimators for Heavy-Tailed Data [70.72363097550483]
  ランダム化制御試験(RCT)における治療効果の客観的評価における中心的な障害は、その性能をテストするための基礎的真理(または検証セット)の欠如である。 この課題に対処するための新しいクロスバリデーションのような方法論を提供する。 本手法は,Amazonサプライチェーンに実装された709RCTに対して評価を行った。
  論文  参考訳（メタデータ） (2021-12-14T17:53:01Z)
• Stochastic Optimization of Areas Under Precision-Recall Curves with Provable Convergence [66.83161885378192]
  ROC(AUROC)と精度リコール曲線(AUPRC)の下の領域は、不均衡問題に対する分類性能を評価するための一般的な指標である。 本稿では,深層学習のためのAUPRCの最適化手法を提案する。
  論文  参考訳（メタデータ） (2021-04-18T06:22:21Z)
• Sparse Feature Selection Makes Batch Reinforcement Learning More Sample Efficient [62.24615324523435]
  本稿では,スパース線形関数近似を用いた高次元バッチ強化学習(RL)の統計的解析を行う。 候補となる機能が多数存在する場合,提案手法がバッチRLをより効率的にサンプリングできるという事実に光を当てる。
  論文  参考訳（メタデータ） (2020-11-08T16:48:02Z)
• Evaluating probabilistic classifiers: Reliability diagrams and score decompositions revisited [68.8204255655161]
  確率的に統計的に一貫性があり、最適に結合し、再現可能な信頼性図を自動生成するCORP手法を導入する。 コーパスは非パラメトリックアイソトニック回帰に基づいており、プール・アジャセント・ヴァイオレータ(PAV)アルゴリズムによって実装されている。
  論文  参考訳（メタデータ） (2020-08-07T08:22:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。