論文の概要: Empirical investigation of multi-source cross-validation in clinical ECG classification
- arxiv url: http://arxiv.org/abs/2403.15012v2
- Date: Wed, 23 Oct 2024 06:27:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-24 13:53:52.578273
- Title: Empirical investigation of multi-source cross-validation in clinical ECG classification
- Title（参考訳）: 臨床心電図分類における多ソースクロスバリデーションの実証的研究
- Authors: Tuija Leinonen, David Wong, Antti Vasankari, Ali Wahab, Ramesh Nadarajah, Matti Kaisti, Antti Airola,
- Abstract要約: クロスバリデーション法は、機械学習に基づく臨床予測モデルの精度を推定するために用いられる。
マルチソース環境における標準Kフォールドクロスバリデーションと離脱元クロスバリデーションの系統的評価について述べる。
以上の結果から,K-foldクロスバリデーションは単一ソースデータと複数ソースデータの両方において,新たなソースへの一般化を目標とする場合の予測性能を体系的に過大評価していることがわかった。
- 参考スコア（独自算出の注目度）: 0.9749684343406612
- License:
- Abstract: Traditionally, machine learning-based clinical prediction models have been trained and evaluated on patient data from a single source, such as a hospital. Cross-validation methods can be used to estimate the accuracy of such models on new patients originating from the same source, by repeated random splitting of the data. However, such estimates tend to be highly overoptimistic when compared to accuracy obtained from deploying models to sources not represented in the dataset, such as a new hospital. The increasing availability of multi-source medical datasets provides new opportunities for obtaining more comprehensive and realistic evaluations of expected accuracy through source-level cross-validation designs. In this study, we present a systematic empirical evaluation of standard K-fold cross-validation and leave-source-out cross-validation methods in a multi-source setting. We consider the task of electrocardiogram based cardiovascular disease classification, combining and harmonizing the openly available PhysioNet CinC Challenge 2021 and the Shandong Provincial Hospital datasets for our study. Our results show that K-fold cross-validation, both on single-source and multi-source data, systemically overestimates prediction performance when the end goal is to generalize to new sources. Leave-source-out cross-validation provides more reliable performance estimates, having close to zero bias though larger variability. The evaluation highlights the dangers of obtaining misleading cross-validation results on medical data and demonstrates how these issues can be mitigated when having access to multi-source data.
- Abstract（参考訳）: 伝統的に、機械学習に基づく臨床予測モデルは、病院のような単一ソースからの患者データに基づいて訓練され、評価されてきた。
クロスバリデーション法は、同じソースから得られた新しい患者に対して、データを繰り返しランダムに分割することで、そのようなモデルの精度を推定することができる。
しかし、そのような推定は、新しい病院のようなデータセットに表現されていないソースにモデルを配置することによって得られる精度と比較して、非常に過度に最適化される傾向にある。
マルチソース医療データセットの可用性の向上は、ソースレベルのクロスバリデーション設計を通じて、予想される精度をより包括的で現実的に評価する新たな機会を提供する。
本研究では,マルチソース環境下での標準K-foldクロスバリデーションとLeft-source-outクロスバリデーションの系統的評価について述べる。
心電図に基づく心血管疾患分類の課題について検討し,オープンなPhyloNet CinC Challenge 2021とShandong Provincial Hospitalデータセットを併用して検討した。
以上の結果から,K-foldクロスバリデーションは単一ソースデータと複数ソースデータの両方において,新たなソースへの一般化を目標とする場合の予測性能を体系的に過大評価していることがわかった。
ソースアウトのクロスバリデーションは、より信頼性の高いパフォーマンス見積を提供し、バイアスはゼロに近いが、より大きなばらつきがある。
この評価は、医療データ上で誤ったクロスバリデーション結果を得る危険性を強調し、これらの問題がマルチソースデータにアクセスする際にどのように緩和されるかを示す。
関連論文リスト
- Refining Tuberculosis Detection in CXR Imaging: Addressing Bias in Deep Neural Networks via Interpretability [1.9936075659851882]
実験データから完全な分類精度を得ることができたとしても,深層学習モデルの信頼性は限られていると論じる。
大規模プロキシタスクでディープニューラルネットワークを事前トレーニングし、MOON(Mixed objective Optimization Network)を使用することで、モデルとエキスパート間の決定基盤の整合性を改善することができることを示す。
論文 参考訳（メタデータ） (2024-07-19T06:41:31Z) - Multi-Source Conformal Inference Under Distribution Shift [41.701790856201036]
複数のバイアスのあるデータソースを活用することにより,対象個体数の分布自由な予測区間を得るという課題を考察する。
対象集団および源集団における未観測結果の定量値に対する効率的な影響関数を導出する。
本稿では、効率向上のための重み付き情報ソースとバイアス低減のための重み付き非情報ソースに対するデータ適応戦略を提案する。
論文 参考訳（メタデータ） (2024-05-15T13:33:09Z) - Why Do Probabilistic Clinical Models Fail To Transport Between Sites? [6.660458629649825]
訓練現場での超人的臨床成績を達成する計算モデルは、新しい場所では著しく悪化する可能性がある。
本報告では, このトランスポートの失敗の原因として, 臨床データ生成プロセスに固有の実験者および情報源の制御のもと, ソースに分割した。
論文 参考訳（メタデータ） (2023-11-08T16:09:25Z) - Towards Reliable Medical Image Segmentation by utilizing Evidential Calibrated Uncertainty [52.03490691733464]
本稿では,医療画像セグメンテーションネットワークにシームレスに統合可能な,実装が容易な基礎モデルであるDEviSを紹介する。
主観的論理理論を利用して、医用画像分割の問題に対する確率と不確実性を明示的にモデル化する。
DeviSには不確実性を考慮したフィルタリングモジュールが組み込まれている。
論文 参考訳（メタデータ） (2023-01-01T05:02:46Z) - Learning brain MRI quality control: a multi-factorial generalization
problem [0.0]
本研究の目的は,MRIQCパイプラインの性能評価である。
分析はMRIQCの前処理ステップに焦点を合わせ、パイプラインをそれなしでテストした。
我々は、CATIデータセットのような異種集団のデータで訓練されたモデルが、目に見えないデータの最良のスコアを提供すると結論付けた。
論文 参考訳（メタデータ） (2022-05-31T15:46:44Z) - A Real Use Case of Semi-Supervised Learning for Mammogram Classification
in a Local Clinic of Costa Rica [0.5541644538483946]
ディープラーニングモデルのトレーニングには、かなりの量のラベル付きイメージが必要です。
多くの公開データセットが、さまざまな病院や診療所のデータで構築されている。
ラベルなしデータを利用した半教師付き深層学習手法であるMixMatchを提案し評価した。
論文 参考訳（メタデータ） (2021-07-24T22:26:50Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳（メタデータ） (2021-04-11T09:50:24Z) - Bootstrapping Your Own Positive Sample: Contrastive Learning With
Electronic Health Record Data [62.29031007761901]
本稿では,新しいコントラスト型正規化臨床分類モデルを提案する。
EHRデータに特化した2つのユニークなポジティブサンプリング戦略を紹介します。
私たちのフレームワークは、現実世界のCOVID-19 EHRデータの死亡リスクを予測するために、競争の激しい実験結果をもたらします。
論文 参考訳（メタデータ） (2021-04-07T06:02:04Z) - UNITE: Uncertainty-based Health Risk Prediction Leveraging Multi-sourced
Data [81.00385374948125]
我々はUNcertaInTyベースのhEalth Risk Prediction(UNITE)モデルを提案する。
UNITEは、複数ソースの健康データを活用した正確な疾患リスク予測と不確実性推定を提供する。
非アルコール性脂肪肝疾患(NASH)とアルツハイマー病(AD)の実態予測タスクにおけるUNITEの評価を行った。
UNITEはAD検出のF1スコアで最大0.841点、NASH検出のPR-AUCで最大0.609点を達成し、最高のベースラインで最大19%の高パフォーマンスを達成している。
論文 参考訳（メタデータ） (2020-10-22T02:28:11Z) - Semi-supervised Medical Image Classification with Relation-driven
Self-ensembling Model [71.80319052891817]
医用画像分類のための関係駆動型半教師付きフレームワークを提案する。
これは、摂動下で与えられた入力の予測一貫性を促進することでラベルのないデータを利用する。
本手法は,シングルラベルおよびマルチラベル画像分類のシナリオにおいて,最先端の半教師付き学習手法よりも優れる。
論文 参考訳（メタデータ） (2020-05-15T06:57:54Z) - Hemogram Data as a Tool for Decision-making in COVID-19 Management:
Applications to Resource Scarcity Scenarios [62.997667081978825]
新型コロナウイルス(COVID-19)のパンデミックは世界中の緊急対応システムに挑戦している。
本研究は, 症状患者の血液検査データから得られた機械学習モデルについて述べる。
提案されたモデルでは、新型コロナウイルスqRT-PCRの結果を、高い精度、感度、特異性で症状のある個人に予測することができる。
論文 参考訳（メタデータ） (2020-05-10T01:45:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。