論文の概要: Mind the Performance Gap: Examining Dataset Shift During Prospective Validation

• arxiv url: http://arxiv.org/abs/2107.13964v1
• Date: Fri, 23 Jul 2021 14:30:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-01 11:05:51.801615
• Title: Mind the Performance Gap: Examining Dataset Shift During Prospective Validation
• Title（参考訳）: パフォーマンスのギャップを意識する - 予測バリデーション中のデータセットシフトの検討
• Authors: Erkin \"Otle\c{s}, Jeeheh Oh, Benjamin Li, Michelle Bochinski, Hyeon Joo, Justin Ortwine, Erica Shenoy, Laraine Washer, Vincent B. Young, Krishna Rao, Jenna Wiens
• Abstract要約: 患者のリスク階層化モデルは、かつて臨床医療に統合された振り返りのパフォーマンスと比べて悪化する可能性がある。 医療関連感染症の予測のための患者リスク階層化モデル(2020-2021)の2020-2021年の予測性能と,同モデルの ('19-'20) 振り返り検証との比較を行った。 結果として生じるパフォーマンスのギャップは、主にインフラストラクチャシフトによるものであり、時間シフトによるものではない。
• 参考スコア（独自算出の注目度）: 6.232311195907715
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Once integrated into clinical care, patient risk stratification models may perform worse compared to their retrospective performance. To date, it is widely accepted that performance will degrade over time due to changes in care processes and patient populations. However, the extent to which this occurs is poorly understood, in part because few researchers report prospective validation performance. In this study, we compare the 2020-2021 ('20-'21) prospective performance of a patient risk stratification model for predicting healthcare-associated infections to a 2019-2020 ('19-'20) retrospective validation of the same model. We define the difference in retrospective and prospective performance as the performance gap. We estimate how i) "temporal shift", i.e., changes in clinical workflows and patient populations, and ii) "infrastructure shift", i.e., changes in access, extraction and transformation of data, both contribute to the performance gap. Applied prospectively to 26,864 hospital encounters during a twelve-month period from July 2020 to June 2021, the model achieved an area under the receiver operating characteristic curve (AUROC) of 0.767 (95% confidence interval (CI): 0.737, 0.801) and a Brier score of 0.189 (95% CI: 0.186, 0.191). Prospective performance decreased slightly compared to '19-'20 retrospective performance, in which the model achieved an AUROC of 0.778 (95% CI: 0.744, 0.815) and a Brier score of 0.163 (95% CI: 0.161, 0.165). The resulting performance gap was primarily due to infrastructure shift and not temporal shift. So long as we continue to develop and validate models using data stored in large research data warehouses, we must consider differences in how and when data are accessed, measure how these differences may affect prospective performance, and work to mitigate those differences.
• Abstract（参考訳）: 臨床医療に統合されると、患者のリスク階層化モデルは、振り返りのパフォーマンスよりも悪化する可能性がある。 現在までに、ケアプロセスや患者人口の変化により、パフォーマンスが経時的に低下することが広く受け入れられている。 しかし、将来的な検証性能を報告する研究者はほとんどいないため、この現象の程度はよく分かっていない。 本研究では,2020-2021('20-'21)の医療関連感染症予測のための患者リスク階層化モデルの性能を,同じモデルに対する2019-2020('19-'20)のふりかえり検証と比較した。 私たちは、レトロスペクティブと将来のパフォーマンスの違いをパフォーマンスのギャップとして定義します。 i)「時間的変化」,すなわち臨床ワークフローと患者人口の変化,ii)「インフラシフト」,すなわちデータのアクセス・抽出・変換の変化が,ともにパフォーマンスギャップに寄与していると推定する。 2020年7月から2021年6月までの12カ月間26,864件の病院通院を前向きに適用し、受信機動作特性曲線(AUROC)が0.767(95%信頼区間(CI):0.737,0.801)、ブライアスコアが0.189(95%CI:0.186,0.191)であった。 前向きのパフォーマンスは、AUROCが0.778(95% CI: 0.744, 0.815)、Brierスコアが0.163(95% CI: 0.161, 0.165)である'19-'20の振り返りのパフォーマンスと比べてわずかに低下した。 結果として生じるパフォーマンスギャップは、主にインフラストラクチャシフトによるものであり、時間シフトによるものではない。 大規模な研究データウェアハウスに格納されたデータを使用してモデルの開発と検証を続ける限り、データアクセスの方法と時期の違いを検討し、これらの違いが将来のパフォーマンスにどのように影響するかを計測し、これらの違いを緩和するために取り組む必要があります。

関連論文リスト

• Equitable Length of Stay Prediction for Patients with Learning Disabilities and Multiple Long-term Conditions Using Machine Learning [1.0064817439176887]
  本研究は,学習障害患者9,618例の入院状況とウェールズの人口の長期的状況について分析した。 調査コホートでは, 人口動態, 長期経過状況, 薬剤歴, 病院訪問, 生活史について検討した。 我々は,このコホートにおける入院期間を予測するために,機械学習モデルを適用した。
  論文  参考訳（メタデータ） (2024-11-03T20:14:20Z)
• Using Pre-training and Interaction Modeling for ancestry-specific disease prediction in UK Biobank [69.90493129893112]
  近年のゲノムワイド・アソシエーション(GWAS)研究は、複雑な形質の遺伝的基盤を明らかにしているが、非ヨーロッパ系個体の低発現を示している。 そこで本研究では,マルチオミクスデータを用いて,多様な祖先間での疾患予測を改善することができるかを評価する。
  論文  参考訳（メタデータ） (2024-04-26T16:39:50Z)
• APRICOT-Mamba: Acuity Prediction in Intensive Care Unit (ICU): Development and Validation of a Stability, Transitions, and Life-Sustaining Therapies Prediction Model [12.370938858314911]
  集中治療室(ICU)の患者の体力状態は、すぐに安定して不安定になる。 早期の劣化状態の検出は、タイムリーな介入と生存率の改善をもたらす可能性がある。 Intensive Care Unit-MambaにおけるAPRICOT-M(Acuity Prediction in Intensive Care Unit-Mamba)を提案する。
  論文  参考訳（メタデータ） (2023-11-03T16:52:27Z)
• On the explainability of hospitalization prediction on a large COVID-19 patient dataset [45.82374977939355]
  我々は、新型コロナウイルス陽性の米国の患者の大規模な(110ドル以上)コホートでの入院を予測するために、さまざまなAIモデルを開発した。 高いデータアンバランスにもかかわらず、モデルは平均精度0.96-0.98 (0.75-0.85)、リコール0.96-0.98 (0.74-0.85)、F_score097-0.98 (0.79-0.83)に達する。
  論文  参考訳（メタデータ） (2021-10-28T10:23:38Z)
• Bootstrapping Your Own Positive Sample: Contrastive Learning With Electronic Health Record Data [62.29031007761901]
  本稿では,新しいコントラスト型正規化臨床分類モデルを提案する。 EHRデータに特化した2つのユニークなポジティブサンプリング戦略を紹介します。 私たちのフレームワークは、現実世界のCOVID-19 EHRデータの死亡リスクを予測するために、競争の激しい実験結果をもたらします。
  論文  参考訳（メタデータ） (2021-04-07T06:02:04Z)
• Deep learning-based COVID-19 pneumonia classification using chest CT images: model generalizability [54.86482395312936]
  深層学習(DL)分類モデルは、異なる国の3DCTデータセット上で、COVID-19陽性患者を特定するために訓練された。 我々は、データセットと72%の列車、8%の検証、20%のテストデータを組み合わせたDLベースの9つの同一分類モデルを訓練した。 複数のデータセットでトレーニングされ、トレーニングに使用されるデータセットの1つからテストセットで評価されたモデルは、よりよいパフォーマンスを示した。
  論文  参考訳（メタデータ） (2021-02-18T21:14:52Z)
• Continual Deterioration Prediction for Hospitalized COVID-19 Patients [3.3581926090154113]
  病院滞在終了時の患者結果の日次予測を行うための時間的階層化手法を開発した。 予備実験では、連続劣化予測における0.98 AUROC、0.91 F1スコアおよび0.97AUPRを示す。
  論文  参考訳（メタデータ） (2021-01-19T12:03:56Z)
• Individualized Prediction of COVID-19 Adverse outcomes with MLHO [9.197411456718708]
  我々は、反復的な特徴とアルゴリズムの選択を利用して健康状態を予測するエンドツーエンドの機械学習フレームワークを開発した。 入院前患者の健康状態と人口統計を表わす特徴として,約600点を用いた4つの有害な結果のモデル化を行った。 以上の結果から, 人口統計学的変数は, 新型コロナウイルス感染後の副作用の予測因子として重要であるが, 過去の臨床記録の組み入れは, 信頼性の高い予測モデルに欠かせないことが示唆された。
  論文  参考訳（メタデータ） (2020-08-10T02:44:52Z)
• Temporal Phenotyping using Deep Predictive Clustering of Disease Progression [97.88605060346455]
  我々は、時系列データをクラスタリングするためのディープラーニングアプローチを開発し、各クラスタは、同様の将来的な結果を共有する患者から構成される。 2つの実世界のデータセットに対する実験により、我々のモデルは最先端のベンチマークよりも優れたクラスタリング性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-06-15T20:48:43Z)
• Joint Prediction and Time Estimation of COVID-19 Developing Severe Symptoms using Chest CT Scan [49.209225484926634]
  術後に重篤な症状を発症するかどうかを判定するための共同分類法と回帰法を提案する。 提案手法は,各試料の重量を考慮し,外乱の影響を低減し,不均衡な分類の問題を検討する。 提案手法では, 重症症例の予測精度76.97%, 相関係数0.524, 変換時間0.55日差が得られた。
  論文  参考訳（メタデータ） (2020-05-07T12:16:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。