論文の概要: A Multi-Center Study on the Adaptability of a Shared Foundation Model
for Electronic Health Records
- arxiv url: http://arxiv.org/abs/2311.11483v1
- Date: Mon, 20 Nov 2023 01:58:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-21 20:05:21.899316
- Title: A Multi-Center Study on the Adaptability of a Shared Foundation Model
for Electronic Health Records
- Title(参考訳): 電子健康記録共有基盤モデルの適応性に関する多施設研究
- Authors: Lin Lawrence Guo, Jason Fries, Ethan Steinberg, Scott Lanyon Fleming,
Keith Morse, Catherine Aftandilian, Jose Posada, Nigam Shah, Lillian Sung
- Abstract要約: ファンデーションモデルは、下流の医療タスクに容易に適応可能なモジュラーコンポーネントを提供することで、医療におけるAI転換を約束している。
本研究は,257万人のスタンフォード医科患者の縦断的医療記録データに基づいてトレーニングしたEMHファンデーションモデル(FM_SM$)の適応性について検討した。
本研究は, 病院間での共用EHR基盤モデルの適用により, より低コストで予測性能が向上することが示唆された。
- 参考スコア(独自算出の注目度): 2.934375503962282
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Foundation models hold promise for transforming AI in healthcare by providing
modular components that are easily adaptable to downstream healthcare tasks,
making AI development more scalable and cost-effective. Structured EHR
foundation models, trained on coded medical records from millions of patients,
demonstrated benefits including increased performance with fewer training
labels, and improved robustness to distribution shifts. However, questions
remain on the feasibility of sharing these models across different hospitals
and their performance for local task adaptation. This multi-center study
examined the adaptability of a recently released structured EHR foundation
model ($FM_{SM}$), trained on longitudinal medical record data from 2.57M
Stanford Medicine patients. Experiments were conducted using EHR data at The
Hospital for Sick Children and MIMIC-IV. We assessed both adaptability via
continued pretraining on local data, and task adaptability compared to
baselines of training models from scratch at each site, including a local
foundation model. We evaluated the performance of these models on 8 clinical
prediction tasks. In both datasets, adapting the off-the-shelf $FM_{SM}$
matched the performance of GBM models locally trained on all data while
providing a 13% improvement in settings with few task-specific training labels.
With continued pretraining on local data, label efficiency substantially
improved, such that $FM_{SM}$ required fewer than 1% of training examples to
match the fully trained GBM's performance. Continued pretraining was also 60 to
90% more sample-efficient than training local foundation models from scratch.
Our findings show that adapting shared EHR foundation models across hospitals
provides improved prediction performance at less cost, underscoring the utility
of base foundation models as modular components to streamline the development
of healthcare AI.
- Abstract(参考訳): ファンデーションモデルは、下流の医療タスクに容易に適応可能なモジュールコンポーネントを提供することで、AI開発をよりスケーラブルでコスト効率の良いものにすることで、医療におけるAI変革を約束している。
数百万人の患者からコード化された医療記録に基づいてトレーニングされた構造化ehr財団モデルでは、トレーニングラベルの少ないパフォーマンスの向上、分散シフトへの堅牢性の向上といったメリットが示されている。
しかしながら、これらのモデルを異なる病院で共有する可能性と、局所的なタスク適応のためのパフォーマンスに疑問が残る。
スタンフォード大学患者257万人を対象にした縦断的医療記録データに基づくEMHモデル(FM_{SM}$)の適応性について検討した。
The Hospital for Sick ChildrenとMIMIC-IVでEHRデータを用いて実験を行った。
ローカルデータへの事前トレーニングの継続による適応性と,各サイトにおけるトレーニングモデルのベースライン(ローカル基盤モデルを含む)と比較して,タスク適応性を評価した。
これらのモデルの性能を8つの臨床予測タスクで評価した。
どちらのデータセットでも、オフセットの$fm_{sm}$を適用すると、すべてのデータでローカルにトレーニングされたgbmモデルのパフォーマンスが一致し、タスク固有のトレーニングラベルがほとんどない設定が13%改善された。
ローカルデータに対する事前トレーニングの継続により、ラベルの効率は大幅に改善され、FM_{SM}$が完全に訓練されたGBMのパフォーマンスに適合するトレーニングサンプルの1%未満を必要とした。
継続事前トレーニングは、地元の基礎モデルをスクラッチからトレーニングするよりも60から90%効率が高かった。
以上の結果から,ehr基盤モデルの病院間への適応は,医療ai開発を合理化するモジュールコンポーネントとしての基礎基盤モデルの有用性を強調し,予測性能を低コストで向上することが示唆された。
関連論文リスト
- Self-Supervised Pretraining Improves Performance and Inference
Efficiency in Multiple Lung Ultrasound Interpretation Tasks [65.23740556896654]
肺超音波検査における複数分類課題に適用可能なニューラルネットワーク特徴抽出器を,自己指導型プレトレーニングで作成できるかどうかを検討した。
3つの肺超音波のタスクを微調整すると、事前訓練されたモデルにより、各テストセットの受信操作曲線(AUC)における平均クロスタスク面積は、それぞれ0.032と0.061に改善された。
論文 参考訳(メタデータ) (2023-09-05T21:36:42Z) - EHRSHOT: An EHR Benchmark for Few-Shot Evaluation of Foundation Models [6.506937003687058]
スタンフォード大学の6,739人の患者の電子健康記録(EHRs)から構造化されたデータを含む新しいデータセット EHRSHOT を公表した。
第2に,257万症例のERHデータに基づいて事前訓練した141Mパラメータ臨床基盤モデルであるCLMBR-T-baseの重みを公表した。
第3に、15の臨床的予測タスクを定義し、サンプル効率やタスク適応などの利点に基づく基礎モデルの評価を可能にする。
論文 参考訳(メタデータ) (2023-07-05T05:24:59Z) - Federated Learning of Medical Concepts Embedding using BEHRT [0.0]
医療概念の埋め込み学習のための連合学習手法を提案する。
我々のアプローチは、EHRのディープニューラルネットワークモデルであるBEHRTのような埋め込みモデルに基づいている。
我々は、FLで訓練されたモデルと集中型データで訓練されたモデルのパフォーマンスを比較した。
論文 参考訳(メタデータ) (2023-05-22T14:05:39Z) - Clinical Deterioration Prediction in Brazilian Hospitals Based on
Artificial Neural Networks and Tree Decision Models [56.93322937189087]
超強化ニューラルネットワーク(XBNet)は臨床劣化(CD)を予測するために用いられる
XGBoostモデルはブラジルの病院のデータからCDを予測する最良の結果を得た。
論文 参考訳(メタデータ) (2022-12-17T23:29:14Z) - Density-Aware Personalized Training for Risk Prediction in Imbalanced
Medical Data [89.79617468457393]
不均衡率(クラス密度差)のトレーニングモデルは、最適以下の予測につながる可能性がある。
この不均衡問題に対するモデルトレーニングのためのフレームワークを提案する。
実世界の医療データセットにおけるモデルの性能向上を実証する。
論文 参考訳(メタデータ) (2022-07-23T00:39:53Z) - Competence-based Multimodal Curriculum Learning for Medical Report
Generation [98.10763792453925]
本稿では,コンピテンスベースのマルチモーダルカリキュラム学習フレームワーク(CMCL)を提案する。
具体的には、CMCLは放射線学者の学習過程をシミュレートし、段階的にモデルを最適化する。
パブリックIU-XrayとMIMIC-CXRデータセットの実験は、CMCLを既存のモデルに組み込んでパフォーマンスを向上させることができることを示している。
論文 参考訳(メタデータ) (2022-06-24T08:16:01Z) - Unsupervised Pre-Training on Patient Population Graphs for Patient-Level
Predictions [48.02011627390706]
プレトレーニングは、コンピュータビジョン(CV)、自然言語処理(NLP)、医療画像など、機械学習のさまざまな分野で成功している。
本稿では,患者結果の予測のために,教師なし事前学習を異種マルチモーダルEHRデータに適用する。
提案手法は,人口レベルでのデータモデリングに有効であることがわかった。
論文 参考訳(メタデータ) (2022-03-23T17:59:45Z) - Pre-training transformer-based framework on large-scale pediatric claims
data for downstream population-specific tasks [3.1580072841682734]
本研究は、小児科のクレームデータセット全体をトレーニングする一般的な事前学習モデルであるClaim Pre-Training(Claim-PT)フレームワークを提案する。
効果的な知識伝達はタスク対応微調整段階を通じて完了する。
我々は100万人以上の患者記録を持つ実世界のクレームデータセットの実験を行った。
論文 参考訳(メタデータ) (2021-06-24T15:25:41Z) - Adversarial Sample Enhanced Domain Adaptation: A Case Study on
Predictive Modeling with Electronic Health Records [57.75125067744978]
ドメイン適応を容易にするデータ拡張手法を提案する。
逆生成したサンプルはドメイン適応時に使用される。
その結果,本手法の有効性とタスクの一般性が確認された。
論文 参考訳(メタデータ) (2021-01-13T03:20:20Z) - Med-BERT: pre-trained contextualized embeddings on large-scale
structured electronic health records for disease prediction [12.669003066030697]
28,490,650人のEHRデータセットから得られた構造化診断データに基づいて,コンテキスト適応型埋め込みモデルの事前学習にBERTフレームワークを適用したMed-BERTを提案する。
Med-BERTは予測精度を大幅に改善し、受信機動作特性曲線(AUC)の領域を2.02-7.12%向上させた。
特に、事前訓練されたMed-BERTは、非常に小さな微調整の訓練セット(300-500サンプル)でタスクのパフォーマンスを大幅に改善し、AUCを20%以上、または10倍の訓練セットのAUCと同等にする。
論文 参考訳(メタデータ) (2020-05-22T05:07:17Z) - Language Models Are An Effective Patient Representation Learning
Technique For Electronic Health Record Data [7.260199064831896]
本研究では,自然言語処理技術に触発された患者表現方式により,臨床予測モデルの精度が向上することを示す。
このような患者表現方式は、標準的な基準よりも5つの予測タスクにおいて、3.5%の平均的なAUROCの改善を可能にする。
論文 参考訳(メタデータ) (2020-01-06T22:24:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。