論文の概要: A Multi-Center Study on the Adaptability of a Shared Foundation Model
for Electronic Health Records
- arxiv url: http://arxiv.org/abs/2311.11483v1
- Date: Mon, 20 Nov 2023 01:58:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-21 20:05:21.899316
- Title: A Multi-Center Study on the Adaptability of a Shared Foundation Model
for Electronic Health Records
- Title(参考訳): 電子健康記録共有基盤モデルの適応性に関する多施設研究
- Authors: Lin Lawrence Guo, Jason Fries, Ethan Steinberg, Scott Lanyon Fleming,
Keith Morse, Catherine Aftandilian, Jose Posada, Nigam Shah, Lillian Sung
- Abstract要約: ファンデーションモデルは、下流の医療タスクに容易に適応可能なモジュラーコンポーネントを提供することで、医療におけるAI転換を約束している。
本研究は,257万人のスタンフォード医科患者の縦断的医療記録データに基づいてトレーニングしたEMHファンデーションモデル(FM_SM$)の適応性について検討した。
本研究は, 病院間での共用EHR基盤モデルの適用により, より低コストで予測性能が向上することが示唆された。
- 参考スコア(独自算出の注目度): 2.934375503962282
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Foundation models hold promise for transforming AI in healthcare by providing
modular components that are easily adaptable to downstream healthcare tasks,
making AI development more scalable and cost-effective. Structured EHR
foundation models, trained on coded medical records from millions of patients,
demonstrated benefits including increased performance with fewer training
labels, and improved robustness to distribution shifts. However, questions
remain on the feasibility of sharing these models across different hospitals
and their performance for local task adaptation. This multi-center study
examined the adaptability of a recently released structured EHR foundation
model ($FM_{SM}$), trained on longitudinal medical record data from 2.57M
Stanford Medicine patients. Experiments were conducted using EHR data at The
Hospital for Sick Children and MIMIC-IV. We assessed both adaptability via
continued pretraining on local data, and task adaptability compared to
baselines of training models from scratch at each site, including a local
foundation model. We evaluated the performance of these models on 8 clinical
prediction tasks. In both datasets, adapting the off-the-shelf $FM_{SM}$
matched the performance of GBM models locally trained on all data while
providing a 13% improvement in settings with few task-specific training labels.
With continued pretraining on local data, label efficiency substantially
improved, such that $FM_{SM}$ required fewer than 1% of training examples to
match the fully trained GBM's performance. Continued pretraining was also 60 to
90% more sample-efficient than training local foundation models from scratch.
Our findings show that adapting shared EHR foundation models across hospitals
provides improved prediction performance at less cost, underscoring the utility
of base foundation models as modular components to streamline the development
of healthcare AI.
- Abstract(参考訳): ファンデーションモデルは、下流の医療タスクに容易に適応可能なモジュールコンポーネントを提供することで、AI開発をよりスケーラブルでコスト効率の良いものにすることで、医療におけるAI変革を約束している。
数百万人の患者からコード化された医療記録に基づいてトレーニングされた構造化ehr財団モデルでは、トレーニングラベルの少ないパフォーマンスの向上、分散シフトへの堅牢性の向上といったメリットが示されている。
しかしながら、これらのモデルを異なる病院で共有する可能性と、局所的なタスク適応のためのパフォーマンスに疑問が残る。
スタンフォード大学患者257万人を対象にした縦断的医療記録データに基づくEMHモデル(FM_{SM}$)の適応性について検討した。
The Hospital for Sick ChildrenとMIMIC-IVでEHRデータを用いて実験を行った。
ローカルデータへの事前トレーニングの継続による適応性と,各サイトにおけるトレーニングモデルのベースライン(ローカル基盤モデルを含む)と比較して,タスク適応性を評価した。
これらのモデルの性能を8つの臨床予測タスクで評価した。
どちらのデータセットでも、オフセットの$fm_{sm}$を適用すると、すべてのデータでローカルにトレーニングされたgbmモデルのパフォーマンスが一致し、タスク固有のトレーニングラベルがほとんどない設定が13%改善された。
ローカルデータに対する事前トレーニングの継続により、ラベルの効率は大幅に改善され、FM_{SM}$が完全に訓練されたGBMのパフォーマンスに適合するトレーニングサンプルの1%未満を必要とした。
継続事前トレーニングは、地元の基礎モデルをスクラッチからトレーニングするよりも60から90%効率が高かった。
以上の結果から,ehr基盤モデルの病院間への適応は,医療ai開発を合理化するモジュールコンポーネントとしての基礎基盤モデルの有用性を強調し,予測性能を低コストで向上することが示唆された。
関連論文リスト
- Probing Perfection: The Relentless Art of Meddling for Pulmonary Airway Segmentation from HRCT via a Human-AI Collaboration Based Active Learning Method [13.384578466263566]
肺気管分節症では, 注記データの不足が主訴である。
ディープラーニング(DL)メソッドは、'ブラックボックス'モデルの不透明さとパフォーマンス向上の必要性という課題に直面します。
多様なクエリ戦略とさまざまなDLモデルを組み合わせることで、これらの課題に対処する。
論文 参考訳(メタデータ) (2024-07-03T23:27:53Z) - Efficient Continual Pre-training by Mitigating the Stability Gap [68.49269649759005]
本研究では,Large Language Models (LLM) の継続事前学習における挙動について検討する。
固定された計算予算内でのLLM性能を向上させるための3つの効果的な戦略を提案する。
当社の戦略は,OpenLlama-3Bモデルの平均医療タスク性能を36.2%から40.7%に改善し,当初のトレーニング予算の40%に過ぎなかった。
論文 参考訳(メタデータ) (2024-06-21T02:28:37Z) - Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。
トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。
評価のために,GPT-4に基づく実測値CheXpromptを提案する。
LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
論文 参考訳(メタデータ) (2024-03-12T18:12:02Z) - EHRSHOT: An EHR Benchmark for Few-Shot Evaluation of Foundation Models [6.506937003687058]
スタンフォード大学の6,739人の患者の電子健康記録(EHRs)から構造化されたデータを含む新しいデータセット EHRSHOT を公表した。
第2に,257万症例のERHデータに基づいて事前訓練した141Mパラメータ臨床基盤モデルであるCLMBR-T-baseの重みを公表した。
第3に、15の臨床的予測タスクを定義し、サンプル効率やタスク適応などの利点に基づく基礎モデルの評価を可能にする。
論文 参考訳(メタデータ) (2023-07-05T05:24:59Z) - Federated Learning of Medical Concepts Embedding using BEHRT [0.0]
医療概念の埋め込み学習のための連合学習手法を提案する。
我々のアプローチは、EHRのディープニューラルネットワークモデルであるBEHRTのような埋め込みモデルに基づいている。
我々は、FLで訓練されたモデルと集中型データで訓練されたモデルのパフォーマンスを比較した。
論文 参考訳(メタデータ) (2023-05-22T14:05:39Z) - Clinical Deterioration Prediction in Brazilian Hospitals Based on
Artificial Neural Networks and Tree Decision Models [56.93322937189087]
超強化ニューラルネットワーク(XBNet)は臨床劣化(CD)を予測するために用いられる
XGBoostモデルはブラジルの病院のデータからCDを予測する最良の結果を得た。
論文 参考訳(メタデータ) (2022-12-17T23:29:14Z) - Density-Aware Personalized Training for Risk Prediction in Imbalanced
Medical Data [89.79617468457393]
不均衡率(クラス密度差)のトレーニングモデルは、最適以下の予測につながる可能性がある。
この不均衡問題に対するモデルトレーニングのためのフレームワークを提案する。
実世界の医療データセットにおけるモデルの性能向上を実証する。
論文 参考訳(メタデータ) (2022-07-23T00:39:53Z) - Unsupervised Pre-Training on Patient Population Graphs for Patient-Level
Predictions [48.02011627390706]
プレトレーニングは、コンピュータビジョン(CV)、自然言語処理(NLP)、医療画像など、機械学習のさまざまな分野で成功している。
本稿では,患者結果の予測のために,教師なし事前学習を異種マルチモーダルEHRデータに適用する。
提案手法は,人口レベルでのデータモデリングに有効であることがわかった。
論文 参考訳(メタデータ) (2022-03-23T17:59:45Z) - Pre-training transformer-based framework on large-scale pediatric claims
data for downstream population-specific tasks [3.1580072841682734]
本研究は、小児科のクレームデータセット全体をトレーニングする一般的な事前学習モデルであるClaim Pre-Training(Claim-PT)フレームワークを提案する。
効果的な知識伝達はタスク対応微調整段階を通じて完了する。
我々は100万人以上の患者記録を持つ実世界のクレームデータセットの実験を行った。
論文 参考訳(メタデータ) (2021-06-24T15:25:41Z) - Adversarial Sample Enhanced Domain Adaptation: A Case Study on
Predictive Modeling with Electronic Health Records [57.75125067744978]
ドメイン適応を容易にするデータ拡張手法を提案する。
逆生成したサンプルはドメイン適応時に使用される。
その結果,本手法の有効性とタスクの一般性が確認された。
論文 参考訳(メタデータ) (2021-01-13T03:20:20Z) - Med-BERT: pre-trained contextualized embeddings on large-scale
structured electronic health records for disease prediction [12.669003066030697]
28,490,650人のEHRデータセットから得られた構造化診断データに基づいて,コンテキスト適応型埋め込みモデルの事前学習にBERTフレームワークを適用したMed-BERTを提案する。
Med-BERTは予測精度を大幅に改善し、受信機動作特性曲線(AUC)の領域を2.02-7.12%向上させた。
特に、事前訓練されたMed-BERTは、非常に小さな微調整の訓練セット(300-500サンプル)でタスクのパフォーマンスを大幅に改善し、AUCを20%以上、または10倍の訓練セットのAUCと同等にする。
論文 参考訳(メタデータ) (2020-05-22T05:07:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。