論文の概要: A Multi-Center Study on the Adaptability of a Shared Foundation Model for Electronic Health Records
- arxiv url: http://arxiv.org/abs/2311.11483v2
- Date: Tue, 23 Apr 2024 00:51:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-24 19:45:27.583164
- Title: A Multi-Center Study on the Adaptability of a Shared Foundation Model for Electronic Health Records
- Title（参考訳）: 電子カルテ共有基盤モデルの適合性に関するマルチセンター研究
- Authors: Lin Lawrence Guo, Jason Fries, Ethan Steinberg, Scott Lanyon Fleming, Keith Morse, Catherine Aftandilian, Jose Posada, Nigam Shah, Lillian Sung,
- Abstract要約: ファンデーションモデルは、下流の医療タスクに容易に適応可能なモジュラーコンポーネントを提供することで、医療におけるAI転換を約束している。
本研究は,257万人のスタンフォード医科患者の縦断的医療記録データに基づいてトレーニングしたEMHファンデーションモデル(FM_SM$)の適応性について検討した。
本研究は, 病院間での共用EHR基盤モデルの適用により, より低コストで予測性能が向上することが示唆された。
- 参考スコア（独自算出の注目度）: 2.83988353856908
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Foundation models hold promise for transforming AI in healthcare by providing modular components that are easily adaptable to downstream healthcare tasks, making AI development more scalable and cost-effective. Structured EHR foundation models, trained on coded medical records from millions of patients, demonstrated benefits including increased performance with fewer training labels, and improved robustness to distribution shifts. However, questions remain on the feasibility of sharing these models across different hospitals and their performance for local task adaptation. This multi-center study examined the adaptability of a recently released structured EHR foundation model ($FM_{SM}$), trained on longitudinal medical record data from 2.57M Stanford Medicine patients. Experiments were conducted using EHR data at The Hospital for Sick Children and MIMIC-IV. We assessed both adaptability via continued pretraining on local data, and task adaptability compared to baselines of training models from scratch at each site, including a local foundation model. We evaluated the performance of these models on 8 clinical prediction tasks. In both datasets, adapting the off-the-shelf $FM_{SM}$ matched the performance of GBM models locally trained on all data while providing a 13% improvement in settings with few task-specific training labels. With continued pretraining on local data, label efficiency substantially improved, such that $FM_{SM}$ required fewer than 1% of training examples to match the fully trained GBM's performance. Continued pretraining was also 60 to 90% more sample-efficient than training local foundation models from scratch. Our findings show that adapting shared EHR foundation models across hospitals provides improved prediction performance at less cost, underscoring the utility of base foundation models as modular components to streamline the development of healthcare AI.
- Abstract（参考訳）: ファンデーションモデルは、下流の医療タスクに容易に適応可能なモジュールコンポーネントを提供することで、AI開発をよりスケーラブルでコスト効率の良いものにすることで、医療におけるAI変革を約束している。
EHRファンデーションモデルは、数百万人の患者の医療記録に基づいてトレーニングされ、トレーニングラベルを減らしたパフォーマンスの向上や、分散シフトに対する堅牢性の向上といったメリットを実証した。
しかし、これらのモデルを異なる病院間で共有できる可能性や、局所的なタスク適応のためのパフォーマンスに疑問が残る。
スタンフォード大学患者257万人を対象にした縦断的医療記録データに基づくEMHモデル(FM_{SM}$)の適応性について検討した。
The Hospital for Sick ChildrenとMIMIC-IVでEHRデータを用いて実験を行った。
局所的な基礎モデルを含む各サイトにおけるトレーニングモデルのスクラッチからのベースラインと比較し, 局所データによる継続事前学習による適応性とタスク適応性について検討した。
8つの臨床予測課題において,これらのモデルの性能を評価した。
両方のデータセットにおいて、オフザシェルフのFM_{SM}$を適用すれば、すべてのデータに対してローカルにトレーニングされたGBMモデルのパフォーマンスと一致し、タスク固有のトレーニングラベルをほとんど持たずに、設定が13%改善された。
ローカルデータに対する事前トレーニングの継続により、ラベルの効率は大幅に改善され、FM_{SM}$は、完全に訓練されたGBMのパフォーマンスに適合するトレーニングサンプルの1%未満を必要とした。
継続事前トレーニングは、地元の基礎モデルをスクラッチからトレーニングするよりも60から90%効率が高かった。
以上の結果から,病院間での共用EHRファンデーションモデルの適用により,より低コストで予測性能が向上し,医療用AIの開発を効率化するモジュラーコンポーネントとしての基盤モデルの有用性が強調された。
関連論文リスト
- Probing Perfection: The Relentless Art of Meddling for Pulmonary Airway Segmentation from HRCT via a Human-AI Collaboration Based Active Learning Method [13.384578466263566]
肺気管分節症では, 注記データの不足が主訴である。
ディープラーニング(DL)メソッドは、'ブラックボックス'モデルの不透明さとパフォーマンス向上の必要性という課題に直面します。
多様なクエリ戦略とさまざまなDLモデルを組み合わせることで、これらの課題に対処する。
論文 参考訳（メタデータ） (2024-07-03T23:27:53Z) - Efficient Continual Pre-training by Mitigating the Stability Gap [68.49269649759005]
本研究では,Large Language Models (LLM) の継続事前学習における挙動について検討する。
固定された計算予算内でのLLM性能を向上させるための3つの効果的な戦略を提案する。
当社の戦略は,OpenLlama-3Bモデルの平均医療タスク性能を36.2%から40.7%に改善し,当初のトレーニング予算の40%に過ぎなかった。
論文 参考訳（メタデータ） (2024-06-21T02:28:37Z) - Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。
トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。
評価のために,GPT-4に基づく実測値CheXpromptを提案する。
LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
論文 参考訳（メタデータ） (2024-03-12T18:12:02Z) - EHRSHOT: An EHR Benchmark for Few-Shot Evaluation of Foundation Models [6.506937003687058]
スタンフォード大学の6,739人の患者の電子健康記録(EHRs)から構造化されたデータを含む新しいデータセット EHRSHOT を公表した。
第2に,257万症例のERHデータに基づいて事前訓練した141Mパラメータ臨床基盤モデルであるCLMBR-T-baseの重みを公表した。
第3に、15の臨床的予測タスクを定義し、サンプル効率やタスク適応などの利点に基づく基礎モデルの評価を可能にする。
論文 参考訳（メタデータ） (2023-07-05T05:24:59Z) - Federated Learning of Medical Concepts Embedding using BEHRT [0.0]
医療概念の埋め込み学習のための連合学習手法を提案する。
我々のアプローチは、EHRのディープニューラルネットワークモデルであるBEHRTのような埋め込みモデルに基づいている。
我々は、FLで訓練されたモデルと集中型データで訓練されたモデルのパフォーマンスを比較した。
論文 参考訳（メタデータ） (2023-05-22T14:05:39Z) - Clinical Deterioration Prediction in Brazilian Hospitals Based on
Artificial Neural Networks and Tree Decision Models [56.93322937189087]
超強化ニューラルネットワーク(XBNet)は臨床劣化(CD)を予測するために用いられる
XGBoostモデルはブラジルの病院のデータからCDを予測する最良の結果を得た。
論文 参考訳（メタデータ） (2022-12-17T23:29:14Z) - Density-Aware Personalized Training for Risk Prediction in Imbalanced
Medical Data [89.79617468457393]
不均衡率(クラス密度差)のトレーニングモデルは、最適以下の予測につながる可能性がある。
この不均衡問題に対するモデルトレーニングのためのフレームワークを提案する。
実世界の医療データセットにおけるモデルの性能向上を実証する。
論文 参考訳（メタデータ） (2022-07-23T00:39:53Z) - Unsupervised Pre-Training on Patient Population Graphs for Patient-Level
Predictions [48.02011627390706]
プレトレーニングは、コンピュータビジョン(CV)、自然言語処理(NLP)、医療画像など、機械学習のさまざまな分野で成功している。
本稿では,患者結果の予測のために,教師なし事前学習を異種マルチモーダルEHRデータに適用する。
提案手法は,人口レベルでのデータモデリングに有効であることがわかった。
論文 参考訳（メタデータ） (2022-03-23T17:59:45Z) - Pre-training transformer-based framework on large-scale pediatric claims
data for downstream population-specific tasks [3.1580072841682734]
本研究は、小児科のクレームデータセット全体をトレーニングする一般的な事前学習モデルであるClaim Pre-Training(Claim-PT)フレームワークを提案する。
効果的な知識伝達はタスク対応微調整段階を通じて完了する。
我々は100万人以上の患者記録を持つ実世界のクレームデータセットの実験を行った。
論文 参考訳（メタデータ） (2021-06-24T15:25:41Z) - Adversarial Sample Enhanced Domain Adaptation: A Case Study on
Predictive Modeling with Electronic Health Records [57.75125067744978]
ドメイン適応を容易にするデータ拡張手法を提案する。
逆生成したサンプルはドメイン適応時に使用される。
その結果,本手法の有効性とタスクの一般性が確認された。
論文 参考訳（メタデータ） (2021-01-13T03:20:20Z) - Med-BERT: pre-trained contextualized embeddings on large-scale
structured electronic health records for disease prediction [12.669003066030697]
28,490,650人のEHRデータセットから得られた構造化診断データに基づいて,コンテキスト適応型埋め込みモデルの事前学習にBERTフレームワークを適用したMed-BERTを提案する。
Med-BERTは予測精度を大幅に改善し、受信機動作特性曲線(AUC)の領域を2.02-7.12%向上させた。
特に、事前訓練されたMed-BERTは、非常に小さな微調整の訓練セット(300-500サンプル)でタスクのパフォーマンスを大幅に改善し、AUCを20%以上、または10倍の訓練セットのAUCと同等にする。
論文 参考訳（メタデータ） (2020-05-22T05:07:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。