論文の概要: EHRMamba: Towards Generalizable and Scalable Foundation Models for Electronic Health Records
- arxiv url: http://arxiv.org/abs/2405.14567v1
- Date: Thu, 23 May 2024 13:43:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-24 14:55:28.157664
- Title: EHRMamba: Towards Generalizable and Scalable Foundation Models for Electronic Health Records
- Title（参考訳）: EHRMamba:電子健康記録のための汎用的でスケーラブルな基礎モデルを目指して
- Authors: Adibvafa Fallahpour, Mahshid Alinoori, Arash Afkanpour, Amrit Krishnan,
- Abstract要約: 我々は,Mambaアーキテクチャ上に構築された堅牢な基盤モデルであるEHRMambaを紹介する。
EHRMambaは、線形計算コストのために、以前のモデルよりも最大4倍長いシーケンスを処理できる。
EHRデータに対するMTF(Multitask Prompted Finetuning)の新たなアプローチを導入することで,EHRMambaは単一ファインタニングフェーズで複数の臨床タスクを同時に学習することが可能になる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformers have significantly advanced the modeling of Electronic Health Records (EHR), yet their deployment in real-world healthcare is limited by several key challenges. Firstly, the quadratic computational cost and insufficient context length of these models pose significant obstacles for hospitals in processing the extensive medical histories typical in EHR data. Additionally, existing models employ separate finetuning for each clinical task, complicating maintenance in healthcare environments. Moreover, these models focus exclusively on either clinical prediction or EHR forecasting, lacking the flexibility to perform well across both. To overcome these limitations, we introduce EHRMamba, a robust foundation model built on the Mamba architecture. EHRMamba can process sequences up to four times longer than previous models due to its linear computational cost. We also introduce a novel approach to Multitask Prompted Finetuning (MTF) for EHR data, which enables EHRMamba to simultaneously learn multiple clinical tasks in a single finetuning phase, significantly enhancing deployment and cross-task generalization. Furthermore, our model leverages the HL7 FHIR data standard to simplify integration into existing hospital systems. Alongside EHRMamba, we open-source Odyssey, a toolkit designed to support the development and deployment of EHR foundation models, with an emphasis on data standardization and interpretability. Our evaluations on the MIMIC-IV dataset demonstrate that EHRMamba advances state-of-the-art performance across 6 major clinical tasks and excels in EHR forecasting, marking a significant leap forward in the field.
- Abstract（参考訳）: トランスフォーマーはElectronic Health Records(EHR)のモデリングを大幅に進歩させたが、実際の医療への展開はいくつかの重要な課題によって制限されている。
第一に、これらのモデルの二次計算コストと文脈長の不足は、EHRデータに典型的な広範な医療履歴を処理する際に、病院にとって重大な障害となる。
さらに、既存のモデルでは、医療環境のメンテナンスを複雑にすることで、それぞれの臨床タスクに個別の微調整が採用されている。
さらに、これらのモデルは、臨床予測またはEHR予測にのみ焦点をあてており、両方でうまく機能する柔軟性が欠如している。
これらの制限を克服するために,我々は,Mambaアーキテクチャ上に構築された堅牢な基盤モデルであるEHRMambaを紹介した。
EHRMambaは、線形計算コストのために、以前のモデルよりも最大4倍長いシーケンスを処理できる。
EHRデータに対するMTF(Multitask Prompted Finetuning)の新たなアプローチを導入することで,EHRMambaは単一ファインチューニングフェーズで複数の臨床タスクを同時に学習し,デプロイメントとクロスタスクの一般化を著しく向上する。
さらに,既存の病院システムへの統合を容易にするため,HL7 FHIRデータ標準を活用している。
EHRMambaとともに、EHRファウンデーションモデルの開発とデプロイをサポートするために設計されたツールキットであるOdysseyをオープンソースとして公開しました。
MIMIC-IVデータセットを用いて評価したところ, EHRMambaは6つの主要な臨床課題にまたがって最先端の成績を向上し, EHR予測に優れており, この分野における飛躍的な進歩を示している。
関連論文リスト
- Health AI Developer Foundations [18.690656891269686]
Health AI Developer Foundations(HAI-DEF)は、トレーニング済み、ドメイン固有の基礎モデル、ツール、レシピのスイートで、ヘルスアプリケーションのための機械学習の構築を加速する。
モデルは、放射線学(X線とCT)、病理学、皮膚画像、オーディオなど、様々なモダリティや領域をカバーする。
これらのモデルは、ラベル付きデータが少なく、トレーニング時間が短く、計算コストが削減されたAI開発を容易にする、ドメイン固有の埋め込みを提供する。
論文 参考訳（メタデータ） (2024-11-22T18:51:51Z) - Synthesizing Multimodal Electronic Health Records via Predictive Diffusion Models [69.06149482021071]
EHRPDと呼ばれる新しいEHRデータ生成モデルを提案する。
時間間隔推定を組み込んだ拡散モデルである。
我々は2つの公開データセットで実験を行い、忠実さ、プライバシー、実用性の観点からEPHPDを評価する。
論文 参考訳（メタデータ） (2024-06-20T02:20:23Z) - From Basic to Extra Features: Hypergraph Transformer Pretrain-then-Finetuning for Balanced Clinical Predictions on EHR [38.95834240167854]
本稿では,HTP-Starを提案する。このHTP-Starは,EHRデータモデリングのための事前トレーニング-then-finetuneフレームワークを用いてハイパーグラフ構造を利用する。
HTP-Starは,基本的特徴と付加的特徴を有する患者のバランスを保ちながら,様々なベースラインを一貫して上回ることを示す。
論文 参考訳（メタデータ） (2024-06-09T07:41:03Z) - EMERGE: Integrating RAG for Improved Multimodal EHR Predictive Modeling [22.94521527609479]
EMERGEは、マルチモーダルEHR予測モデリングの強化を目的とした、検索拡張生成駆動フレームワークである。
提案手法は,大規模言語モデルにより時系列データと臨床メモの両方からエンティティを抽出する。
抽出した知識は、患者の健康状態のタスク関連サマリーを生成するために使用される。
論文 参考訳（メタデータ） (2024-05-27T10:53:15Z) - Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。
トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。
評価のために,GPT-4に基づく実測値CheXpromptを提案する。
LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
論文 参考訳（メタデータ） (2024-03-12T18:12:02Z) - Multimodal Interpretable Data-Driven Models for Early Prediction of
Antimicrobial Multidrug Resistance Using Multivariate Time-Series [6.804748007823268]
本稿では,フエンラブラダ大学附属病院の集中治療室 (ICU) における抗微生物多剤耐性 (AMR) 菌の出現を予測し, 理解することのできる, 解釈可能なマルチモーダルデータ駆動モデルの集合体上に構築したアプローチを提案する。
患者のプロファイルと初期健康状態は静的変数を用いてモデル化され、ICU滞在中の患者の健康状態の進化は、機械的換気や抗生物質摂取を含むいくつかのMSSを用いてモデル化される。
論文 参考訳（メタデータ） (2024-02-09T10:16:58Z) - Recent Advances in Predictive Modeling with Electronic Health Records [71.19967863320647]
EHRデータを予測モデリングに利用すると、その特徴からいくつかの課題が生じる。
深層学習は、医療を含む様々な応用においてその優位性を示している。
論文 参考訳（メタデータ） (2024-02-02T00:31:01Z) - MedDiffusion: Boosting Health Risk Prediction via Diffusion-based Data
Augmentation [58.93221876843639]
本稿では,MedDiffusion という,エンドツーエンドの拡散に基づくリスク予測モデルを提案する。
トレーニング中に合成患者データを作成し、サンプルスペースを拡大することで、リスク予測性能を向上させる。
ステップワイズ・アテンション・メカニズムを用いて患者の来訪者間の隠れた関係を識別し、高品質なデータを生成する上で最も重要な情報をモデルが自動的に保持することを可能にする。
論文 参考訳（メタデータ） (2023-10-04T01:36:30Z) - SANSformers: Self-Supervised Forecasting in Electronic Health Records
with Attention-Free Models [48.07469930813923]
本研究は,医療施設への患者訪問数を予測することにより,医療サービスの需要を予測することを目的とする。
SNSformerは、特定の帰納バイアスを設計し、EHRデータの特異な特徴を考慮に入れた、注意のない逐次モデルである。
本研究は, 各種患者集団を対象とした医療利用予測の修正における, 注意力のないモデルと自己指導型事前訓練の有望な可能性について考察した。
論文 参考訳（メタデータ） (2021-08-31T08:23:56Z) - Predicting Clinical Diagnosis from Patients Electronic Health Records
Using BERT-based Neural Networks [62.9447303059342]
医療コミュニティにおけるこの問題の重要性を示す。
本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。
約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
論文 参考訳（メタデータ） (2020-07-15T09:22:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。