論文の概要: EMERGE: Enhancing Multimodal Electronic Health Records Predictive Modeling with Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2406.00036v2
• Date: Wed, 26 Feb 2025 13:18:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 14:55:08.091035
• Title: EMERGE: Enhancing Multimodal Electronic Health Records Predictive Modeling with Retrieval-Augmented Generation
• Title（参考訳）: EMERGE: 検索強化世代によるマルチモーダル電子健康記録予測モデルの実現
• Authors: Yinghao Zhu, Changyu Ren, Zixiang Wang, Xiaochen Zheng, Shiyun Xie, Junlan Feng, Xi Zhu, Zhoujun Li, Liantao Ma, Chengwei Pan,
• Abstract要約: EMERGEはRetrieval-Augmented Generation(RAG)駆動のフレームワークであり、マルチモーダルEHR予測モデリングを強化する。 時系列データと臨床ノートからエンティティを抽出し,LLM(Large Language Models)を誘導し,プロのPrimeKGと整合させる。 抽出した知識は、患者の健康状態のタスク関連サマリーを生成するために使用される。
• 参考スコア（独自算出の注目度）: 22.94521527609479
• License:
• Abstract: The integration of multimodal Electronic Health Records (EHR) data has significantly advanced clinical predictive capabilities. Existing models, which utilize clinical notes and multivariate time-series EHR data, often fall short of incorporating the necessary medical context for accurate clinical tasks, while previous approaches with knowledge graphs (KGs) primarily focus on structured knowledge extraction. In response, we propose EMERGE, a Retrieval-Augmented Generation (RAG) driven framework to enhance multimodal EHR predictive modeling. We extract entities from both time-series data and clinical notes by prompting Large Language Models (LLMs) and align them with professional PrimeKG, ensuring consistency. In addition to triplet relationships, we incorporate entities' definitions and descriptions for richer semantics. The extracted knowledge is then used to generate task-relevant summaries of patients' health statuses. Finally, we fuse the summary with other modalities using an adaptive multimodal fusion network with cross-attention. Extensive experiments on the MIMIC-III and MIMIC-IV datasets' in-hospital mortality and 30-day readmission tasks demonstrate the superior performance of the EMERGE framework over baseline models. Comprehensive ablation studies and analysis highlight the efficacy of each designed module and robustness to data sparsity. EMERGE contributes to refining the utilization of multimodal EHR data in healthcare, bridging the gap with nuanced medical contexts essential for informed clinical predictions. We have publicly released the code at https://github.com/yhzhu99/EMERGE.
• Abstract（参考訳）: マルチモーダル・エレクトロニック・ヘルス・レコーズ(EHR)データの統合は、非常に高度な臨床予測能力を持つ。 臨床ノートと多変量時系列EHRデータを利用する既存のモデルは、正確な臨床作業に必要な医療コンテキストを組み込むには不十分な場合が多いが、知識グラフ(KG)を用いた以前のアプローチは主に構造化知識抽出に焦点を当てていた。 そこで本稿では,マルチモーダルEHR予測モデルを改善するために,RAG(Retrieval-Augmented Generation)駆動のフレームワークであるEMERGEを提案する。 我々は、LLM(Large Language Models)を促すことによって、時系列データと臨床メモの両方からエンティティを抽出し、それらをプロのPrimeKGと整合させ、一貫性を確保する。 三重関係に加えて、よりリッチな意味論のためのエンティティの定義と記述も取り入れる。 抽出した知識は、患者の健康状態のタスク関連サマリーを生成するために使用される。 最後に、アダプティブマルチモーダルフュージョンネットワークを用いて、他のモダリティと概要を融合する。 MIMIC-IIIおよびMIMIC-IVデータセットの院内死亡率と30日間の受信タスクに関する大規模な実験は、ベースラインモデルよりもEMERGEフレームワークの優れた性能を示す。 包括的アブレーション研究と分析は、各設計モジュールの有効性とデータ空間に対する堅牢性を強調している。 EMERGEは、医療におけるマルチモーダル EHR データの利用を洗練し、情報的臨床予測に不可欠な医療コンテキストとのギャップを埋めることに貢献している。 コードについてはhttps://github.com/yhzhu99/EMERGE.comで公開しています。

関連論文リスト

• Continually Evolved Multimodal Foundation Models for Cancer Prognosis [50.43145292874533]
  がん予後は、患者の予後と生存率を予測する重要なタスクである。 これまでの研究では、臨床ノート、医療画像、ゲノムデータなどの多様なデータモダリティを統合し、補完的な情報を活用している。 既存のアプローチには2つの大きな制限がある。まず、各病院の患者記録など、各種のトレーニングに新しく到着したデータを組み込むことに苦慮する。 第二に、ほとんどのマルチモーダル統合手法は単純化された結合やタスク固有のパイプラインに依存しており、モダリティ間の複雑な相互依存を捉えることができない。
  論文  参考訳（メタデータ） (2025-01-30T06:49:57Z)
• HC-LLM: Historical-Constrained Large Language Models for Radiology Report Generation [89.3260120072177]
  本稿では,放射線学レポート生成のための歴史制約付き大規模言語モデル (HC-LLM) フレームワークを提案する。 胸部X線写真から経時的特徴と経時的特徴を抽出し,疾患の進行を捉える診断報告を行った。 特に,本手法は,テスト中の履歴データなしでも良好に動作し,他のマルチモーダル大規模モデルにも容易に適用可能である。
  論文  参考訳（メタデータ） (2024-12-15T06:04:16Z)
• Reasoning-Enhanced Healthcare Predictions with Knowledge Graph Community Retrieval [61.70489848327436]
  KAREは、知識グラフ(KG)コミュニティレベルの検索と大規模言語モデル(LLM)推論を統合する新しいフレームワークである。 MIMIC-IIIでは最大10.8～15.0%、MIMIC-IVでは12.6～12.7%である。
  論文  参考訳（メタデータ） (2024-10-06T18:46:28Z)
• Multimodal Fusion of EHR in Structures and Semantics: Integrating Clinical Records and Notes with Hypergraph and LLM [39.25272553560425]
  本稿では,EHRにおける構造と意味を効果的に統合するMINGLEという新しいフレームワークを提案する。 本フレームワークでは,医療概念のセマンティクスと臨床ノートのセマンティクスをハイパーグラフニューラルネットワークに組み合わせるために,2段階の注入戦略を採用している。 2つのEHRデータセット(パブリックMIMIC-IIIとプライベートCRADLE)の実験結果から、MINGLEは予測性能を11.83%向上できることが示された。
  論文  参考訳（メタデータ） (2024-02-19T23:48:40Z)
• REALM: RAG-Driven Enhancement of Multimodal Electronic Health Records Analysis via Large Language Models [19.62552013839689]
  既存のモデルは、しばしば臨床上の課題に医学的文脈を欠いているため、外部知識の組み入れが促される。 本稿では、マルチモーダルEHR表現を強化するためのRAG(Retrieval-Augmented Generation)駆動フレームワークREALMを提案する。 MIMIC-III 死亡率と可読化タスクに関する実験は,ベースラインよりもREALM フレームワークの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-02-10T18:27:28Z)
• Multimodal Interpretable Data-Driven Models for Early Prediction of Antimicrobial Multidrug Resistance Using Multivariate Time-Series [6.804748007823268]
  本稿では,フエンラブラダ大学附属病院の集中治療室 (ICU) における抗微生物多剤耐性 (AMR) 菌の出現を予測し, 理解することのできる, 解釈可能なマルチモーダルデータ駆動モデルの集合体上に構築したアプローチを提案する。 患者のプロファイルと初期健康状態は静的変数を用いてモデル化され、ICU滞在中の患者の健康状態の進化は、機械的換気や抗生物質摂取を含むいくつかのMSSを用いてモデル化される。
  論文  参考訳（メタデータ） (2024-02-09T10:16:58Z)
• Next Visit Diagnosis Prediction via Medical Code-Centric Multimodal Contrastive EHR Modelling with Hierarchical Regularisation [0.0]
  NECHOは,階層的正規化を伴う新しい医用コード中心のマルチモーダル・コントラスト学習フレームワークである。 まず, 医用コード, 人口統計, 臨床ノートを含む多面的情報をネットワーク設計を用いて統合する。 また,EHRデータの階層構造を学習するために,医療オントロジーにおける親レベル情報を用いてモダリティ固有のエンコーダを正規化する。
  論文  参考訳（メタデータ） (2024-01-22T01:58:32Z)
• XAI for In-hospital Mortality Prediction via Multimodal ICU Data [57.73357047856416]
  マルチモーダルICUデータを用いて病院内死亡率を予測するための,効率的で説明可能なAIソリューションを提案する。 我々は,臨床データから異種入力を受信し,意思決定を行うマルチモーダル・ラーニングを我々のフレームワークに導入する。 我々の枠組みは、医療研究において重要な要素の発見を容易にする他の臨床課題に容易に移行することができる。
  論文  参考訳（メタデータ） (2023-12-29T14:28:04Z)
• INSPECT: A Multimodal Dataset for Pulmonary Embolism Diagnosis and Prognosis [19.32686665459374]
  肺塞栓症(PE)リスクの高い大コホートからの非同定型経時的記録を含むINSPECTについて紹介する。 INSPECTには、CT画像、放射線医学報告印象セクション、構造化電子健康記録(EHR)データ(人口統計、診断、手順、バイタル、医薬品など)を含む19,402人のデータが含まれている。
  論文  参考訳（メタデータ） (2023-11-17T07:28:16Z)
• Learnable Weight Initialization for Volumetric Medical Image Segmentation [66.3030435676252]
  本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。 我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。 多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-06-15T17:55:05Z)
• MIMO: Mutual Integration of Patient Journey and Medical Ontology for Healthcare Representation Learning [49.57261599776167]
  本稿では、医療表現学習と予測分析のための、エンドツーエンドの堅牢なトランスフォーマーベースのソリューション、患者旅行の相互統合、医療オントロジー(MIMO)を提案する。
  論文  参考訳（メタデータ） (2021-07-20T07:04:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。