論文の概要: REALM: RAG-Driven Enhancement of Multimodal Electronic Health Records Analysis via Large Language Models

• arxiv url: http://arxiv.org/abs/2402.07016v1
• Date: Sat, 10 Feb 2024 18:27:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 18:10:34.305459
• Title: REALM: RAG-Driven Enhancement of Multimodal Electronic Health Records Analysis via Large Language Models
• Title（参考訳）: REALM: RAGによる大規模言語モデルによるマルチモーダル電子健康記録解析の強化
• Authors: Yinghao Zhu, Changyu Ren, Shiyun Xie, Shukai Liu, Hangyuan Ji, Zixiang Wang, Tao Sun, Long He, Zhoujun Li, Xi Zhu, Chengwei Pan
• Abstract要約: 既存のモデルは、しばしば臨床上の課題に医学的文脈を欠いているため、外部知識の組み入れが促される。 本稿では、マルチモーダルEHR表現を強化するためのRAG(Retrieval-Augmented Generation)駆動フレームワークREALMを提案する。 MIMIC-III 死亡率と可読化タスクに関する実験は,ベースラインよりもREALM フレームワークの優れた性能を示す。
• 参考スコア（独自算出の注目度）: 19.62552013839689
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The integration of multimodal Electronic Health Records (EHR) data has significantly improved clinical predictive capabilities. Leveraging clinical notes and multivariate time-series EHR, existing models often lack the medical context relevent to clinical tasks, prompting the incorporation of external knowledge, particularly from the knowledge graph (KG). Previous approaches with KG knowledge have primarily focused on structured knowledge extraction, neglecting unstructured data modalities and semantic high dimensional medical knowledge. In response, we propose REALM, a Retrieval-Augmented Generation (RAG) driven framework to enhance multimodal EHR representations that address these limitations. Firstly, we apply Large Language Model (LLM) to encode long context clinical notes and GRU model to encode time-series EHR data. Secondly, we prompt LLM to extract task-relevant medical entities and match entities in professionally labeled external knowledge graph (PrimeKG) with corresponding medical knowledge. By matching and aligning with clinical standards, our framework eliminates hallucinations and ensures consistency. Lastly, we propose an adaptive multimodal fusion network to integrate extracted knowledge with multimodal EHR data. Our extensive experiments on MIMIC-III mortality and readmission tasks showcase the superior performance of our REALM framework over baselines, emphasizing the effectiveness of each module. REALM framework contributes to refining the use of multimodal EHR data in healthcare and bridging the gap with nuanced medical context essential for informed clinical predictions.
• Abstract（参考訳）: マルチモーダル電子健康記録(EHR)データの統合は臨床予測能力を大幅に改善した。 臨床ノートと多変量時系列 EHR を活用することで、既存のモデルは臨床業務への医療的文脈の再発明を欠くことが多く、特に知識グラフ(KG)からの外部知識の取り込みを促す。 KG知識に関するこれまでのアプローチは、構造化された知識抽出、構造化されていないデータモダリティの無視、意味的な高次元医療知識に焦点を当ててきた。 そこで我々は,これらの制約に対応するマルチモーダルehr表現を強化するための検索型生成(rag)駆動フレームワークであるrealmを提案する。 まず,Large Language Model (LLM) を用いて長期臨床ノートを符号化し,GRUモデルを用いて時系列EHRデータを符号化する。 第2に,職業的ラベル付き外部知識グラフ(PrimeKG)におけるタスク関連医療エンティティの抽出と,それに対応する医療知識とのマッチングをLCMに促す。 臨床標準に適合し整合させることにより,幻覚を排除し,整合性を確保する。 最後に,抽出された知識をマルチモーダルehrデータと統合する適応型マルチモーダル融合ネットワークを提案する。 MIMIC-III 死亡率と可読性タスクに関する広範囲な実験により,REALM フレームワークのベースラインよりも優れた性能を示し,各モジュールの有効性を強調した。 REALMフレームワークは、医療におけるマルチモーダル EHR データの使用を洗練し、情報的臨床予測に不可欠な医療コンテキストとのギャップを埋めることに貢献している。

関連論文リスト

• HC-LLM: Historical-Constrained Large Language Models for Radiology Report Generation [89.3260120072177]
  本稿では,放射線学レポート生成のための歴史制約付き大規模言語モデル (HC-LLM) フレームワークを提案する。 胸部X線写真から経時的特徴と経時的特徴を抽出し,疾患の進行を捉える診断報告を行った。 特に,本手法は,テスト中の履歴データなしでも良好に動作し,他のマルチモーダル大規模モデルにも容易に適用可能である。
  論文  参考訳（メタデータ） (2024-12-15T06:04:16Z)
• Comprehensive and Practical Evaluation of Retrieval-Augmented Generation Systems for Medical Question Answering [70.44269982045415]
  Retrieval-augmented Generation (RAG) は,大規模言語モデル (LLM) の性能向上のための有望なアプローチとして登場した。 医療用QAデータセットに様々な補助的要素を提供するMedRGB(MedRGB)を導入する。 実験結果から,検索した文書のノイズや誤情報の処理能力に限界があることが判明した。
  論文  参考訳（メタデータ） (2024-11-14T06:19:18Z)
• Large Language Model Benchmarks in Medical Tasks [14.739357670600103]
  本稿では,医療用大規模言語モデル(LLM)タスクに使用される様々なベンチマークデータセットについて調査する。 調査では、データセットをモダリティで分類し、その重要性、データ構造、LLMの開発への影響について論じている。 この論文は、言語多様性、構造化オミクスデータ、および合成に対する革新的なアプローチを含むデータセットの必要性を強調している。
  論文  参考訳（メタデータ） (2024-10-28T11:07:33Z)
• Reasoning-Enhanced Healthcare Predictions with Knowledge Graph Community Retrieval [61.70489848327436]
  KAREは、知識グラフ(KG)コミュニティレベルの検索と大規模言語モデル(LLM)推論を統合する新しいフレームワークである。 MIMIC-IIIでは最大10.8～15.0%、MIMIC-IVでは12.6～12.7%である。
  論文  参考訳（メタデータ） (2024-10-06T18:46:28Z)
• MedTsLLM: Leveraging LLMs for Multimodal Medical Time Series Analysis [6.30440420617113]
  MedTsLLMは、時系列データとリッチな文脈情報をテキスト形式で統合し、生理的信号を解析する汎用多モーダル大規模言語モデル(LLM)フレームワークである。 本研究は,連続時間における意味的セグメンテーション,境界検出,異常検出という,臨床的関連性のある3つのタスクを実行する。 我々のモデルは、深層学習モデル、他のLSM、および複数の医療領域における臨床方法など、最先端のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2024-08-14T18:57:05Z)
• GMAI-MMBench: A Comprehensive Multimodal Evaluation Benchmark Towards General Medical AI [67.09501109871351]
  LVLM(Large Vision-Language Model)は、画像、テキスト、生理学的信号などの多様なデータタイプを扱うことができる。 GMAI-MMBenchは、よく分類されたデータ構造と、これまででもっとも包括的な一般医療用AIベンチマークである。 38の医療画像モダリティ、18の臨床関連タスク、18の部門、視覚質問回答(VQA)フォーマットの4つの知覚的粒度からなる284のデータセットで構成されている。
  論文  参考訳（メタデータ） (2024-08-06T17:59:21Z)
• medIKAL: Integrating Knowledge Graphs as Assistants of LLMs for Enhanced Clinical Diagnosis on EMRs [13.806201934732321]
  medIKALは、診断能力を高めるために、LLM(Large Language Models)と知識グラフ(KG)を組み合わせる。 medIKALは、そのタイプに基づいて医療記録のエンティティに重み付けされた重要性を割り当て、KG内の候補疾患の正確な局在を可能にする。 新たに導入した中国のEMRデータセットの広範な実験により,medIKALの有効性を検証した。
  論文  参考訳（メタデータ） (2024-06-20T13:56:52Z)
• EMERGE: Integrating RAG for Improved Multimodal EHR Predictive Modeling [22.94521527609479]
  EMERGEは、マルチモーダルEHR予測モデリングの強化を目的とした、検索拡張生成駆動フレームワークである。 提案手法は,大規模言語モデルにより時系列データと臨床メモの両方からエンティティを抽出する。 抽出した知識は、患者の健康状態のタスク関連サマリーを生成するために使用される。
  論文  参考訳（メタデータ） (2024-05-27T10:53:15Z)
• AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
  我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。 この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。 高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
  論文  参考訳（メタデータ） (2024-02-15T06:46:48Z)
• Next Visit Diagnosis Prediction via Medical Code-Centric Multimodal Contrastive EHR Modelling with Hierarchical Regularisation [0.0]
  NECHOは,階層的正規化を伴う新しい医用コード中心のマルチモーダル・コントラスト学習フレームワークである。 まず, 医用コード, 人口統計, 臨床ノートを含む多面的情報をネットワーク設計を用いて統合する。 また,EHRデータの階層構造を学習するために,医療オントロジーにおける親レベル情報を用いてモダリティ固有のエンコーダを正規化する。
  論文  参考訳（メタデータ） (2024-01-22T01:58:32Z)
• Cross-Modal Information Maximization for Medical Imaging: CMIM [62.28852442561818]
  病院では、同じ情報を異なるモダリティの下で利用できるようにする特定の情報システムにデータがサイロ化される。 これは、テスト時に常に利用できないかもしれない同じ情報の複数のビューを列車で取得し、使用するためのユニークな機会を提供する。 テスト時にモダリティの低下に耐性を持つマルチモーダル入力の優れた表現を学習することで、利用可能なデータを最大限活用する革新的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-20T20:05:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。