論文の概要: REALM: RAG-Driven Enhancement of Multimodal Electronic Health Records
Analysis via Large Language Models
- arxiv url: http://arxiv.org/abs/2402.07016v1
- Date: Sat, 10 Feb 2024 18:27:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 18:10:34.305459
- Title: REALM: RAG-Driven Enhancement of Multimodal Electronic Health Records
Analysis via Large Language Models
- Title(参考訳): REALM: RAGによる大規模言語モデルによるマルチモーダル電子健康記録解析の強化
- Authors: Yinghao Zhu, Changyu Ren, Shiyun Xie, Shukai Liu, Hangyuan Ji, Zixiang
Wang, Tao Sun, Long He, Zhoujun Li, Xi Zhu, Chengwei Pan
- Abstract要約: 既存のモデルは、しばしば臨床上の課題に医学的文脈を欠いているため、外部知識の組み入れが促される。
本稿では、マルチモーダルEHR表現を強化するためのRAG(Retrieval-Augmented Generation)駆動フレームワークREALMを提案する。
MIMIC-III 死亡率と可読化タスクに関する実験は,ベースラインよりもREALM フレームワークの優れた性能を示す。
- 参考スコア(独自算出の注目度): 19.62552013839689
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The integration of multimodal Electronic Health Records (EHR) data has
significantly improved clinical predictive capabilities. Leveraging clinical
notes and multivariate time-series EHR, existing models often lack the medical
context relevent to clinical tasks, prompting the incorporation of external
knowledge, particularly from the knowledge graph (KG). Previous approaches with
KG knowledge have primarily focused on structured knowledge extraction,
neglecting unstructured data modalities and semantic high dimensional medical
knowledge. In response, we propose REALM, a Retrieval-Augmented Generation
(RAG) driven framework to enhance multimodal EHR representations that address
these limitations. Firstly, we apply Large Language Model (LLM) to encode long
context clinical notes and GRU model to encode time-series EHR data. Secondly,
we prompt LLM to extract task-relevant medical entities and match entities in
professionally labeled external knowledge graph (PrimeKG) with corresponding
medical knowledge. By matching and aligning with clinical standards, our
framework eliminates hallucinations and ensures consistency. Lastly, we propose
an adaptive multimodal fusion network to integrate extracted knowledge with
multimodal EHR data. Our extensive experiments on MIMIC-III mortality and
readmission tasks showcase the superior performance of our REALM framework over
baselines, emphasizing the effectiveness of each module. REALM framework
contributes to refining the use of multimodal EHR data in healthcare and
bridging the gap with nuanced medical context essential for informed clinical
predictions.
- Abstract(参考訳): マルチモーダル電子健康記録(EHR)データの統合は臨床予測能力を大幅に改善した。
臨床ノートと多変量時系列 EHR を活用することで、既存のモデルは臨床業務への医療的文脈の再発明を欠くことが多く、特に知識グラフ(KG)からの外部知識の取り込みを促す。
KG知識に関するこれまでのアプローチは、構造化された知識抽出、構造化されていないデータモダリティの無視、意味的な高次元医療知識に焦点を当ててきた。
そこで我々は,これらの制約に対応するマルチモーダルehr表現を強化するための検索型生成(rag)駆動フレームワークであるrealmを提案する。
まず,Large Language Model (LLM) を用いて長期臨床ノートを符号化し,GRUモデルを用いて時系列EHRデータを符号化する。
第2に,職業的ラベル付き外部知識グラフ(PrimeKG)におけるタスク関連医療エンティティの抽出と,それに対応する医療知識とのマッチングをLCMに促す。
臨床標準に適合し整合させることにより,幻覚を排除し,整合性を確保する。
最後に,抽出された知識をマルチモーダルehrデータと統合する適応型マルチモーダル融合ネットワークを提案する。
MIMIC-III 死亡率と可読性タスクに関する広範囲な実験により,REALM フレームワークのベースラインよりも優れた性能を示し,各モジュールの有効性を強調した。
REALMフレームワークは、医療におけるマルチモーダル EHR データの使用を洗練し、情報的臨床予測に不可欠な医療コンテキストとのギャップを埋めることに貢献している。
関連論文リスト
- Prompting Large Language Models for Zero-Shot Clinical Prediction with
Structured Longitudinal Electronic Health Record Data [7.815738943706123]
大規模言語モデル(LLM)は、伝統的に自然言語処理に向いている。
本研究では, GPT-4 などの LLM の EHR データへの適応性について検討する。
EHRデータの長手性、スパース性、知識を注入した性質に対応するため、本研究は特定の特徴を考慮に入れている。
論文 参考訳(メタデータ) (2024-01-25T20:14:50Z) - Next Visit Diagnosis Prediction via Medical Code-Centric Multimodal
Contrastive EHR Modelling with Hierarchical Regularisation [0.0]
NECHOは,階層的正規化を伴う新しい医用コード中心のマルチモーダル・コントラスト学習フレームワークである。
まず, 医用コード, 人口統計, 臨床ノートを含む多面的情報をネットワーク設計を用いて統合する。
また,EHRデータの階層構造を学習するために,医療オントロジーにおける親レベル情報を用いてモダリティ固有のエンコーダを正規化する。
論文 参考訳(メタデータ) (2024-01-22T01:58:32Z) - XAI for In-hospital Mortality Prediction via Multimodal ICU Data [57.73357047856416]
マルチモーダルICUデータを用いて病院内死亡率を予測するための,効率的で説明可能なAIソリューションを提案する。
我々は,臨床データから異種入力を受信し,意思決定を行うマルチモーダル・ラーニングを我々のフレームワークに導入する。
我々の枠組みは、医療研究において重要な要素の発見を容易にする他の臨床課題に容易に移行することができる。
論文 参考訳(メタデータ) (2023-12-29T14:28:04Z) - INSPECT: A Multimodal Dataset for Pulmonary Embolism Diagnosis and
Prognosis [19.32686665459374]
肺塞栓症(PE)リスクの高い大コホートからの非同定型経時的記録を含むINSPECTについて紹介する。
INSPECTには、CT画像、放射線医学報告印象セクション、構造化電子健康記録(EHR)データ(人口統計、診断、手順、バイタル、医薬品など)を含む19,402人のデータが含まれている。
論文 参考訳(メタデータ) (2023-11-17T07:28:16Z) - LLM-driven Multimodal Target Volume Contouring in Radiation Oncology [55.20049911531224]
大規模言語モデル(LLM)は、テキスト情報と画像の統合を容易にする。
LLM駆動型マルチモーダルAIを,放射線治療における目標音量調整の課題に適用する。
提案モデルでは,従来の視覚のみのAIモデルと比較して,性能が著しく向上していることを示す。
論文 参考訳(メタデータ) (2023-11-03T13:38:42Z) - Learnable Weight Initialization for Volumetric Medical Image
Segmentation [54.1807206010136]
本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。
我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。
多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
論文 参考訳(メタデータ) (2023-06-15T17:55:05Z) - Towards Medical Artificial General Intelligence via Knowledge-Enhanced
Multimodal Pretraining [121.89793208683625]
医療人工知能(MAGI)は、1つの基礎モデルで異なる医療課題を解くことができる。
我々は、Micical-knedge-enhanced mulTimOdal pretRaining (motoR)と呼ばれる新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2023-04-26T01:26:19Z) - Large Language Models for Biomedical Knowledge Graph Construction:
Information extraction from EMR notes [0.0]
大規模言語モデル(LLM)に基づくエンドツーエンド機械学習ソリューションを提案する。
KG構築プロセスで使用される物質は、疾患、因子、治療、および疾患を経験中に患者と共存する症状である。
提案手法の応用は加齢に伴う黄斑変性に対して実証される。
論文 参考訳(メタデータ) (2023-01-29T15:52:33Z) - Competence-based Multimodal Curriculum Learning for Medical Report
Generation [98.10763792453925]
本稿では,コンピテンスベースのマルチモーダルカリキュラム学習フレームワーク(CMCL)を提案する。
具体的には、CMCLは放射線学者の学習過程をシミュレートし、段階的にモデルを最適化する。
パブリックIU-XrayとMIMIC-CXRデータセットの実験は、CMCLを既存のモデルに組み込んでパフォーマンスを向上させることができることを示している。
論文 参考訳(メタデータ) (2022-06-24T08:16:01Z) - MeSIN: Multilevel Selective and Interactive Network for Medication
Recommendation [9.173903754083927]
薬物推奨のためのマルチレベル選択型対話型ネットワーク(MeSIN)を提案する。
まず、異なる医療コードの埋め込みに柔軟な注意スコアを割り当てるために注意選択モジュール(ASM)が適用されます。
第二に、EHRデータにおける多レベルの医療シーケンスの相互作用を強化するために、新しい対話型長期メモリネットワーク(InLSTM)を組み込む。
論文 参考訳(メタデータ) (2021-04-22T12:59:50Z) - Cross-Modal Information Maximization for Medical Imaging: CMIM [62.28852442561818]
病院では、同じ情報を異なるモダリティの下で利用できるようにする特定の情報システムにデータがサイロ化される。
これは、テスト時に常に利用できないかもしれない同じ情報の複数のビューを列車で取得し、使用するためのユニークな機会を提供する。
テスト時にモダリティの低下に耐性を持つマルチモーダル入力の優れた表現を学習することで、利用可能なデータを最大限活用する革新的なフレームワークを提案する。
論文 参考訳(メタデータ) (2020-10-20T20:05:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。