論文の概要: M2G-LLM: Enhancing Clinical Prediction via Multimodal Graph Reasoning and LLM Context Injection

• arxiv url: http://arxiv.org/abs/2609.21164v1
• Date: Fri, 18 Sep 2026 00:12:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.80066
• Title: M2G-LLM: Enhancing Clinical Prediction via Multimodal Graph Reasoning and LLM Context Injection
• Title（参考訳）: M2G-LLM:マルチモーダルグラフ推論とLLMコンテキスト注入による臨床予測の強化
• Abstract要約: M2G-LLMは,グラフニューラルネットワーク(GNN)によるマルチモーダル統合とアライメントにより,大規模言語モデルを強化する新しいフレームワークである。 提案手法は,患者訪問の時間的関係をモデル化し,臨床に類似した患者間で情報を伝達し,異種データソースを整列させてマルチモーダルなコンテキストを構築する。 我々はMIMIC-IVおよびMIMIC-CXRデータセット上でM2G-LLMを評価し、強力なベースラインモデルによる臨床予測タスクの改善を実証した。
• 参考スコア（独自算出の注目度）: 42.539490564338514
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Integrating diverse data modalities --- such as clinical notes, laboratory results, and medical imaging --- is essential for advancing clinical decision-making. While Large Language Models (LLMs) have shown remarkable performance in processing unstructured clinical text, their limited capacity to incorporate non-text modalities hinders their broader utility in healthcare applications. Here, we introduce M2G-LLM (Multimodal MedGraph-LLM), a novel framework that enhances LLMs with multimodal integration and alignment via Graph Neural Networks (GNNs). Our approach models temporal relationships between patient visits, propagates information across clinically similar patients, and aligns heterogeneous data sources to construct enriched multimodal context vectors. These vectors are injected into the intermediate layers of the LLM, enabling joint reasoning over textual and non-textual modalities. We evaluate M2G-LLM on the MIMIC-IV and MIMIC-CXR datasets, demonstrating improvements in clinical prediction tasks over strong baseline models. Our results highlight the promise of combining the language understanding of LLMs with the relational reasoning capabilities of GNNs for comprehensive, multimodal healthcare analysis.
• Abstract（参考訳）: 臨床検査、検査結果、医用画像などの多様なデータモダリティを統合することは、臨床意思決定を進める上で不可欠である。 LLM(Large Language Models)は、構造化されていない臨床テキストの処理において顕著な性能を示したが、非テキストモダリティを組み込む能力の制限は、医療応用におけるより広範な有用性を妨げている。 本稿では,M2G-LLM(Multimodal MedGraph-LLM)を紹介する。 提案手法は,患者訪問の時間的関係をモデル化し,臨床に類似した患者間で情報を伝達し,異種データソースを整列させてマルチモーダルなコンテキストベクトルを構築する。 これらのベクトルは LLM の中間層に注入され、テキストと非テキストのモダリティに対する共同推論を可能にする。 我々はMIMIC-IVおよびMIMIC-CXRデータセット上でM2G-LLMを評価し、強力なベースラインモデルによる臨床予測タスクの改善を実証した。 以上の結果から,LLMの言語理解とGNNの関連推論能力を組み合わせることで,包括的マルチモーダル医療分析を実現することが期待できる。

関連論文リスト

• Concept-Grounded Reasoning with Prompt-Driven Localization for Interpretable Structured Report Generation [66.62662330558906]
  CORALは、空間的接地と概念レベルの監督を統一的な推論プロセスに統合するマルチモーダルフレームワークである。 コーラルは、疾患の局所化とコンセプション・ボトルネックモジュールによる多クラス臨床属性の予測のために、プロンプト駆動型医療セグメンテーションモデルを採用している。 BUS-CoTとIU X線データセットの実験では、診断精度、概念整合性、報告品質が強力な汎用および医療MLLMよりも一貫した改善が示されている。
  論文  参考訳（メタデータ） (2026-09-14T10:21:23Z)
• Revealing Interconnections between Diseases: from Statistical Methods to Large Language Models [0.15558822250482188]
  大規模臨床データの手動解析による疾患の相互関係の同定は、労働集約的であり、主観的であり、専門家の意見の不一致を招く。 本研究は,MIMIC-IV EHRのICD-10コードシーケンスとICD-10コードの全セットの2つのデータソースに基づいて,疾患関係を明らかにするための7つのアプローチを評価する。 i)実際の臨床データを用いた統計的共起解析とマスク言語モデリング(MLM)アプローチ,(ii)ドメイン固有のBERT変種,(iii)汎用BERTと文書検索。
  論文  参考訳（メタデータ） (2025-10-06T15:09:39Z)
• NEARL-CLIP: Interacted Query Adaptation with Orthogonal Regularization for Medical Vision-Language Understanding [51.63264715941068]
  textbfNEARL-CLIP (iunderlineNteracted quunderlineEry underlineAdaptation with ounderlineRthogonaunderlineL regularization)は、VLMベースの新しい相互モダリティ相互作用フレームワークである。
  論文  参考訳（メタデータ） (2025-08-06T05:44:01Z)
• Zeus: Zero-shot LLM Instruction for Union Segmentation in Multimodal Medical Imaging [4.341503087761129]
  マルチモーダル学習の実行には、ソリューションとして示される視覚とテキストのモダリティが含まれるが、ペア化されたビジョン言語データセットの収集は高価で時間を要する。 大規模言語モデル(LLM)における多くのクロスモーダルタスクの優れた能力に触発されて、我々はこの問題に対処する新しいビジョン・LLM統合フレームワークを提案しました。
  論文  参考訳（メタデータ） (2025-04-09T23:33:35Z)
• Reasoning-Enhanced Healthcare Predictions with Knowledge Graph Community Retrieval [61.70489848327436]
  KAREは、知識グラフ(KG)コミュニティレベルの検索と大規模言語モデル(LLM)推論を統合する新しいフレームワークである。 MIMIC-IIIでは最大10.8～15.0%、MIMIC-IVでは12.6～12.7%である。
  論文  参考訳（メタデータ） (2024-10-06T18:46:28Z)
• XAI4LLM. Let Machine Learning Models and LLMs Collaborate for Enhanced In-Context Learning in Healthcare [16.79952669254101]
  本稿では,大規模言語モデルによる構造化された臨床データ処理を実現するための知識誘導型インコンテキスト学習フレームワークを提案する。 このアプローチでは、ドメイン固有の機能グループ化、慎重にバランスのとれた数ショットの例、タスク固有のプロンプト戦略を統合する。
  論文  参考訳（メタデータ） (2024-05-10T06:52:44Z)
• AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
  我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。 この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。 高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
  論文  参考訳（メタデータ） (2024-02-15T06:46:48Z)
• REALM: RAG-Driven Enhancement of Multimodal Electronic Health Records Analysis via Large Language Models [19.62552013839689]
  既存のモデルは、しばしば臨床上の課題に医学的文脈を欠いているため、外部知識の組み入れが促される。 本稿では、マルチモーダルEHR表現を強化するためのRAG(Retrieval-Augmented Generation)駆動フレームワークREALMを提案する。 MIMIC-III 死亡率と可読化タスクに関する実験は,ベースラインよりもREALM フレームワークの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-02-10T18:27:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。