論文の概要: MEDFuse: Multimodal EHR Data Fusion with Masked Lab-Test Modeling and Large Language Models

• arxiv url: http://arxiv.org/abs/2407.12309v1
• Date: Wed, 17 Jul 2024 04:17:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-18 18:27:38.691762
• Title: MEDFuse: Multimodal EHR Data Fusion with Masked Lab-Test Modeling and Large Language Models
• Title（参考訳）: MEDFuse: Masked Lab-Test モデリングと大規模言語モデルによるマルチモーダルEHRデータフュージョン
• Authors: Thao Minh Nguyen Phan, Cong-Tinh Dao, Chenwei Wu, Jian-Zhe Wang, Shun Liu, Jun-En Ding, David Restrepo, Feng Liu, Fang-Ming Hung, Wen-Chih Peng,
• Abstract要約: MEDFuseは構造化および非構造化の医療データを統合するフレームワークである。 10種類のマルチラベル分類タスクにおいて、90%以上のF1スコアを達成している。
• 参考スコア（独自算出の注目度）: 11.798375238713488
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Electronic health records (EHRs) are multimodal by nature, consisting of structured tabular features like lab tests and unstructured clinical notes. In real-life clinical practice, doctors use complementary multimodal EHR data sources to get a clearer picture of patients' health and support clinical decision-making. However, most EHR predictive models do not reflect these procedures, as they either focus on a single modality or overlook the inter-modality interactions/redundancy. In this work, we propose MEDFuse, a Multimodal EHR Data Fusion framework that incorporates masked lab-test modeling and large language models (LLMs) to effectively integrate structured and unstructured medical data. MEDFuse leverages multimodal embeddings extracted from two sources: LLMs fine-tuned on free clinical text and masked tabular transformers trained on structured lab test results. We design a disentangled transformer module, optimized by a mutual information loss to 1) decouple modality-specific and modality-shared information and 2) extract useful joint representation from the noise and redundancy present in clinical notes. Through comprehensive validation on the public MIMIC-III dataset and the in-house FEMH dataset, MEDFuse demonstrates great potential in advancing clinical predictions, achieving over 90% F1 score in the 10-disease multi-label classification task.
• Abstract（参考訳）: 電子健康記録(電子健康記録、EHRs)は、ラボテストや未構造化臨床ノートのような構造化表形式の特徴からなる、自然によって多様である。 実際の臨床実践では、医師は補完的なマルチモーダル EHR データソースを使用して患者の健康状態を明確に把握し、臨床意思決定を支援する。 しかしながら、ほとんどのEHR予測モデルは、単一のモダリティに焦点を当てたり、モダリティ間の相互作用/冗長性を見落としたりするため、これらの手順を反映していない。 本研究では,Multimodal EHR Data FusionフレームワークであるMEDFuseを提案する。 MEDFuseは、2つのソースから抽出されたマルチモーダル埋め込みを活用している。 相互情報損失に最適化された不整合トランスモジュールを設計する。 1)2つのモダリティ特化情報及びモダリティ共有情報 2) 臨床ノート中のノイズと冗長性から有用な関節表現を抽出する。 公的なMIMIC-IIIデータセットと社内FEMHデータセットの総合的検証を通じて,MEDFuseは臨床予測の進歩に大きな可能性を示し,10種類のマルチラベル分類タスクにおいて90%以上のF1スコアを達成した。

関連論文リスト

• EMERGE: Integrating RAG for Improved Multimodal EHR Predictive Modeling [22.94521527609479]
  EMERGEは、マルチモーダルEHR予測モデリングの強化を目的とした、検索拡張生成駆動フレームワークである。 提案手法は,大規模言語モデルにより時系列データと臨床メモの両方からエンティティを抽出する。 抽出した知識は、患者の健康状態のタスク関連サマリーを生成するために使用される。
  論文  参考訳（メタデータ） (2024-05-27T10:53:15Z)
• HyperFusion: A Hypernetwork Approach to Multimodal Integration of Tabular and Medical Imaging Data for Predictive Modeling [4.44283662576491]
  EHRの値と測定値に画像処理を条件付け,臨床画像と表層データを融合させるハイパーネットワークに基づく新しいフレームワークを提案する。 このアプローチは、これらのモダリティに存在する相補的な情報を活用し、様々な医療応用の精度を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-03-20T05:50:04Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• Multimodal Fusion of EHR in Structures and Semantics: Integrating Clinical Records and Notes with Hypergraph and LLM [39.25272553560425]
  本稿では,EHRにおける構造と意味を効果的に統合するMINGLEという新しいフレームワークを提案する。 本フレームワークでは,医療概念のセマンティクスと臨床ノートのセマンティクスをハイパーグラフニューラルネットワークに組み合わせるために,2段階の注入戦略を採用している。 2つのEHRデータセット(パブリックMIMIC-IIIとプライベートCRADLE)の実験結果から、MINGLEは予測性能を11.83%向上できることが示された。
  論文  参考訳（メタデータ） (2024-02-19T23:48:40Z)
• REALM: RAG-Driven Enhancement of Multimodal Electronic Health Records Analysis via Large Language Models [19.62552013839689]
  既存のモデルは、しばしば臨床上の課題に医学的文脈を欠いているため、外部知識の組み入れが促される。 本稿では、マルチモーダルEHR表現を強化するためのRAG(Retrieval-Augmented Generation)駆動フレームワークREALMを提案する。 MIMIC-III 死亡率と可読化タスクに関する実験は,ベースラインよりもREALM フレームワークの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-02-10T18:27:28Z)
• XAI for In-hospital Mortality Prediction via Multimodal ICU Data [57.73357047856416]
  マルチモーダルICUデータを用いて病院内死亡率を予測するための,効率的で説明可能なAIソリューションを提案する。 我々は,臨床データから異種入力を受信し,意思決定を行うマルチモーダル・ラーニングを我々のフレームワークに導入する。 我々の枠組みは、医療研究において重要な要素の発見を容易にする他の臨床課題に容易に移行することができる。
  論文  参考訳（メタデータ） (2023-12-29T14:28:04Z)
• C^2M-DoT: Cross-modal consistent multi-view medical report generation with domain transfer network [67.97926983664676]
  ドメイン転送ネットワーク(C2M-DoT)を用いたクロスモーダルなマルチビュー医療レポート生成を提案する。 C2M-DoTは、すべてのメトリクスで最先端のベースラインを大幅に上回る。
  論文  参考訳（メタデータ） (2023-10-09T02:31:36Z)
• A Transformer-based representation-learning model with unified processing of multimodal input for clinical diagnostics [63.106382317917344]
  本稿では,マルチモーダル入力を統一的に処理する臨床診断支援として,トランスフォーマーを用いた表現学習モデルについて報告する。 統一モデルは, 肺疾患の同定において, 画像のみのモデル, 非統一型マルチモーダル診断モデルより優れていた。
  論文  参考訳（メタデータ） (2023-06-01T16:23:47Z)
• Ambiguous Medical Image Segmentation using Diffusion Models [60.378180265885945]
  我々は,グループ洞察の分布を学習することで,複数の可算出力を生成する単一拡散モデルに基づくアプローチを提案する。 提案モデルでは,拡散の固有のサンプリングプロセスを利用してセグメンテーションマスクの分布を生成する。 その結果,提案手法は既存の最先端曖昧なセグメンテーションネットワークよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-04-10T17:58:22Z)
• Two heads are better than one: Enhancing medical representations by pre-training over structured and unstructured electronic health records [23.379185792773875]
  マルチモーダル EHR から代表的特徴を自動学習するために,UMM-PLM という,深層学習に基づく医用事前訓練言語モデルを提案する。 まず,各データソースから一助表現を別々に学習する一助情報表現モジュールを開発した。 異なるモジュラリティ間の相互作用をモデル化するために、クロスモーダルモジュールが導入された。
  論文  参考訳（メタデータ） (2022-01-25T06:14:49Z)
• Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-based Neural Networks [62.9447303059342]
  医療コミュニティにおけるこの問題の重要性を示す。 本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。 約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
  論文  参考訳（メタデータ） (2020-07-15T09:22:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。