論文の概要: Multimodal Fusion of EHR in Structures and Semantics: Integrating Clinical Records and Notes with Hypergraph and LLM
- arxiv url: http://arxiv.org/abs/2403.08818v1
- Date: Mon, 19 Feb 2024 23:48:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-25 08:16:13.529210
- Title: Multimodal Fusion of EHR in Structures and Semantics: Integrating Clinical Records and Notes with Hypergraph and LLM
- Title（参考訳）: 構造とセマンティックスにおけるEHRのマルチモーダル融合 : 臨床記録とノートとハイパーグラフとLCMの統合
- Authors: Hejie Cui, Xinyu Fang, Ran Xu, Xuan Kan, Joyce C. Ho, Carl Yang,
- Abstract要約: 本稿では,EHRにおける構造と意味を効果的に統合するMINGLEという新しいフレームワークを提案する。
本フレームワークでは,医療概念のセマンティクスと臨床ノートのセマンティクスをハイパーグラフニューラルネットワークに組み合わせるために,2段階の注入戦略を採用している。
2つのEHRデータセット(パブリックMIMIC-IIIとプライベートCRADLE)の実験結果から、MINGLEは予測性能を11.83%向上できることが示された。
- 参考スコア（独自算出の注目度）: 39.25272553560425
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Electronic Health Records (EHRs) have become increasingly popular to support clinical decision-making and healthcare in recent decades. EHRs usually contain heterogeneous information, such as structural data in tabular form and unstructured data in textual notes. Different types of information in EHRs can complement each other and provide a more complete picture of the health status of a patient. While there has been a lot of research on representation learning of structured EHR data, the fusion of different types of EHR data (multimodal fusion) is not well studied. This is mostly because of the complex medical coding systems used and the noise and redundancy present in the written notes. In this work, we propose a new framework called MINGLE, which integrates both structures and semantics in EHR effectively. Our framework uses a two-level infusion strategy to combine medical concept semantics and clinical note semantics into hypergraph neural networks, which learn the complex interactions between different types of data to generate visit representations for downstream prediction. Experiment results on two EHR datasets, the public MIMIC-III and private CRADLE, show that MINGLE can effectively improve predictive performance by 11.83% relatively, enhancing semantic integration as well as multimodal fusion for structural and textual EHR data.
- Abstract（参考訳）: 電子健康記録(Electronic Health Records, EHRs)は、近年、臨床意思決定と医療をサポートするために人気が高まっている。
EHRは通常、表形式の構造データやテキストノートの非構造データのような異種情報を含む。
EHRの異なる種類の情報は互いに補完し合い、患者の健康状態をより完全な画像を提供する。
構造化EHRデータの表現学習には多くの研究がなされているが、異なるタイプのEHRデータの融合(マルチモーダルフュージョン)は十分に研究されていない。
これは主に、使用する複雑な医療用コーディングシステムと、メモに記載されているノイズと冗長性のためである。
本研究では,EHRにおける構造と意味を効果的に統合するMINGLEという新しいフレームワークを提案する。
我々のフレームワークは,医療概念のセマンティクスと臨床ノートのセマンティクスを組み合わせた2段階のインフュージョン戦略を用いて,異なるタイプのデータ間の複雑な相互作用を学習し,下流予測のための訪問表現を生成する。
2つのEHRデータセット(パブリックMIMIC-IIIとプライベートCRADLE)の実験結果から、MINGLEは、構造的およびテキスト的EHRデータに対するマルチモーダル融合と同様に、セマンティック統合を強化し、予測性能を11.83%向上させることができることが示された。
関連論文リスト
- Unlocking the Power of Spatial and Temporal Information in Medical Multimodal Pre-training [99.2891802841936]
我々は,空間的・時間的微粒なモデリングのためのMed-STフレームワークを提案する。
空間モデリングでは、Med-STはMixture of View Expert (MoVE)アーキテクチャを使用して、正面と横の両方のビューから異なる視覚的特徴を統合する。
時間的モデリングのために,フォワードマッピング分類 (FMC) とリバースマッピング回帰 (RMR) による新たな双方向サイクル整合性目標を提案する。
論文 参考訳（メタデータ） (2024-05-30T03:15:09Z) - EMERGE: Integrating RAG for Improved Multimodal EHR Predictive Modeling [22.94521527609479]
EMERGEは、マルチモーダルEHR予測モデリングの強化を目的とした、検索拡張生成駆動フレームワークである。
提案手法は,大規模言語モデルにより時系列データと臨床メモの両方からエンティティを抽出する。
抽出した知識は、患者の健康状態のタスク関連サマリーを生成するために使用される。
論文 参考訳（メタデータ） (2024-05-27T10:53:15Z) - HyperFusion: A Hypernetwork Approach to Multimodal Integration of Tabular and Medical Imaging Data for Predictive Modeling [4.44283662576491]
EHRの値と測定値に画像処理を条件付け,臨床画像と表層データを融合させるハイパーネットワークに基づく新しいフレームワークを提案する。
我々は, 単一モダリティモデルと最先端MRI-タブラルデータ融合法の両方に優れることを示す。
論文 参考訳（メタデータ） (2024-03-20T05:50:04Z) - Next Visit Diagnosis Prediction via Medical Code-Centric Multimodal Contrastive EHR Modelling with Hierarchical Regularisation [0.0]
NECHOは,階層的正規化を伴う新しい医用コード中心のマルチモーダル・コントラスト学習フレームワークである。
まず, 医用コード, 人口統計, 臨床ノートを含む多面的情報をネットワーク設計を用いて統合する。
また,EHRデータの階層構造を学習するために,医療オントロジーにおける親レベル情報を用いてモダリティ固有のエンコーダを正規化する。
論文 参考訳（メタデータ） (2024-01-22T01:58:32Z) - Radiology Report Generation Using Transformers Conditioned with
Non-imaging Data [55.17268696112258]
本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。
提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
論文 参考訳（メタデータ） (2023-11-18T14:52:26Z) - Graph-Text Multi-Modal Pre-training for Medical Representation Learning [7.403725826586844]
本稿では,構造化EHRデータとテキストEHRデータのマルチモーダル表現学習のための事前学習モデルであるMedGTXを提案する。
我々は,オープンソースのEHRデータであるMIMIC-III上での4つのプロキシタスクを通じて,モデルを事前訓練する。
その結果, EHR から得られた構造化情報と非構造化情報の両方の結合表現のための事前学習の有効性が一貫して示された。
論文 参考訳（メタデータ） (2022-03-18T14:45:42Z) - Two heads are better than one: Enhancing medical representations by
pre-training over structured and unstructured electronic health records [23.379185792773875]
マルチモーダル EHR から代表的特徴を自動学習するために,UMM-PLM という,深層学習に基づく医用事前訓練言語モデルを提案する。
まず,各データソースから一助表現を別々に学習する一助情報表現モジュールを開発した。
異なるモジュラリティ間の相互作用をモデル化するために、クロスモーダルモジュールが導入された。
論文 参考訳（メタデータ） (2022-01-25T06:14:49Z) - MIMO: Mutual Integration of Patient Journey and Medical Ontology for
Healthcare Representation Learning [49.57261599776167]
本稿では、医療表現学習と予測分析のための、エンドツーエンドの堅牢なトランスフォーマーベースのソリューション、患者旅行の相互統合、医療オントロジー(MIMO)を提案する。
論文 参考訳（メタデータ） (2021-07-20T07:04:52Z) - BiteNet: Bidirectional Temporal Encoder Network to Predict Medical
Outcomes [53.163089893876645]
本稿では,患者の医療旅行におけるコンテキスト依存と時間的関係を捉える,新たな自己注意機構を提案する。
エンド・ツー・エンドの双方向時間エンコーダネットワーク(BiteNet)が患者の旅路の表現を学習する。
実世界のEHRデータセットを用いた2つの教師付き予測と2つの教師なしクラスタリングタスクにおける手法の有効性を評価した。
論文 参考訳（メタデータ） (2020-09-24T00:42:36Z) - Learning Contextualized Document Representations for Healthcare Answer
Retrieval [68.02029435111193]
コンテキスト談話ベクトル(英: Contextual Discourse Vectors、CDV)は、長文からの効率的な回答検索のための分散文書表現である。
本モデルでは,階層型LSTMレイヤとマルチタスクトレーニングを併用したデュアルエンコーダアーキテクチャを用いて,臨床エンティティの位置と文書の談話に沿った側面をエンコードする。
我々の一般化モデルは、医療パスランキングにおいて、最先端のベースラインを著しく上回っていることを示す。
論文 参考訳（メタデータ） (2020-02-03T15:47:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。