論文の概要: Two heads are better than one: Enhancing medical representations by
pre-training over structured and unstructured electronic health records
- arxiv url: http://arxiv.org/abs/2201.10113v1
- Date: Tue, 25 Jan 2022 06:14:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-27 05:17:53.540203
- Title: Two heads are better than one: Enhancing medical representations by
pre-training over structured and unstructured electronic health records
- Title(参考訳): 2つの頭は1つより優れている:構造化および非構造化電子健康記録の事前訓練による医療表現の強化
- Authors: Sicen Liu, Xiaolong Wang, Yongshuai Hou, Ge Li, Hui Wang, Hui Xu, Yang
Xiang, Buzhou Tang
- Abstract要約: マルチモーダル EHR から代表的特徴を自動学習するために,UMM-PLM という,深層学習に基づく医用事前訓練言語モデルを提案する。
まず,各データソースから一助表現を別々に学習する一助情報表現モジュールを開発した。
異なるモジュラリティ間の相互作用をモデル化するために、クロスモーダルモジュールが導入された。
- 参考スコア(独自算出の注目度): 23.379185792773875
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The massive context of electronic health records (EHRs) has created enormous
potentials for improving healthcare, among which structured (coded) data and
unstructured (text) data are two important textual modalities. They do not
exist in isolation and can complement each other in most real-life clinical
scenarios. Most existing researches in medical informatics, however, either
only focus on a particular modality or straightforwardly concatenate the
information from different modalities, which ignore the interaction and
information sharing between them. To address these issues, we proposed a
unified deep learning-based medical pre-trained language model, named UMM-PLM,
to automatically learn representative features from multimodal EHRs that
consist of both structured data and unstructured data. Specifically, we first
developed parallel unimodal information representation modules to capture the
unimodal-specific characteristic, where unimodal representations were learned
from each data source separately. A cross-modal module was further introduced
to model the interactions between different modalities. We pre-trained the
model on a large EHRs dataset containing both structured data and unstructured
data and verified the effectiveness of the model on three downstream clinical
tasks, i.e., medication recommendation, 30-day readmission and ICD coding
through extensive experiments. The results demonstrate the power of UMM-PLM
compared with benchmark methods and state-of-the-art baselines. Analyses show
that UMM-PLM can effectively concern with multimodal textual information and
has the potential to provide more comprehensive interpretations for clinical
decision making.
- Abstract(参考訳): 電子健康記録(ehrs)の巨大な文脈は、構造化(コード)データと非構造化(テキスト)データが2つの重要なテキスト的モダリティである医療を改善するための大きな可能性を生み出した。
これらは単独では存在せず、実際の臨床シナリオで相互に補完することができる。
しかし、医療情報学における既存の研究のほとんどは、特定のモダリティのみに焦点を当てるか、異なるモダリティからの情報を直接結合し、それら間の相互作用や情報共有を無視している。
これらの課題に対処するため、構造化データと非構造化データの両方からなるマルチモーダルEHRから代表的特徴を自動学習するために、UMM-PLMという統合された深層学習に基づく医学事前学習言語モデルを提案した。
具体的には、まず、各データソースからユニモーダル表現を別々に学習するユニモーダル固有特性を捉えるために、並列ユニモーダル情報表現モジュールを開発した。
異なるモジュラリティ間の相互作用をモデル化するために、クロスモーダルモジュールが導入された。
我々は,構造化データと非構造化データの両方を含む大規模eersデータセット上でモデルを事前学習し,薬の推奨,30日間の読み出し,icd符号化という3つの下流臨床課題におけるモデルの有効性を広範な実験で検証した。
その結果、UMM-PLMのパワーは、ベンチマーク手法や最先端のベースラインと比較できる。
UMM-PLMは、多モーダルテキスト情報に対して効果的に関心を持ち、臨床意思決定のためのより包括的な解釈を提供する可能性がある。
関連論文リスト
- REALM: RAG-Driven Enhancement of Multimodal Electronic Health Records
Analysis via Large Language Models [19.62552013839689]
既存のモデルは、しばしば臨床上の課題に医学的文脈を欠いているため、外部知識の組み入れが促される。
本稿では、マルチモーダルEHR表現を強化するためのRAG(Retrieval-Augmented Generation)駆動フレームワークREALMを提案する。
MIMIC-III 死亡率と可読化タスクに関する実験は,ベースラインよりもREALM フレームワークの優れた性能を示す。
論文 参考訳(メタデータ) (2024-02-10T18:27:28Z) - Next Visit Diagnosis Prediction via Medical Code-Centric Multimodal
Contrastive EHR Modelling with Hierarchical Regularisation [0.0]
NECHOは,階層的正規化を伴う新しい医用コード中心のマルチモーダル・コントラスト学習フレームワークである。
まず, 医用コード, 人口統計, 臨床ノートを含む多面的情報をネットワーク設計を用いて統合する。
また,EHRデータの階層構造を学習するために,医療オントロジーにおける親レベル情報を用いてモダリティ固有のエンコーダを正規化する。
論文 参考訳(メタデータ) (2024-01-22T01:58:32Z) - XAI for In-hospital Mortality Prediction via Multimodal ICU Data [57.73357047856416]
マルチモーダルICUデータを用いて病院内死亡率を予測するための,効率的で説明可能なAIソリューションを提案する。
我々は,臨床データから異種入力を受信し,意思決定を行うマルチモーダル・ラーニングを我々のフレームワークに導入する。
我々の枠組みは、医療研究において重要な要素の発見を容易にする他の臨床課題に容易に移行することができる。
論文 参考訳(メタデータ) (2023-12-29T14:28:04Z) - HEALNet -- Hybrid Multi-Modal Fusion for Heterogeneous Biomedical Data [12.109041184519281]
本稿では, フレキシブルなマルチモーダル融合アーキテクチャであるHybrid Early-fusion Attention Learning Network (HEALNet)を提案する。
The Cancer Genome Atlas (TCGA) の4つの癌コホートにおける全スライド画像と多モードデータの多モード生存解析を行った。
HEALNetは最先端のパフォーマンスを実現し、ユニモーダルベースラインと最近のマルチモーダルベースラインの両方を大幅に改善した。
論文 参考訳(メタデータ) (2023-11-15T17:06:26Z) - C^2M-DoT: Cross-modal consistent multi-view medical report generation
with domain transfer network [67.97926983664676]
ドメイン転送ネットワーク(C2M-DoT)を用いたクロスモーダルなマルチビュー医療レポート生成を提案する。
C2M-DoTは、すべてのメトリクスで最先端のベースラインを大幅に上回る。
論文 参考訳(メタデータ) (2023-10-09T02:31:36Z) - Towards Generalist Foundation Model for Radiology by Leveraging
Web-scale 2D&3D Medical Data [66.9359934608229]
この研究はRadFMと呼ばれるRadlogy Foundation Modelの開発を開始することを目的としている。
われわれの知る限りでは、これは2Dスキャンと3Dスキャンによる、最初の大規模で高品質な医療用ビジュアル言語データセットである。
本稿では,モダリティ認識,疾患診断,視覚的質問応答,レポート生成,合理的診断の5つのタスクからなる新しい評価ベンチマークRadBenchを提案する。
論文 参考訳(メタデータ) (2023-08-04T17:00:38Z) - Competence-based Multimodal Curriculum Learning for Medical Report
Generation [98.10763792453925]
本稿では,コンピテンスベースのマルチモーダルカリキュラム学習フレームワーク(CMCL)を提案する。
具体的には、CMCLは放射線学者の学習過程をシミュレートし、段階的にモデルを最適化する。
パブリックIU-XrayとMIMIC-CXRデータセットの実験は、CMCLを既存のモデルに組み込んでパフォーマンスを向上させることができることを示している。
論文 参考訳(メタデータ) (2022-06-24T08:16:01Z) - Graph-Text Multi-Modal Pre-training for Medical Representation Learning [7.403725826586844]
本稿では,構造化EHRデータとテキストEHRデータのマルチモーダル表現学習のための事前学習モデルであるMedGTXを提案する。
我々は,オープンソースのEHRデータであるMIMIC-III上での4つのプロキシタスクを通じて,モデルを事前訓練する。
その結果, EHR から得られた構造化情報と非構造化情報の両方の結合表現のための事前学習の有効性が一貫して示された。
論文 参考訳(メタデータ) (2022-03-18T14:45:42Z) - MMLN: Leveraging Domain Knowledge for Multimodal Diagnosis [10.133715767542386]
肺疾患診断のための知識駆動型およびデータ駆動型フレームワークを提案する。
本研究は, 臨床医学ガイドラインに従って診断規則を定式化し, テキストデータから規則の重みを学習する。
テキストと画像データからなるマルチモーダル融合は、肺疾患の限界確率を推定するために設計されている。
論文 参考訳(メタデータ) (2022-02-09T04:12:30Z) - MIMO: Mutual Integration of Patient Journey and Medical Ontology for
Healthcare Representation Learning [49.57261599776167]
本稿では、医療表現学習と予測分析のための、エンドツーエンドの堅牢なトランスフォーマーベースのソリューション、患者旅行の相互統合、医療オントロジー(MIMO)を提案する。
論文 参考訳(メタデータ) (2021-07-20T07:04:52Z) - Cross-Modal Information Maximization for Medical Imaging: CMIM [62.28852442561818]
病院では、同じ情報を異なるモダリティの下で利用できるようにする特定の情報システムにデータがサイロ化される。
これは、テスト時に常に利用できないかもしれない同じ情報の複数のビューを列車で取得し、使用するためのユニークな機会を提供する。
テスト時にモダリティの低下に耐性を持つマルチモーダル入力の優れた表現を学習することで、利用可能なデータを最大限活用する革新的なフレームワークを提案する。
論文 参考訳(メタデータ) (2020-10-20T20:05:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。