Fugu-MT 論文翻訳(概要): Graph-Text Multi-Modal Pre-training for Medical Representation Learning

論文の概要: Graph-Text Multi-Modal Pre-training for Medical Representation Learning

arxiv url: http://arxiv.org/abs/2203.09994v1
Date: Fri, 18 Mar 2022 14:45:42 GMT
ステータス: 処理完了
システム内更新日: 2022-03-21 13:52:36.876433
Title: Graph-Text Multi-Modal Pre-training for Medical Representation Learning
Title（参考訳）: 医用表現学習のためのグラフテキスト多モード事前学習
Authors: Sungjin Park, Seongsu Bae, Jiho Kim, Tackeun Kim, Edward Choi
Abstract要約: 本稿では,構造化EHRデータとテキストEHRデータのマルチモーダル表現学習のための事前学習モデルであるMedGTXを提案する。我々は,オープンソースのEHRデータであるMIMIC-III上での4つのプロキシタスクを通じて,モデルを事前訓練する。その結果, EHR から得られた構造化情報と非構造化情報の両方の結合表現のための事前学習の有効性が一貫して示された。
参考スコア（独自算出の注目度）: 7.403725826586844
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: As the volume of Electronic Health Records (EHR) sharply grows, there has been emerging interest in learning the representation of EHR for healthcare applications. Representation learning of EHR requires appropriate modeling of the two dominant modalities in EHR: structured data and unstructured text. In this paper, we present MedGTX, a pre-trained model for multi-modal representation learning of the structured and textual EHR data. MedGTX uses a novel graph encoder to exploit the graphical nature of structured EHR data, and a text encoder to handle unstructured text, and a cross-modal encoder to learn a joint representation space. We pre-train our model through four proxy tasks on MIMIC-III, an open-source EHR data, and evaluate our model on two clinical benchmarks and three novel downstream tasks which tackle real-world problems in EHR data. The results consistently show the effectiveness of pre-training the model for joint representation of both structured and unstructured information from EHR. Given the promising performance of MedGTX, we believe this work opens a new door to jointly understanding the two fundamental modalities of EHR data.
Abstract（参考訳）: エレクトロニック・ヘルス・レコーズ(EHR)のボリュームが急上昇するにつれて、医療応用のためのEHRの表現を学ぶことへの関心が高まっている。 EHRの表現学習には、構造化データと非構造化テキストの2つの支配的モダリティを適切にモデル化する必要がある。本稿では,構造化およびテキストEHRデータのマルチモーダル表現学習のための事前学習モデルであるMedGTXを提案する。 MedGTXは、構造化EHRデータのグラフィカルな性質を利用する新しいグラフエンコーダと、構造化されていないテキストを扱うテキストエンコーダと、共同表現空間を学ぶためのクロスモーダルエンコーダを使用する。我々は,オープンソースのEMHデータであるMIMIC-III上での4つのプロキシタスクを通じてモデルを事前訓練し,EHRデータの現実的な問題に対処する2つの臨床ベンチマークと3つの下流タスクでモデルを評価する。その結果,ehlからの構造化情報と非構造化情報の共用表現におけるモデル事前学習の有効性が示唆された。 MedGTXの有望な性能を考えると、この研究はEHRデータの2つの基本的なモダリティを共同で理解するための新たな扉を開くと信じている。

関連論文リスト

Multi-task Heterogeneous Graph Learning on Electronic Health Records [22.218522445858344]
EHRモデリングのための新しいフレームワーク MulT-EHR (Multi-Task EHR) を提案する。そこで本研究では,因果推論フレームワークをベースとしたデノナイジングモジュールを導入し,重度のコンバウンディング効果の調整を行う。マルチタスク学習モジュールを設計し、タスク間知識を活用してトレーニングプロセスの正規化を行う。
論文参考訳（メタデータ） (2024-08-14T14:06:13Z)
Synthesizing Multimodal Electronic Health Records via Predictive Diffusion Models [69.06149482021071]
EHRPDと呼ばれる新しいEHRデータ生成モデルを提案する。時間間隔推定を組み込んだ拡散モデルである。我々は2つの公開データセットで実験を行い、忠実さ、プライバシー、実用性の観点からEPHPDを評価する。
論文参考訳（メタデータ） (2024-06-20T02:20:23Z)
Multimodal Fusion of EHR in Structures and Semantics: Integrating Clinical Records and Notes with Hypergraph and LLM [39.25272553560425]
本稿では,EHRにおける構造と意味を効果的に統合するMINGLEという新しいフレームワークを提案する。本フレームワークでは,医療概念のセマンティクスと臨床ノートのセマンティクスをハイパーグラフニューラルネットワークに組み合わせるために,2段階の注入戦略を採用している。 2つのEHRデータセット(パブリックMIMIC-IIIとプライベートCRADLE)の実験結果から、MINGLEは予測性能を11.83%向上できることが示された。
論文参考訳（メタデータ） (2024-02-19T23:48:40Z)
Automated Fusion of Multimodal Electronic Health Records for Better Medical Predictions [48.0590120095748]
本稿では,多様な入力モダリティと融合戦略を符号化する最適なモデルアーキテクチャを自動検索する,AutoFMという新しいニューラルネットワーク探索フレームワークを提案する。我々は実世界のマルチモーダルEHRデータと予測タスクについて徹底的な実験を行い、その結果、我々のフレームワークが既存の最先端手法よりも大幅な性能向上を実現していることを示す。
論文参考訳（メタデータ） (2024-01-20T15:14:14Z)
Knowledge Graph Embedding with Electronic Health Records Data via Latent Graphical Block Model [13.398292423857756]
潜在的グラフィカルブロックモデル (LGBM) を用いて, EHR特徴量間の条件依存構造を推定する。提案した推定器の統計率を確立し,ブロック構造の完全回復を示す。
論文参考訳（メタデータ） (2023-05-31T16:18:46Z)
Information Screening whilst Exploiting! Multimodal Relation Extraction with Feature Denoising and Multimodal Topic Modeling [96.75821232222201]
既存のマルチモーダル関係抽出(MRE)研究は、内部情報過剰利用と外部情報過多という2つの共存課題に直面している。内部情報スクリーニングと外部情報活用を同時に実現する新しいフレームワークを提案する。
論文参考訳（メタデータ） (2023-05-19T14:56:57Z)
Unsupervised Pre-Training on Patient Population Graphs for Patient-Level Predictions [48.02011627390706]
プレトレーニングは、コンピュータビジョン(CV)、自然言語処理(NLP)、医療画像など、機械学習のさまざまな分野で成功している。本稿では,患者結果の予測のために,教師なし事前学習を異種マルチモーダルEHRデータに適用する。提案手法は,人口レベルでのデータモデリングに有効であることがわかった。
論文参考訳（メタデータ） (2022-03-23T17:59:45Z)
Graph Pre-training for AMR Parsing and Generation [14.228434699363495]
AMRグラフ上でのPLMの構造認識を改善するために,グラフ自己教師訓練について検討する。本稿では,グラフ間事前学習のための2つのグラフ自動符号化戦略と,事前学習中にテキストとグラフ情報を統合するための4つのタスクを紹介する。
論文参考訳（メタデータ） (2022-03-15T12:47:00Z)
Two heads are better than one: Enhancing medical representations by pre-training over structured and unstructured electronic health records [23.379185792773875]
マルチモーダル EHR から代表的特徴を自動学習するために,UMM-PLM という,深層学習に基づく医用事前訓練言語モデルを提案する。まず,各データソースから一助表現を別々に学習する一助情報表現モジュールを開発した。異なるモジュラリティ間の相互作用をモデル化するために、クロスモーダルモジュールが導入された。
論文参考訳（メタデータ） (2022-01-25T06:14:49Z)
MIMO: Mutual Integration of Patient Journey and Medical Ontology for Healthcare Representation Learning [49.57261599776167]
本稿では、医療表現学習と予測分析のための、エンドツーエンドの堅牢なトランスフォーマーベースのソリューション、患者旅行の相互統合、医療オントロジー(MIMO)を提案する。
論文参考訳（メタデータ） (2021-07-20T07:04:52Z)
GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
論文参考訳（メタデータ） (2021-05-06T12:20:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。