論文の概要: Two heads are better than one: Enhancing medical representations by pre-training over structured and unstructured electronic health records

• arxiv url: http://arxiv.org/abs/2201.10113v1
• Date: Tue, 25 Jan 2022 06:14:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-27 05:17:53.540203
• Title: Two heads are better than one: Enhancing medical representations by pre-training over structured and unstructured electronic health records
• Title（参考訳）: 2つの頭は1つより優れている:構造化および非構造化電子健康記録の事前訓練による医療表現の強化
• Authors: Sicen Liu, Xiaolong Wang, Yongshuai Hou, Ge Li, Hui Wang, Hui Xu, Yang Xiang, Buzhou Tang
• Abstract要約: マルチモーダル EHR から代表的特徴を自動学習するために,UMM-PLM という,深層学習に基づく医用事前訓練言語モデルを提案する。 まず,各データソースから一助表現を別々に学習する一助情報表現モジュールを開発した。 異なるモジュラリティ間の相互作用をモデル化するために、クロスモーダルモジュールが導入された。
• 参考スコア（独自算出の注目度）: 23.379185792773875
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The massive context of electronic health records (EHRs) has created enormous potentials for improving healthcare, among which structured (coded) data and unstructured (text) data are two important textual modalities. They do not exist in isolation and can complement each other in most real-life clinical scenarios. Most existing researches in medical informatics, however, either only focus on a particular modality or straightforwardly concatenate the information from different modalities, which ignore the interaction and information sharing between them. To address these issues, we proposed a unified deep learning-based medical pre-trained language model, named UMM-PLM, to automatically learn representative features from multimodal EHRs that consist of both structured data and unstructured data. Specifically, we first developed parallel unimodal information representation modules to capture the unimodal-specific characteristic, where unimodal representations were learned from each data source separately. A cross-modal module was further introduced to model the interactions between different modalities. We pre-trained the model on a large EHRs dataset containing both structured data and unstructured data and verified the effectiveness of the model on three downstream clinical tasks, i.e., medication recommendation, 30-day readmission and ICD coding through extensive experiments. The results demonstrate the power of UMM-PLM compared with benchmark methods and state-of-the-art baselines. Analyses show that UMM-PLM can effectively concern with multimodal textual information and has the potential to provide more comprehensive interpretations for clinical decision making.
• Abstract（参考訳）: 電子健康記録(ehrs)の巨大な文脈は、構造化(コード)データと非構造化(テキスト)データが2つの重要なテキスト的モダリティである医療を改善するための大きな可能性を生み出した。 これらは単独では存在せず、実際の臨床シナリオで相互に補完することができる。 しかし、医療情報学における既存の研究のほとんどは、特定のモダリティのみに焦点を当てるか、異なるモダリティからの情報を直接結合し、それら間の相互作用や情報共有を無視している。 これらの課題に対処するため、構造化データと非構造化データの両方からなるマルチモーダルEHRから代表的特徴を自動学習するために、UMM-PLMという統合された深層学習に基づく医学事前学習言語モデルを提案した。 具体的には、まず、各データソースからユニモーダル表現を別々に学習するユニモーダル固有特性を捉えるために、並列ユニモーダル情報表現モジュールを開発した。 異なるモジュラリティ間の相互作用をモデル化するために、クロスモーダルモジュールが導入された。 我々は,構造化データと非構造化データの両方を含む大規模eersデータセット上でモデルを事前学習し,薬の推奨,30日間の読み出し,icd符号化という3つの下流臨床課題におけるモデルの有効性を広範な実験で検証した。 その結果、UMM-PLMのパワーは、ベンチマーク手法や最先端のベースラインと比較できる。 UMM-PLMは、多モーダルテキスト情報に対して効果的に関心を持ち、臨床意思決定のためのより包括的な解釈を提供する可能性がある。

関連論文リスト

• Representation Learning of Structured Data for Medical Foundation Models [29.10129199884847]
  我々はUniStructアーキテクチャを導入し、構造化されていないテキストと構造化データのマルチモーダル医療基盤モデルを設計する。 本手法は,広範囲な内部医療データベースと構造化医療記録の公開リポジトリのモデル事前学習を通じて検証される。
  論文  参考訳（メタデータ） (2024-10-17T09:02:28Z)
• MEDFuse: Multimodal EHR Data Fusion with Masked Lab-Test Modeling and Large Language Models [11.798375238713488]
  MEDFuseは構造化および非構造化の医療データを統合するフレームワークである。 10種類のマルチラベル分類タスクにおいて、90%以上のF1スコアを達成している。
  論文  参考訳（メタデータ） (2024-07-17T04:17:09Z)
• EMERGE: Integrating RAG for Improved Multimodal EHR Predictive Modeling [22.94521527609479]
  EMERGEは、マルチモーダルEHR予測モデリングの強化を目的とした、検索拡張生成駆動フレームワークである。 提案手法は,大規模言語モデルにより時系列データと臨床メモの両方からエンティティを抽出する。 抽出した知識は、患者の健康状態のタスク関連サマリーを生成するために使用される。
  論文  参考訳（メタデータ） (2024-05-27T10:53:15Z)
• Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
  本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。 特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。 また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
  論文  参考訳（メタデータ） (2024-04-27T05:03:42Z)
• Contrastive Learning on Multimodal Analysis of Electronic Health Records [15.392566551086782]
  本稿では,新しい特徴埋め込み生成モデルを提案し,マルチモーダルEHR特徴表現を得るためのマルチモーダルコントラスト損失を設計する。 本理論は, 単モーダル学習と比較して, 多モーダル学習の有効性を実証するものである。 この接続は、マルチモーダルEHR特徴表現学習に適したプライバシー保護アルゴリズムの道を開く。
  論文  参考訳（メタデータ） (2024-03-22T03:01:42Z)
• Multimodal Fusion of EHR in Structures and Semantics: Integrating Clinical Records and Notes with Hypergraph and LLM [39.25272553560425]
  本稿では,EHRにおける構造と意味を効果的に統合するMINGLEという新しいフレームワークを提案する。 本フレームワークでは,医療概念のセマンティクスと臨床ノートのセマンティクスをハイパーグラフニューラルネットワークに組み合わせるために,2段階の注入戦略を採用している。 2つのEHRデータセット(パブリックMIMIC-IIIとプライベートCRADLE)の実験結果から、MINGLEは予測性能を11.83%向上できることが示された。
  論文  参考訳（メタデータ） (2024-02-19T23:48:40Z)
• XAI for In-hospital Mortality Prediction via Multimodal ICU Data [57.73357047856416]
  マルチモーダルICUデータを用いて病院内死亡率を予測するための,効率的で説明可能なAIソリューションを提案する。 我々は,臨床データから異種入力を受信し,意思決定を行うマルチモーダル・ラーニングを我々のフレームワークに導入する。 我々の枠組みは、医療研究において重要な要素の発見を容易にする他の臨床課題に容易に移行することができる。
  論文  参考訳（メタデータ） (2023-12-29T14:28:04Z)
• Towards Generalist Foundation Model for Radiology by Leveraging Web-scale 2D&3D Medical Data [66.9359934608229]
  この研究はRadFMと呼ばれるRadlogy Foundation Modelの開発を開始することを目的としている。 われわれの知る限りでは、これは2Dスキャンと3Dスキャンによる、最初の大規模で高品質な医療用ビジュアル言語データセットである。 本稿では,モダリティ認識,疾患診断,視覚的質問応答,レポート生成,合理的診断の5つのタスクからなる新しい評価ベンチマークRadBenchを提案する。
  論文  参考訳（メタデータ） (2023-08-04T17:00:38Z)
• Competence-based Multimodal Curriculum Learning for Medical Report Generation [98.10763792453925]
  本稿では,コンピテンスベースのマルチモーダルカリキュラム学習フレームワーク(CMCL)を提案する。 具体的には、CMCLは放射線学者の学習過程をシミュレートし、段階的にモデルを最適化する。 パブリックIU-XrayとMIMIC-CXRデータセットの実験は、CMCLを既存のモデルに組み込んでパフォーマンスを向上させることができることを示している。
  論文  参考訳（メタデータ） (2022-06-24T08:16:01Z)
• MIMO: Mutual Integration of Patient Journey and Medical Ontology for Healthcare Representation Learning [49.57261599776167]
  本稿では、医療表現学習と予測分析のための、エンドツーエンドの堅牢なトランスフォーマーベースのソリューション、患者旅行の相互統合、医療オントロジー(MIMO)を提案する。
  論文  参考訳（メタデータ） (2021-07-20T07:04:52Z)
• Cross-Modal Information Maximization for Medical Imaging: CMIM [62.28852442561818]
  病院では、同じ情報を異なるモダリティの下で利用できるようにする特定の情報システムにデータがサイロ化される。 これは、テスト時に常に利用できないかもしれない同じ情報の複数のビューを列車で取得し、使用するためのユニークな機会を提供する。 テスト時にモダリティの低下に耐性を持つマルチモーダル入力の優れた表現を学習することで、利用可能なデータを最大限活用する革新的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-20T20:05:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。