論文の概要: Global Contrastive Training for Multimodal Electronic Health Records with Language Supervision

• arxiv url: http://arxiv.org/abs/2404.06723v1
• Date: Wed, 10 Apr 2024 04:19:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-11 15:29:37.827349
• Title: Global Contrastive Training for Multimodal Electronic Health Records with Language Supervision
• Title（参考訳）: 言語指導によるマルチモーダル電子健康記録のグローバルコントラストトレーニング
• Authors: Yingbo Ma, Suraj Kolla, Zhenhong Hu, Dhruv Kaliraman, Victoria Nolan, Ziyuan Guan, Yuanfang Ren, Brooke Armfield, Tezcan Ozrazgat-Baslanti, Jeremy A. Balch, Tyler J. Loftus, Parisa Rashidi, Azra Bihorac, Benjamin Shickel,
• Abstract要約: 本稿では,医療時系列と臨床ノートに着目した,新しいマルチモーダルコントラスト学習フレームワークを提案する。 このフレームワークは、時間的クロスアテンション変換器と動的埋め込みおよびトークン化スキームを統合し、マルチモーダルな特徴表現を学習する。 実世界のERHデータセットを用いて実験したところ, 術後合併症9例の発症予測において, 我々のフレームワークは最先端のアプローチよりも優れていた。
• 参考スコア（独自算出の注目度）: 1.6245786035158123
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern electronic health records (EHRs) hold immense promise in tracking personalized patient health trajectories through sequential deep learning, owing to their extensive breadth, scale, and temporal granularity. Nonetheless, how to effectively leverage multiple modalities from EHRs poses significant challenges, given its complex characteristics such as high dimensionality, multimodality, sparsity, varied recording frequencies, and temporal irregularities. To this end, this paper introduces a novel multimodal contrastive learning framework, specifically focusing on medical time series and clinical notes. To tackle the challenge of sparsity and irregular time intervals in medical time series, the framework integrates temporal cross-attention transformers with a dynamic embedding and tokenization scheme for learning multimodal feature representations. To harness the interconnected relationships between medical time series and clinical notes, the framework equips a global contrastive loss, aligning a patient's multimodal feature representations with the corresponding discharge summaries. Since discharge summaries uniquely pertain to individual patients and represent a holistic view of the patient's hospital stay, machine learning models are led to learn discriminative multimodal features via global contrasting. Extensive experiments with a real-world EHR dataset demonstrated that our framework outperformed state-of-the-art approaches on the exemplar task of predicting the occurrence of nine postoperative complications for more than 120,000 major inpatient surgeries using multimodal data from UF health system split among three hospitals (UF Health Gainesville, UF Health Jacksonville, and UF Health Jacksonville-North).
• Abstract（参考訳）: 現代の電子健康記録(EHRs)は、広範囲の広さ、規模、時間的粒度の故に、シーケンシャルな深層学習を通じてパーソナライズされた患者の健康トラジェクトリを追跡するという大きな可能性を秘めている。 にもかかわらず、高次元性、多モード性、空間性、様々な記録周波数、時間的不規則性といった複雑な特徴を考えると、EHRから複数のモードを効果的に活用する方法は大きな課題となる。 そこで本研究では,医療時系列と臨床ノートに着目した,新しいマルチモーダルコントラスト学習フレームワークを提案する。 医療時系列における空間的・不規則な時間間隔の課題に対処するため、このフレームワークは時間的相互注意変換器と動的埋め込みおよびトークン化スキームを統合し、マルチモーダルな特徴表現を学習する。 医療時系列と臨床ノートの相互関係を活用するために、このフレームワークは、患者のマルチモーダル特徴表現を対応する放電サマリーと整合させて、グローバルなコントラスト損失を計上する。 退院サマリーは個別の患者に特有であり、患者の入院状況の全体像を表すため、機械学習モデルはグローバルコントラストを通して差別的なマルチモーダル特徴を学習する。 UF Health Gainesville, UF Health Jacksonville, UF Health Jacksonville-North, UF Health Jacksonville-Northの3つの病院で、UF Health Systemのマルチモーダルデータを用いて、12万件以上の主要な入院患者の術後合併症の発生を予測した。

関連論文リスト

• Unlocking Multimodal Integration in EHRs: A Prompt Learning Framework for Language and Time Series Fusion [27.70300880284899]
  大規模言語モデル(LLM)は、視覚言語タスクにおいて顕著な性能を示してきたが、医療分野におけるそれらの応用はいまだ研究されていない。 ProMedTSは、データ型を統一するために、プロンプト誘導学習を利用する、新しい自己教師型マルチモーダルフレームワークである。 実世界のデータセットを用いた診断タスクにおけるProMedTSの評価を行い,本手法が常に最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2025-02-19T07:56:48Z)
• MedGNN: Towards Multi-resolution Spatiotemporal Graph Learning for Medical Time Series Classification [9.290150386783838]
  医用時系列分類のための多分解能グラフ学習フレームワークMedGNNを提案する。 まず、動的なマルチスケール埋め込みを学習するために、多分解能適応グラフ構造を構築することを提案する。 次に、時間的モデリングのための有限差分上で自己注意機構を操作するための差分注意ネットワークを提案する。
  論文  参考訳（メタデータ） (2025-02-06T21:34:54Z)
• Continually Evolved Multimodal Foundation Models for Cancer Prognosis [50.43145292874533]
  がん予後は、患者の予後と生存率を予測する重要なタスクである。 これまでの研究では、臨床ノート、医療画像、ゲノムデータなどの多様なデータモダリティを統合し、補完的な情報を活用している。 既存のアプローチには2つの大きな制限がある。まず、各病院の患者記録など、各種のトレーニングに新しく到着したデータを組み込むことに苦慮する。 第二に、ほとんどのマルチモーダル統合手法は単純化された結合やタスク固有のパイプラインに依存しており、モダリティ間の複雑な相互依存を捉えることができない。
  論文  参考訳（メタデータ） (2025-01-30T06:49:57Z)
• HC-LLM: Historical-Constrained Large Language Models for Radiology Report Generation [89.3260120072177]
  本稿では,放射線学レポート生成のための歴史制約付き大規模言語モデル (HC-LLM) フレームワークを提案する。 胸部X線写真から経時的特徴と経時的特徴を抽出し,疾患の進行を捉える診断報告を行った。 特に,本手法は,テスト中の履歴データなしでも良好に動作し,他のマルチモーダル大規模モデルにも容易に適用可能である。
  論文  参考訳（メタデータ） (2024-12-15T06:04:16Z)
• CTPD: Cross-Modal Temporal Pattern Discovery for Enhanced Multimodal Electronic Health Records Analysis [46.56667527672019]
  マルチモーダルEHRデータから有意な時間的パターンを効率的に抽出するために,CTPD(Cross-Modal Temporal Pattern Discovery)フレームワークを導入する。 提案手法では,時間的セマンティックな埋め込みを生成するためにスロットアテンションを用いて改良された時間的パターン表現を提案する。
  論文  参考訳（メタデータ） (2024-11-01T15:54:07Z)
• PMT: Progressive Mean Teacher via Exploring Temporal Consistency for Semi-Supervised Medical Image Segmentation [51.509573838103854]
  医用画像セグメンテーションのための半教師付き学習フレームワークであるプログレッシブ平均教師(PMT)を提案する。 我々のPMTは、トレーニングプロセスにおいて、堅牢で多様な特徴を学習することで、高忠実な擬似ラベルを生成する。 CT と MRI の異なる2つのデータセットに対する実験結果から,本手法が最先端の医用画像分割法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-08T15:02:25Z)
• MedTsLLM: Leveraging LLMs for Multimodal Medical Time Series Analysis [6.30440420617113]
  MedTsLLMは、時系列データとリッチな文脈情報をテキスト形式で統合し、生理的信号を解析する汎用多モーダル大規模言語モデル(LLM)フレームワークである。 本研究は,連続時間における意味的セグメンテーション,境界検出,異常検出という,臨床的関連性のある3つのタスクを実行する。 我々のモデルは、深層学習モデル、他のLSM、および複数の医療領域における臨床方法など、最先端のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2024-08-14T18:57:05Z)
• Unlocking the Power of Spatial and Temporal Information in Medical Multimodal Pre-training [99.2891802841936]
  我々は,空間的・時間的微粒なモデリングのためのMed-STフレームワークを提案する。 空間モデリングでは、Med-STはMixture of View Expert (MoVE)アーキテクチャを使用して、正面と横の両方のビューから異なる視覚的特徴を統合する。 時間的モデリングのために,フォワードマッピング分類 (FMC) とリバースマッピング回帰 (RMR) による新たな双方向サイクル整合性目標を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:15:09Z)
• Temporal Cross-Attention for Dynamic Embedding and Tokenization of Multimodal Electronic Health Records [1.6609516435725236]
  マルチモーダルな臨床時系列を正確に表現するための動的埋め込み・トークン化フレームワークを提案する。 術後合併症9例の発症予測に基礎的アプローチを応用した。
  論文  参考訳（メタデータ） (2024-03-06T19:46:44Z)
• Improving Medical Predictions by Irregular Multimodal Electronic Health Records Modeling [19.346610191591143]
  集中治療室(ICU)患者の健康状態は電子健康記録(EHR)によって監視される 単一モードごとに不規則に対処し、医療予測を改善するためにマルチモーダル表現に統合することは難しい問題である。 本手法はまず,手作りのインプット埋め込みをゲーティング機構を用いて学習した埋め込みに動的に組み込むことにより,各モードの不規則性に対処する。 我々は, 時系列, 臨床ノート, マルチモーダル融合におけるF1の6.5%, 3.6%, 4.3%の相対的な改善を観察した。
  論文  参考訳（メタデータ） (2022-10-18T20:29:26Z)
• Cross-Modal Information Maximization for Medical Imaging: CMIM [62.28852442561818]
  病院では、同じ情報を異なるモダリティの下で利用できるようにする特定の情報システムにデータがサイロ化される。 これは、テスト時に常に利用できないかもしれない同じ情報の複数のビューを列車で取得し、使用するためのユニークな機会を提供する。 テスト時にモダリティの低下に耐性を持つマルチモーダル入力の優れた表現を学習することで、利用可能なデータを最大限活用する革新的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-20T20:05:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。