論文の概要: Unlocking Multimodal Integration in EHRs: A Prompt Learning Framework for Language and Time Series Fusion

• arxiv url: http://arxiv.org/abs/2502.13509v1
• Date: Wed, 19 Feb 2025 07:56:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 14:02:09.806009
• Title: Unlocking Multimodal Integration in EHRs: A Prompt Learning Framework for Language and Time Series Fusion
• Title（参考訳）: EHRにおけるマルチモーダル統合のアンロック:言語と時系列融合のためのプロンプト学習フレームワーク
• Authors: Shuai Niu, Jing Ma, Hongzhan Lin, Liang Bai, Zhihua Wang, Wei Bi, Yida Xu, Guo Li, Xian Yang,
• Abstract要約: 大規模言語モデル(LLM)は、視覚言語タスクにおいて顕著な性能を示してきたが、医療分野におけるそれらの応用はいまだ研究されていない。 ProMedTSは、データ型を統一するために、プロンプト誘導学習を利用する、新しい自己教師型マルチモーダルフレームワークである。 実世界のデータセットを用いた診断タスクにおけるProMedTSの評価を行い,本手法が常に最先端の手法より優れていることを示す。
• 参考スコア（独自算出の注目度）: 27.70300880284899
• License:
• Abstract: Large language models (LLMs) have shown remarkable performance in vision-language tasks, but their application in the medical field remains underexplored, particularly for integrating structured time series data with unstructured clinical notes. In clinical practice, dynamic time series data such as lab test results capture critical temporal patterns, while clinical notes provide rich semantic context. Merging these modalities is challenging due to the inherent differences between continuous signals and discrete text. To bridge this gap, we introduce ProMedTS, a novel self-supervised multimodal framework that employs prompt-guided learning to unify these heterogeneous data types. Our approach leverages lightweight anomaly detection to generate anomaly captions that serve as prompts, guiding the encoding of raw time series data into informative embeddings. These embeddings are aligned with textual representations in a shared latent space, preserving fine-grained temporal nuances alongside semantic insights. Furthermore, our framework incorporates tailored self-supervised objectives to enhance both intra- and inter-modal alignment. We evaluate ProMedTS on disease diagnosis tasks using real-world datasets, and the results demonstrate that our method consistently outperforms state-of-the-art approaches.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、視覚言語タスクにおいて顕著な性能を示したが、医療分野におけるそれらの応用は、特に構造化時系列データと非構造化臨床ノートの統合において、未検討のままである。 臨床実践では、実験結果などの動的時系列データが重要な時間的パターンを捉え、臨床ノートは豊かな意味的文脈を提供する。 連続的な信号と離散的なテキストの間に固有の違いがあるため、これらのモダリティをマージすることは困難である。 このギャップを埋めるために、我々はProMedTSという新しい自己教師型マルチモーダルフレームワークを紹介した。 提案手法は, 軽量な異常検出を利用して, プロンプトとして機能する異常キャプションを生成し, 生時系列データのエンコーディングを情報埋め込みに導く。 これらの埋め込みは、共有潜在空間におけるテキスト表現と整列し、意味的な洞察とともに微細な時間的ニュアンスを保存する。 さらに,本フレームワークは,モーダル内アライメントとモーダル間アライメントを両立させるために,自己教師対象の調整を取り入れている。 実世界のデータセットを用いた診断タスクにおけるProMedTSの評価を行い,本手法が常に最先端の手法より優れていることを示す。

関連論文リスト

• HC-LLM: Historical-Constrained Large Language Models for Radiology Report Generation [89.3260120072177]
  本稿では,放射線学レポート生成のための歴史制約付き大規模言語モデル (HC-LLM) フレームワークを提案する。 胸部X線写真から経時的特徴と経時的特徴を抽出し,疾患の進行を捉える診断報告を行った。 特に,本手法は,テスト中の履歴データなしでも良好に動作し,他のマルチモーダル大規模モデルにも容易に適用可能である。
  論文  参考訳（メタデータ） (2024-12-15T06:04:16Z)
• MedTsLLM: Leveraging LLMs for Multimodal Medical Time Series Analysis [6.30440420617113]
  MedTsLLMは、時系列データとリッチな文脈情報をテキスト形式で統合し、生理的信号を解析する汎用多モーダル大規模言語モデル(LLM)フレームワークである。 本研究は,連続時間における意味的セグメンテーション,境界検出,異常検出という,臨床的関連性のある3つのタスクを実行する。 我々のモデルは、深層学習モデル、他のLSM、および複数の医療領域における臨床方法など、最先端のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2024-08-14T18:57:05Z)
• Unlocking the Power of Spatial and Temporal Information in Medical Multimodal Pre-training [99.2891802841936]
  我々は,空間的・時間的微粒なモデリングのためのMed-STフレームワークを提案する。 空間モデリングでは、Med-STはMixture of View Expert (MoVE)アーキテクチャを使用して、正面と横の両方のビューから異なる視覚的特徴を統合する。 時間的モデリングのために,フォワードマッピング分類 (FMC) とリバースマッピング回帰 (RMR) による新たな双方向サイクル整合性目標を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:15:09Z)
• Eye-gaze Guided Multi-modal Alignment for Medical Representation Learning [65.54680361074882]
  アイゲイズガイドマルチモーダルアライメント(EGMA)フレームワークは、アイゲイズデータを利用して、医用視覚的特徴とテキスト的特徴のアライメントを改善する。 我々は4つの医療データセット上で画像分類と画像テキスト検索の下流タスクを行う。
  論文  参考訳（メタデータ） (2024-03-19T03:59:14Z)
• Temporal Cross-Attention for Dynamic Embedding and Tokenization of Multimodal Electronic Health Records [1.6609516435725236]
  マルチモーダルな臨床時系列を正確に表現するための動的埋め込み・トークン化フレームワークを提案する。 術後合併症9例の発症予測に基礎的アプローチを応用した。
  論文  参考訳（メタデータ） (2024-03-06T19:46:44Z)
• On the Importance of Step-wise Embeddings for Heterogeneous Clinical Time-Series [1.3285222309805063]
  近年のシークエンス・モデリングの深層学習の進歩は、電子健康記録から時系列を扱うタスクに完全に移行していない。 特に、ICU(Intensive Care Unit)に関わる問題では、木に基づく手法で表形式でシーケンス分類に取り組むことが現状である。
  論文  参考訳（メタデータ） (2023-11-15T12:18:15Z)
• Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
  本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。 本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。 テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
  論文  参考訳（メタデータ） (2023-03-30T18:20:00Z)
• Learning to Exploit Temporal Structure for Biomedical Vision-Language Processing [53.89917396428747]
  視覚言語処理における自己教師あり学習は、画像とテキストのモダリティのセマンティックアライメントを利用する。 トレーニングと微調整の両方で利用できる場合、事前のイメージとレポートを明示的に説明します。 我々のアプローチはBioViL-Tと呼ばれ、テキストモデルと共同で訓練されたCNN-Transformerハイブリッドマルチイメージエンコーダを使用する。
  論文  参考訳（メタデータ） (2023-01-11T16:35:33Z)
• LifeLonger: A Benchmark for Continual Disease Classification [59.13735398630546]
  MedMNISTコレクションの連続的な疾患分類のためのベンチマークであるLifeLongerを紹介する。 タスクとクラスでの病気の漸進的な学習は、モデルをスクラッチから再トレーニングすることなく、新しいサンプルを分類する問題に対処する。 クロスドメインインクリメンタル学習は、これまで得られた知識を維持しながら、異なる機関から派生したデータセットを扱う問題に対処する。
  論文  参考訳（メタデータ） (2022-04-12T12:25:05Z)
• Multi-view Integration Learning for Irregularly-sampled Clinical Time Series [1.9639092030562577]
  不規則な時系列データからの多視点機能統合学習をインピーダンスフリーで自己保持機構で提案する。 我々は,観測値の関連性,指標の欠如,連続観測間の時間間隔を同時に学習する。 我々は,マルチビュー観察における相互関係の表現学習を促進するために,注意に基づくデコーダを欠落値インプタとして構築する。
  論文  参考訳（メタデータ） (2021-01-25T10:02:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。