論文の概要: MedTVL: Harnessing Vision and Language for Medical Time Series Classification

• arxiv url: http://arxiv.org/abs/2608.28605v1
• Date: Tue, 07 Jul 2026 10:04:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.401125
• Title: MedTVL: Harnessing Vision and Language for Medical Time Series Classification
• Title（参考訳）: MedTVL:医療時系列分類のためのハーネスングビジョンと言語
• Abstract要約: 医用時系列分類に適したテキスト誘導型デュアルパスウェイアーキテクチャであるMedTVLを紹介する。 畳み込みに基づく時間的経路を合成し、生の数値列から微細な時間的ダイナミックスを生成する。 また、時系列画像からの全体的形態構造のためのトランスフォーマーベースの視覚経路も含んでいる。
• 参考スコア（独自算出の注目度）: 19.203817248290573
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in multimodal learning for medical time series (MedTS) classification highlight the benefits of integrating complementary modalities for clinical decision. However, existing methods typically focus on bi-modal interactions (e.g., time series and text), leaving the tri-modal synergy between time series, vision, and language largely unexplored. Inspired by diagnostic practice synergizing numerical assessment, visual inspection and clinical context, we introduce MedTVL, a text-guided dual-pathway architecture tailored for MedTS classification. Specifically, it synergizes a convolution-based temporal pathway for fine-grained temporal dynamics from raw numerical sequences and a transformer-based visual pathway for holistic morphological structures from time-series-derived images. Such combination of cross-modal and architectural heterogeneity provides a comprehensive diagnostic perspective. To further resolve potential diagnostic ambiguity, both pathways are guided by adaptive medical textual semantics. Finally, a Mixture-of-Experts mechanism dynamically routes each instance to specialized fusion experts, capturing instance-specific reliance on the temporal and visual pathway outputs. In addition, MedTVL supports multimodal contrastive learning to mitigate the clinical label scarcity challenge. Extensive experiments across multiple medical datasets and tasks, spanning supervised, few-shot, and contrastive learning settings, demonstrate the superiority and transferability of MedTVL, highlighting its potential for robust clinical decision support.
• Abstract（参考訳）: 医療時系列分類(MedTS)におけるマルチモーダルラーニングの最近の進歩は,臨床診断における相補的モダリティの統合のメリットを浮き彫りにしている。 しかし、既存の手法は通常、双方向の相互作用(例えば、時系列とテキスト)に焦点を当て、時系列、ビジョン、言語の間の三つのモードのシナジーは、ほとんど探索されていない。 MedTS分類に適したテキスト誘導型デュアルパスウェイアーキテクチャであるMedTVLを導入する。 具体的には、生の数値列からの微粒な時間的ダイナミクスのための畳み込みに基づく時間的経路と、時系列由来の画像からの全体的形態構造のための変圧器に基づく視覚的経路を相乗化する。 このようなクロスモーダルとアーキテクチャの不均一性の組み合わせは、包括的な診断の視点を提供する。 診断の曖昧さをさらに解決するために、どちらの経路も適応的な医学的テキストセマンティクスによって導かれる。 最後に、Mixture-of-Expertsメカニズムは、各インスタンスを専門のフュージョンエキスパートに動的にルーティングし、時間的および視覚的経路出力へのインスタンス固有の依存をキャプチャする。 さらに、MedTVLは、臨床ラベルの不足を緩和するために、マルチモーダルコントラスト学習をサポートする。 複数の医療データセットやタスクにまたがる広範な実験は、教師付き、少数ショット、対照的な学習設定にまたがり、MedTVLの優位性と伝達性を示し、堅牢な臨床的意思決定支援の可能性を強調している。

関連論文リスト

• Multi-View Synergistic Learning with Vision-Language Adaption for Low-Resource Biomedical Image Classification [59.24009931000134]
  MVSL(Multi-View Synergistic Learning)は、適応パラダイム、表現の粒度、疾患の意味的関係に対処する統合フレームワークである。 MVSLは、視覚的およびテキスト的エンコーダの適応を分離し、それぞれの表現特性を尊重する。 さらに、グローバルなイメージセマンティクスと局所的な病変レベルの証拠の両方を明示的にモデル化するために、多粒性コントラスト学習を導入する。 MVSLは、いくつかのショットとゼロショットの分類設定において、最先端のメソッドを一貫して上回る。
  論文  参考訳（メタデータ） (2026-04-27T02:41:27Z)
• MedAlign: A Synergistic Framework of Multimodal Preference Optimization and Federated Meta-Cognitive Reasoning [52.064286116035134]
  我々はMed-VQA(Med-VQA)のための視覚的LVLM応答を保証するフレームワークであるMedAlignを開発した。 まず、優先学習を視覚的コンテキストに合わせるために、マルチモーダルな直接選好最適化(mDPO)の目的を提案する。 次に、画像とテキストの類似性を生かし、クエリを専門的でコンテキスト拡張されたLVLMにルーティングする検索型混合処理(RA-MoE)アーキテクチャを設計する。
  論文  参考訳（メタデータ） (2025-10-24T02:11:05Z)
• TS-P$^2$CL: Plug-and-Play Dual Contrastive Learning for Vision-Guided Medical Time Series Classification [26.293489194966003]
  1次元の生理的信号を2次元の擬似イメージに変換する視覚誘導パラダイムを導入し、視覚領域へのブリッジを確立する。 マルチコントラスト学習戦略を採用する一方、クロスモーダルアライメントは時系列ダイナミクスと視覚的セマンティクスを協調する。 6つのMedTSデータセットの実験により、TS-P$2$CLは、主題に依存しない設定と対象に依存しない設定の両方で14のメソッドを一貫して上回っていることが示された。
  論文  参考訳（メタデータ） (2025-09-22T13:57:58Z)
• Multimodal Causal-Driven Representation Learning for Generalizable Medical Image Segmentation [56.52520416420957]
  医用画像セグメンテーションにおける領域一般化に取り組むために, MCDRL(Multimodal Causal-Driven Representation Learning)を提案する。 MCDRLは競合する手法より一貫して優れ、セグメンテーション精度が優れ、堅牢な一般化性を示す。
  論文  参考訳（メタデータ） (2025-08-07T03:41:41Z)
• Zeus: Zero-shot LLM Instruction for Union Segmentation in Multimodal Medical Imaging [4.341503087761129]
  マルチモーダル学習の実行には、ソリューションとして示される視覚とテキストのモダリティが含まれるが、ペア化されたビジョン言語データセットの収集は高価で時間を要する。 大規模言語モデル(LLM)における多くのクロスモーダルタスクの優れた能力に触発されて、我々はこの問題に対処する新しいビジョン・LLM統合フレームワークを提案しました。
  論文  参考訳（メタデータ） (2025-04-09T23:33:35Z)
• ProMedTS: A Self-Supervised, Prompt-Guided Multimodal Approach for Integrating Medical Text and Time Series [27.70300880284899]
  大規模言語モデル (LLM) は、視覚の細かいタスクにおいて顕著な性能を示してきたが、医療分野におけるそれらの応用はいまだに探索されていない。 ProMedTSは、データ型を統一するために、プロンプト誘導学習を利用する、新しい自己教師型マルチモーダルフレームワークである。 実世界のデータセットを用いた診断タスクにおけるProMedTSの評価を行い,本手法が常に最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2025-02-19T07:56:48Z)
• Unlocking the Power of Spatial and Temporal Information in Medical Multimodal Pre-training [99.2891802841936]
  我々は,空間的・時間的微粒なモデリングのためのMed-STフレームワークを提案する。 空間モデリングでは、Med-STはMixture of View Expert (MoVE)アーキテクチャを使用して、正面と横の両方のビューから異なる視覚的特徴を統合する。 時間的モデリングのために,フォワードマッピング分類 (FMC) とリバースマッピング回帰 (RMR) による新たな双方向サイクル整合性目標を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:15:09Z)
• Eye-gaze Guided Multi-modal Alignment for Medical Representation Learning [65.54680361074882]
  アイゲイズガイドマルチモーダルアライメント(EGMA)フレームワークは、アイゲイズデータを利用して、医用視覚的特徴とテキスト的特徴のアライメントを改善する。 我々は4つの医療データセット上で画像分類と画像テキスト検索の下流タスクを行う。
  論文  参考訳（メタデータ） (2024-03-19T03:59:14Z)
• C^2M-DoT: Cross-modal consistent multi-view medical report generation with domain transfer network [67.97926983664676]
  ドメイン転送ネットワーク(C2M-DoT)を用いたクロスモーダルなマルチビュー医療レポート生成を提案する。 C2M-DoTは、すべてのメトリクスで最先端のベースラインを大幅に上回る。
  論文  参考訳（メタデータ） (2023-10-09T02:31:36Z)
• Multi-Granularity Cross-modal Alignment for Generalized Medical Visual Representation Learning [24.215619918283462]
  本報告では, 医用画像の表現を直接学習するための新しい枠組みについて述べる。 本フレームワークは,医用画像と放射線学レポートの自然に現れる意味的対応を3段階に分けて活用する。
  論文  参考訳（メタデータ） (2022-10-12T09:31:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。