論文の概要: Fusion is not one-size-fits-all: Cross-Modal Representation Alignment for Time-to-Event Modeling

• arxiv url: http://arxiv.org/abs/2606.15038v1
• Date: Sat, 13 Jun 2026 00:44:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:32.665515
• Title: Fusion is not one-size-fits-all: Cross-Modal Representation Alignment for Time-to-Event Modeling
• Title（参考訳）: Fusionはオールサイズではない - Time-to-Event Modelingのためのクロスモーダル表現アライメント
• Authors: Zhemin Zhang, Weijie Chen, David Le, Amara Tariq, Alex Wallace, Matthew Stib, Juan Maria Farina, Chadi Ayoub, Reza Arsanjani, Imon Banerjee,
• Abstract要約: 本稿では,CTと縦 EHR データの相互表現アライメントのための基礎モデル駆動型フレームワークを提案する。 肺塞栓症(PE)と心血管疾患(CVD)の2つの臨床的に異なるTTE課題について検討した。
• 参考スコア（独自算出の注目度）: 6.791453161959617
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accurate time-to-event (TTE) prediction from multimodal clinical data remains challenging due to modality imbalance and distribution shift. We introduce a foundation model-driven framework for cross-modal representation alignment between CT imaging and longitudinal EHR data, designed to generalize across tasks and institutions. CT and EHR modalities are encoded independently using domain-specific foundation models and aligned in a shared latent space through four principled fusion strategies: late fusion, contrastive alignment, cross-attention, and co-attention. We evaluate two clinically distinct TTE tasks: pulmonary embolism (PE) mortality and cardiovascular disease (CVD) outcomes, on large-scale multi-institutional cohorts (PE: N=3,099 train; 1,098 internal; 435 external; CVD: N=2,951 train; 837 internal; 682 external). Fusion consistently improves concordance index by 1.5-5.4% over unimodal baselines when modalities contribute comparably. Overall, contrastive multimodal fusion, particularly with CLMBR representations, provided the most consistent and statistically robust improvements, especially for PE mortality prediction. For MACE, cross-attention (one-hot) achieved the highest internal performance and image-guided co-attention achieved the best external performance. We therefore introduce a generalizable foundation model-based cross-modal alignment framework and provide the first systematic analysis of fusion behavior under modality imbalance in TTE prediction. Our results establish task-aware multimodal alignment as a necessary design principle for robust generalization and scalable clinical deployment.
• Abstract（参考訳）: マルチモーダル臨床データからの正確なTTE予測は、モダリティの不均衡と分布シフトのため、依然として困難である。 本稿では,CT画像と縦 EHR データの相互表現アライメントのための基礎モデル駆動型フレームワークを提案する。 CT と EHR のモダリティは、ドメイン固有の基礎モデルを用いて独立に符号化され、レイトフュージョン、コントラストアライメント、クロスアテンション、コアテンションの4つの原則的融合戦略によって共有潜在空間に整列する。 肺塞栓症 (PE) と心血管疾患 (CVD) は, 大規模多施設コホート (PE: N=3,099, 1,098, 内部: 1,098, 外部: 435, CVD: N=2,951, 内部: 837, 外部: 682) の2つの臨床的に異なるTTEタスクを評価する。 融合は、モダリティが相互に寄与する際、単調なベースラインよりも1.5-5.4%のコンコータンス指数を一貫して改善する。 全体として、対照的なマルチモーダル核融合、特にCLMBR表現は、特にPE死亡予測において、最も一貫性があり統計的に堅牢な改善をもたらした。 MACEでは、クロスアテンション(ワンホット)は最高内部性能を達成し、イメージ誘導のコアテンションは最高の外部性能を達成した。 そこで本研究では, 一般化可能な基盤モデルに基づくクロスモーダルアライメントフレームワークを導入し, TTE予測におけるモダリティ不均衡下での融合挙動のシステマティック解析を行った。 本研究は,堅牢な一般化とスケーラブルな臨床展開のための設計原則として,タスク対応型マルチモーダルアライメントを確立した。

関連論文リスト

• Traits Run Deeper: Trait-Specific Asymmetric Fusion for Personality Assessment [53.50824432699408]
  Traits Run Deeperは、新しいパーソナリティアセスメントフレームワークである。 MFR(Multimodal Foundation Representation)、TSMF(Trit-Specific Modality Fusion)、DCPR(Distributed-Calibrated Personality Regression)の3つのコンポーネントで構成されている。
  論文  参考訳（メタデータ） (2026-06-09T06:38:36Z)
• Federated Learning for Cross-Modality Medical Image Segmentation via Augmentation-Driven Generalization [0.0]
  本研究では,各クライアントが単一モダリティデータ(CTまたはMRI)を保持する,現実的なFLシナリオについて考察する。 我々は、畳み込みに基づく空間拡張、周波数領域操作、ドメイン固有の正規化、および大域強度非線形(GIN)拡張を評価する。 当社のフェデレーションアプローチは、集中トレーニング精度の93～98%を達成し、データプライバシを損なうことなく、強力なモダリティの一般化を実証する。
  論文  参考訳（メタデータ） (2026-02-24T11:13:01Z)
• MedAD-R1: Eliciting Consistent Reasoning in Interpretible Medical Anomaly Detection via Consistency-Reinforced Policy Optimization [46.65200216642429]
  我々はMedADの最初の大規模マルチモーダル・マルチセンタベンチマークであるMedAD-38Kを紹介し、構造化された視覚質問応答(VQA)ペアとともに、CoT(Chain-of-Thought)アノテーションを特徴付ける。 提案するモデルであるMedAD-R1は、MedAD-38Kベンチマーク上での最先端(SOTA)性能を実現し、強いベースラインを10%以上上回った。
  論文  参考訳（メタデータ） (2026-02-01T07:56:10Z)
• W-DUALMINE: Reliability-Weighted Dual-Expert Fusion With Residual Correlation Preservation for Medical Image Fusion [3.8707695363745214]
  W-DUALMINEは信頼性の高いデュアルエキスパート融合フレームワークである。 CCとMIの指標では、AdaFuseとASFE-Fusionを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-01-13T19:01:21Z)
• MedSeqFT: Sequential Fine-tuning Foundation Models for 3D Medical Image Segmentation [55.37355146924576]
  MedSeqFTは、医用画像解析のためのシーケンシャルな微調整フレームワークである。 事前訓練されたモデルを新しいタスクに適応させ、表現能力を改善する。 最先端の微調整戦略を一貫して上回ります。
  論文  参考訳（メタデータ） (2025-09-07T15:22:53Z)
• Explainable Deep Neural Network for Multimodal ECG Signals: Intermediate vs Late Fusion [1.1344265020822928]
  マルチモーダルディープニューラルネットワーク(MDNN)は、多様なデータドメインを統合する能力を持ち、堅牢で正確な予測のための有望なソリューションを提供する。 本研究は、ECG信号を用いた中間核融合戦略と後期核融合戦略の比較効果について検討する。
  論文  参考訳（メタデータ） (2025-08-06T16:26:46Z)
• Continually Evolved Multimodal Foundation Models for Cancer Prognosis [50.43145292874533]
  がん予後は、患者の予後と生存率を予測する重要なタスクである。 これまでの研究では、臨床ノート、医療画像、ゲノムデータなどの多様なデータモダリティを統合し、補完的な情報を活用している。 既存のアプローチには2つの大きな制限がある。まず、各病院の患者記録など、各種のトレーニングに新しく到着したデータを組み込むことに苦慮する。 第二に、ほとんどのマルチモーダル統合手法は単純化された結合やタスク固有のパイプラインに依存しており、モダリティ間の複雑な相互依存を捉えることができない。
  論文  参考訳（メタデータ） (2025-01-30T06:49:57Z)
• CTPD: Cross-Modal Temporal Pattern Discovery for Enhanced Multimodal Electronic Health Records Analysis [50.56875995511431]
  マルチモーダルEHRデータから有意な時間的パターンを効率的に抽出するために,CTPD(Cross-Modal Temporal Pattern Discovery)フレームワークを導入する。 提案手法では,時間的セマンティックな埋め込みを生成するためにスロットアテンションを用いて改良された時間的パターン表現を提案する。
  論文  参考訳（メタデータ） (2024-11-01T15:54:07Z)
• Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical Fusion for Multimodal Affect Recognition [69.32305810128994]
  モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。 本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。 HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
  論文  参考訳（メタデータ） (2023-05-23T01:24:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。