論文の概要: Enabling Vision and Cross-Modal Learning for Multimodal Stroke Recurrence Prediction: An Interpretable Two-Step Framework

• arxiv url: http://arxiv.org/abs/2609.22271v1
• Date: Thu, 10 Sep 2026 13:24:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.812521
• Title: Enabling Vision and Cross-Modal Learning for Multimodal Stroke Recurrence Prediction: An Interpretable Two-Step Framework
• Title（参考訳）: マルチモーダルストローク再帰予測のための視覚とクロスモーダル学習:解釈可能な2ステップフレームワーク
• Abstract要約: マルチモーダル脳卒中再発予測には、異種臨床および画像データの効果的な統合が必要である。 3Dスキャンによる画像事前トレーニングがモダリティの不均衡を低減し,脳卒中再発予測のためのクロスモーダル統合を改善するかを検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Multimodal stroke recurrence prediction requires effective integration of heterogeneous clinical and imaging data, yet modality imbalance often causes models to over-rely on dominant modalities and underutilize complementary information. While self-supervised pretraining and selective parameter freezing are commonly employed to improve representation learning and fine-tuning stability, their effect on modality contributions and cross-modal behavior in multimodal medical models remains largely unexplored. In this work, we investigate whether image pretraining on 3D CTA scans reduces modality imbalance and improves cross-modal integration for stroke recurrence prediction, a clinically critical task we recently addressed. To this end, two multimodal neural networks are pretrained in a self-supervised manner and subsequently fine-tuned using two distinct freezing strategies. Their performance and modality utilization are compared against both the baseline model from our previous work and models trained entirely from scratch in this study. Our results demonstrate that self-supervised pretraining enables more effective utilization of the multimodal image-tabular dataset, outperforming both the prior baseline and all non-pretrained models. Notably, the best-performing Vision Transformer based neural network successfully overcomes unimodal collapse. Synergy analysis reveals significant interactions between vision and both gender and CHD, suggesting clinically relevant patterns for stroke recurrence. Overall, our findings demonstrate that self-supervised pretraining and strategic fine-tuning support more balanced modality utilization and enable meaningful cross-modal interactions. Code is publicly available at https://github.com/ChristianGappGit/SSL_Pretraining.
• Abstract（参考訳）: マルチモーダル脳卒中再発予測には、異種の臨床および画像データの効果的な統合が必要であるが、モダリティの不均衡は、モデルが支配的なモダリティに過度に依存し、補完的な情報を過小評価する原因となることが多い。 自己教師付き事前学習と選択パラメータ凍結は、表現学習と微調整安定性を改善するために一般的に用いられるが、多モード医療モデルにおけるモダリティ寄与と相互モーダル行動に対する効果は、ほとんど未解明のままである。 本研究では,3次元CTAスキャンにおける画像事前トレーニングがモダリティの不均衡を軽減し,脳卒中再発予測のための相互統合を改善するかを検討する。 この目的のために、2つのマルチモーダルニューラルネットワークは、自己教師された方法で事前訓練され、その後、2つの異なる凍結戦略を用いて微調整される。 彼らの性能とモダリティの活用は、我々の以前の研究のベースラインモデルと、本研究のスクラッチから完全に訓練されたモデルの両方と比較される。 この結果から,自己教師付き事前学習により,従来のベースラインモデルと非事前学習モデルの両方に優れるマルチモーダル画像タブラルデータセットをより効果的に活用できることが示唆された。 特に、最高のパフォーマンスのVision Transformerベースのニューラルネットワークは、一過性の崩壊を乗り越えることに成功した。 シナジー分析では、視覚と性差とCHDの相互作用が顕著であり、脳卒中再発の臨床的関連パターンが示唆されている。 全体としては,自己指導型事前学習と戦略的微調整が,バランスの取れたモダリティの活用を促進し,有意義な相互モーダル相互作用を実現することを実証した。 コードはhttps://github.com/ChristianGappGit/SSL_Pretraining.comで公開されている。

関連論文リスト

• Vision-Core Guided Contrastive Learning for Balanced Multi-modal Prognosis Prediction of Stroke [4.272151451487239]
  本稿では,虚血性脳梗塞に対する新しい3モーダル融合モデルを提案する。 脳MRIから半構造化診断テキストを自動的に生成するために,Large Language Model (LLM) を用いる。 また、ビジョンコンディションドデュアルアライメント・フュージョンモジュールと呼ばれるコアコンポーネントを設計する。
  論文  参考訳（メタデータ） (2026-05-14T11:28:57Z)
• Handling and Interpreting Missing Modalities in Patient Clinical Trajectories via Autoregressive Sequence Modeling [24.896312231457653]
  我々は、安全で透明な臨床AIの標準的デシプラタムに対処しながら、欠落したモダリティをプロファイルし、対処するためのフレームワークを開発する。 変換器ベースアーキテクチャを用いた自己回帰シーケンスモデリングはMIMIC-IVおよびeICUファインチューニングベンチマークのベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2026-04-20T18:55:56Z)
• impuTMAE: Multi-modal Transformer with Masked Pre-training for Missing Modalities Imputation in Cancer Survival Prediction [75.43342771863837]
  我々は,効率的なマルチモーダル事前学習戦略を備えた新しいトランスフォーマーに基づくエンドツーエンドアプローチである impuTMAE を紹介する。 マスクされたパッチを再構築することで、モダリティの欠如を同時に示唆しながら、モダリティ間の相互作用とモダリティ内相互作用を学習する。 本モデルは,TGA-GBM/LGGとBraTSデータセットを用いたグリオーマ生存予測のために,異種不完全データに基づいて事前訓練を行った。
  論文  参考訳（メタデータ） (2025-08-08T10:01:16Z)
• MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings [75.0617088717528]
  MoCaは、トレーニング済みのVLMバックボーンを効果的な双方向埋め込みモデルに変換するためのフレームワークである。 MoCaは、MMEBとViDoRe-v2ベンチマークのパフォーマンスを継続的に改善し、新しい最先端の結果を達成する。
  論文  参考訳（メタデータ） (2025-06-29T06:41:00Z)
• Multimodal Masked Autoencoder Pre-training for 3D MRI-Based Brain Tumor Analysis with Missing Modalities [0.0]
  BM-MAEはマルチモーダルMRIデータに適したマスク付き画像モデリング事前学習戦略である。 利用可能なモダリティの組み合わせにシームレスに適応し、モダリティ内情報とモダリティ間情報の両方をキャプチャするリッチな表現を抽出する。 欠落したモダリティを迅速かつ効率的に再構築し、その実用的価値を強調します。
  論文  参考訳（メタデータ） (2025-05-01T14:51:30Z)
• Continually Evolved Multimodal Foundation Models for Cancer Prognosis [50.43145292874533]
  がん予後は、患者の予後と生存率を予測する重要なタスクである。 これまでの研究では、臨床ノート、医療画像、ゲノムデータなどの多様なデータモダリティを統合し、補完的な情報を活用している。 既存のアプローチには2つの大きな制限がある。まず、各病院の患者記録など、各種のトレーニングに新しく到着したデータを組み込むことに苦慮する。 第二に、ほとんどのマルチモーダル統合手法は単純化された結合やタスク固有のパイプラインに依存しており、モダリティ間の複雑な相互依存を捉えることができない。
  論文  参考訳（メタデータ） (2025-01-30T06:49:57Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• On the Robustness of Pretraining and Self-Supervision for a Deep Learning-based Analysis of Diabetic Retinopathy [70.71457102672545]
  糖尿病網膜症における訓練方法の違いによる影響を比較検討した。 本稿では,定量的性能,学習した特徴表現の統計,解釈可能性,画像歪みに対する頑健性など,さまざまな側面について検討する。 以上の結果から,ImageNet事前学習モデルでは,画像歪みに対する性能,一般化,堅牢性が著しく向上していることが示唆された。
  論文  参考訳（メタデータ） (2021-06-25T08:32:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。