論文の概要: Learning Contrastive Multimodal Fusion with Improved Modality Dropout for Disease Detection and Prediction

• arxiv url: http://arxiv.org/abs/2509.18284v1
• Date: Mon, 22 Sep 2025 18:12:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-24 20:41:27.517737
• Title: Learning Contrastive Multimodal Fusion with Improved Modality Dropout for Disease Detection and Prediction
• Title（参考訳）: 疾患検出・予測のためのモダリティ・ドロップアウトの改善によるマルチモーダル・フュージョンの学習
• Authors: Yi Gu, Kuniaki Saito, Jiaxin Ma,
• Abstract要約: 改良されたモダリティドロップアウトとコントラスト学習を統合した,新しいマルチモーダル学習フレームワークを提案する。 疾患検出および予測タスクのための大規模臨床データセットの枠組みを検証した。 本研究は,マルチモーダル学習におけるアプローチの有効性,効率,一般化性を明らかにするものである。
• 参考スコア（独自算出の注目度）: 17.717216490402482
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As medical diagnoses increasingly leverage multimodal data, machine learning models are expected to effectively fuse heterogeneous information while remaining robust to missing modalities. In this work, we propose a novel multimodal learning framework that integrates enhanced modalities dropout and contrastive learning to address real-world limitations such as modality imbalance and missingness. Our approach introduces learnable modality tokens for improving missingness-aware fusion of modalities and augments conventional unimodal contrastive objectives with fused multimodal representations. We validate our framework on large-scale clinical datasets for disease detection and prediction tasks, encompassing both visual and tabular modalities. Experimental results demonstrate that our method achieves state-of-the-art performance, particularly in challenging and practical scenarios where only a single modality is available. Furthermore, we show its adaptability through successful integration with a recent CT foundation model. Our findings highlight the effectiveness, efficiency, and generalizability of our approach for multimodal learning, offering a scalable, low-cost solution with significant potential for real-world clinical applications. The code is available at https://github.com/omron-sinicx/medical-modality-dropout.
• Abstract（参考訳）: 医療診断がますますマルチモーダルデータを活用するにつれて、機械学習モデルは、欠落したモダリティに頑健でありながら、効果的に異種情報を融合することが期待されている。 本研究では、モダリティの低下と対照的な学習を統合し、モダリティの不均衡や欠落といった現実的な制約に対処する新しいマルチモーダル学習フレームワークを提案する。 提案手法は,モダリティの欠如を意識した融合を改善するための学習可能なモダリティトークンを導入し,マルチモダリティ表現を融合した従来の非モダリティコントラスト目的を増強する。 疾患検出および予測タスクのための大規模臨床データセットの枠組みを検証し、視覚的・表的両方のモダリティを包含する。 実験結果から,本手法は最先端の性能,特に1つのモダリティしか利用できない挑戦的で実践的なシナリオにおいて実現可能であることが示された。 さらに,最近のCTファンデーションモデルとの統合により,適応性を示す。 本研究は, マルチモーダル学習におけるアプローチの有効性, 効率, 一般化性を強調し, 現実の臨床応用に有意な可能性を秘めた, スケーラブルで低コストなソリューションを提供する。 コードはhttps://github.com/omron-sinicx/medical-modality-dropoutで公開されている。

関連論文リスト

• MM-DINOv2: Adapting Foundation Models for Multi-Modal Medical Image Analysis [19.063517827476826]
  MM-DINOv2(MM-DINOv2)は,マルチモーダル・メディカル・イメージングのための事前学習型視覚基盤モデルDINOv2に適応する新しいフレームワークである。 本手法では,マルチモーダル・パッチの埋め込みを取り入れ,視覚基盤モデルによりマルチモーダル・イメージングデータを効果的に処理することができる。 本手法は外部テストセットで0.6のマシューズ相関係数(MCC)を達成し、最先端の教師付きアプローチを+11.1%超える。
  論文  参考訳（メタデータ） (2025-09-08T12:34:15Z)
• What are You Looking at? Modality Contribution in Multimodal Medical Deep Learning Methods [0.13194391758295113]
  本稿では,モデルがタスクを果たすためのデータセットにおいて,各モダリティの重要性を測定する手法を提案する。 いくつかのネットワークは、一様崩壊の傾向にあるモダリティの選好を持ち、いくつかのデータセットはゼロから不均衡であることがわかった。 深層学習に基づくマルチモーダル研究における解釈可能性の分野において,本手法は重要な貢献をする。
  論文  参考訳（メタデータ） (2025-02-28T12:39:39Z)
• Continually Evolved Multimodal Foundation Models for Cancer Prognosis [50.43145292874533]
  がん予後は、患者の予後と生存率を予測する重要なタスクである。 これまでの研究では、臨床ノート、医療画像、ゲノムデータなどの多様なデータモダリティを統合し、補完的な情報を活用している。 既存のアプローチには2つの大きな制限がある。まず、各病院の患者記録など、各種のトレーニングに新しく到着したデータを組み込むことに苦慮する。 第二に、ほとんどのマルチモーダル統合手法は単純化された結合やタスク固有のパイプラインに依存しており、モダリティ間の複雑な相互依存を捉えることができない。
  論文  参考訳（メタデータ） (2025-01-30T06:49:57Z)
• Confidence-aware multi-modality learning for eye disease screening [58.861421804458395]
  眼疾患スクリーニングのための新しい多モード顕在核融合パイプラインを提案する。 モダリティごとに信頼度を測り、マルチモダリティ情報をエレガントに統合する。 パブリックデータセットと内部データセットの両方の実験結果は、我々のモデルが堅牢性に優れていることを示している。
  論文  参考訳（メタデータ） (2024-05-28T13:27:30Z)
• DrFuse: Learning Disentangled Representation for Clinical Multi-Modal Fusion with Missing Modality and Modal Inconsistency [18.291267748113142]
  そこで本研究では,DrFuseを効果的に多モード核融合を実現するために提案する。 モダリティに共通する特徴と各モダリティに特有の特徴を分離することで、モダリティの欠如に対処する。 実世界の大規模データセットMIMIC-IVとMIMIC-CXRを用いて提案手法を検証する。
  論文  参考訳（メタデータ） (2024-03-10T12:41:34Z)
• Learning Unseen Modality Interaction [54.23533023883659]
  マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。 我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。 異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
  論文  参考訳（メタデータ） (2023-06-22T10:53:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。