論文の概要: REMIND: Rethinking Medical High-Modality Learning under Missingness--A Long-Tailed Distribution Perspective

• arxiv url: http://arxiv.org/abs/2603.00046v1
• Date: Mon, 09 Feb 2026 10:16:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 01:20:07.993352
• Title: REMIND: Rethinking Medical High-Modality Learning under Missingness--A Long-Tailed Distribution Perspective
• Title（参考訳）: 医学的高モダリティ学習の再考--長期分布の視点から
• Authors: Chenwei Wu, Zitao Shuai, Liyue Shen,
• Abstract要約: 本稿では,任意のモダリティの組み合わせに対して,グループ固有のマルチモーダル融合関数を学習するグループ特化Mixture-of-Expertsアーキテクチャを提案する。 我々の中核となる考え方は、任意のモダリティの組み合わせに対して、グループ固有の多モード融合関数を辛抱強く学習する、新しいグループ特殊化Mixture-of-Expertsアーキテクチャを提案することである。
• 参考スコア（独自算出の注目度）: 10.304297174213293
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Medical multi-modal learning is critical for integrating information from a large set of diverse modalities. However, when leveraging a high number of modalities in real clinical applications, it is often impractical to obtain full-modality observations for every patient due to data collection constraints, a problem we refer to as 'High-Modality Learning under Missingness'. In this study, we identify that such missingness inherently induces an exponential growth in possible modality combinations, followed by long-tail distributions of modality combinations due to varying modality availability. While prior work overlooked this critical phenomenon, we find this long-tailed distribution leads to significant underperformance on tail modality combination groups. Our empirical analysis attributes this problem to two fundamental issues: 1) gradient inconsistency, where tail groups' gradient updates diverge from the overall optimization direction; 2) concept shifts, where each modality combination requires distinct fusion functions. To address these challenges, we propose REMIND, a unified framework that REthinks MultImodal learNing under high-moDality missingness from a long-tail perspective. Our core idea is to propose a novel group-specialized Mixture-of-Experts architecture that scalably learns group-specific multi-modal fusion functions for arbitrary modality combinations, while simultaneously leveraging a group distributionally robust optimization strategy to upweight underrepresented modality combinations. Extensive experiments on real-world medical datasets show that our framework consistently outperforms state-of-the-art methods, and robustly generalizes across various medical multi-modal learning applications under high-modality missingness.
• Abstract（参考訳）: 医学的マルチモーダル学習は、多種多様なモダリティからの情報の統合に不可欠である。 しかし, 実際の臨床応用において多量のモダリティを活用する場合, データ収集の制約により全患者に対して完全なモダリティ観察を得ることは不可能であることが多い。 本研究では,このような欠如が,可能モダリティの組合せの指数的成長を本質的に引き起こし,それに続くモダリティの組合せの長期分布を,様々なモダリティの可利用性によって引き起こすことを示す。 先行研究は、この臨界現象を見落としていたが、この長い尾の分布は、尾のモジュラリティ結合群において大きな過小評価をもたらす。 私たちの経験分析は、この問題を2つの根本的な問題に当てはめている。 1) テールグループの勾配更新が全体最適化方向から分岐する勾配不整合 2) 概念はシフトし、各モダリティ結合は異なる融合関数を必要とする。 これらの課題に対処するため,長い視点からMultImodal learNingを再考する統合フレームワークREMINDを提案する。 我々の中心となる考え方は、任意のモダリティの組み合わせに対してグループ固有のマルチモーダル融合関数を過度に学習し、同時に、群分布的に頑健な最適化戦略を過度に表現されたモダリティの組み合わせに活用する、新しいグループ特殊化ミックス・オブ・エクスプロイトアーキテクチャを提案することである。 実世界の医療データセットに関する大規模な実験により、我々のフレームワークは最先端の手法を一貫して上回り、ハイモダリティの欠如の下で様々な医学的マルチモーダル学習アプリケーションにわたって堅牢に一般化されていることが示された。

関連論文リスト

• When Does Multimodal Learning Help in Healthcare? A Benchmark on EHR and Chest X-Ray Fusion [16.683852533321666]
  機械学習は、臨床的な意思決定を支援することを約束するが、マルチモーダルな学習が実際にいつ役に立つのかは不明だ。 我々は、MIMIC-IVとMIMIC-CXRの標準化コホート上で、電子健康記録(EHR)と胸部X線(CXR)のマルチモーダル融合のベンチマークを行う。 この研究は、異なる融合戦略がどう比較されるか、既存の手法がモダリティの欠如にどれほど頑健であるか、マルチモーダルモデルがアルゴリズムの公正性を達成するかどうかなど、いくつかの重要な洞察を明らかにした。
  論文  参考訳（メタデータ） (2026-02-27T02:38:35Z)
• Robust Multimodal Representation Learning in Healthcare [12.190907451083765]
  実世界の医療データセットは、一般的に複数のソースからの体系的なバイアスを含む。 本稿では,バイアスを特定し,対処するDual-Stream Feature Deorrelation Frameworkを提案する。 本手法では,因果関係から因果関係を解き放つために,因果関係のデコリレーション・フレームワークとデュアルストリームニューラルネットワークを用いる。
  論文  参考訳（メタデータ） (2026-01-29T16:27:54Z)
• Calibrated Multimodal Representation Learning with Missing Modalities [100.55774771852468]
  マルチモーダル表現学習は、それらを統一潜在空間に整列させることにより、異なるモダリティを調和させる。 最近の研究は、従来のクロスモーダルアライメントを一般化して、強化されたマルチモーダル・シナジーを生成するが、すべてのモダリティを共通の例に含める必要がある。 我々は、アンカーシフトの観点から、この問題に関する理論的洞察を提供する。 モーダルの欠如に起因する不完全なアライメントを校正するために,マルチモーダル表現学習のためのCalMRLを提案する。
  論文  参考訳（メタデータ） (2025-11-15T05:01:43Z)
• Learning Contrastive Multimodal Fusion with Improved Modality Dropout for Disease Detection and Prediction [17.717216490402482]
  改良されたモダリティドロップアウトとコントラスト学習を統合した,新しいマルチモーダル学習フレームワークを提案する。 疾患検出および予測タスクのための大規模臨床データセットの枠組みを検証した。 本研究は,マルチモーダル学習におけるアプローチの有効性,効率,一般化性を明らかにするものである。
  論文  参考訳（メタデータ） (2025-09-22T18:12:12Z)
• Robust Multimodal Learning for Ophthalmic Disease Grading via Disentangled Representation [30.697291934309206]
  医療機器の欠如とデータのプライバシーに関する懸念により、マルチモーダルデータは現実世界のアプリケーションではまれである。 伝統的な深層学習法は一般に、潜在空間における表現の学習によってこれらの問題に対処する。 著者らはEssence-Point and Disentangle Representation Learning (EDRL)戦略を提案している。
  論文  参考訳（メタデータ） (2025-03-07T10:58:38Z)
• Continually Evolved Multimodal Foundation Models for Cancer Prognosis [50.43145292874533]
  がん予後は、患者の予後と生存率を予測する重要なタスクである。 これまでの研究では、臨床ノート、医療画像、ゲノムデータなどの多様なデータモダリティを統合し、補完的な情報を活用している。 既存のアプローチには2つの大きな制限がある。まず、各病院の患者記録など、各種のトレーニングに新しく到着したデータを組み込むことに苦慮する。 第二に、ほとんどのマルチモーダル統合手法は単純化された結合やタスク固有のパイプラインに依存しており、モダリティ間の複雑な相互依存を捉えることができない。
  論文  参考訳（メタデータ） (2025-01-30T06:49:57Z)
• Confidence-aware multi-modality learning for eye disease screening [58.861421804458395]
  眼疾患スクリーニングのための新しい多モード顕在核融合パイプラインを提案する。 モダリティごとに信頼度を測り、マルチモダリティ情報をエレガントに統合する。 パブリックデータセットと内部データセットの両方の実験結果は、我々のモデルが堅牢性に優れていることを示している。
  論文  参考訳（メタデータ） (2024-05-28T13:27:30Z)
• Learning Unseen Modality Interaction [54.23533023883659]
  マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。 我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。 異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
  論文  参考訳（メタデータ） (2023-06-22T10:53:10Z)
• Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement and Gated Fusion [71.87627318863612]
  画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。 我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。 我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2020-02-22T14:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。