論文の概要: MedMIX: Modality-Internal Expert Fusion for Multimodal Medical Diagnosis

• arxiv url: http://arxiv.org/abs/2605.16639v1
• Date: Fri, 15 May 2026 21:12:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:46.814599
• Title: MedMIX: Modality-Internal Expert Fusion for Multimodal Medical Diagnosis
• Title（参考訳）: MedMIX:マルチモーダル医療診断のためのModality-Internal Expert Fusion
• Authors: Seungik Cho, Anqi Li, Wei Qiu,
• Abstract要約: Medmixは、モダリティ内エキスパートフュージョン、学習モダリティ間フュージョン、トレーニング専用大規模モデルコラボレーションを組み合わせたマルチモーダルフレームワークである。 3つのベンチマークで、Medmixは、制御されたモダリティの摂動の下で頑健な性能を維持しながら、一貫して高いパフォーマンスを達成する。 これらの結果は、Medmixを、内部モダリティの専門家によるコラボレーション、サンプル特異的な相互モダリティ融合、そして効率的な大規模モデルコラボレーションを統一する実践的なフレームワークとして強調する。
• 参考スコア（独自算出の注目度）: 3.2131549954795453
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Multimodal clinical prediction faces three challenges: multiple foundation models (FMs) with complementary strengths per modality, pervasive missing modalities at training and test time, and sample-specific variation in modality contributions. We introduce MedMIX, a multimodal framework that combines intra-modality expert fusion, learned inter-modality fusion, and training-only large--small model collaboration for robust medical prediction under incomplete modalities. Within each modality, MedMIX aggregates complementary embeddings from multiple small expert models; across modalities, it performs learned fusion over available modalities; and during training, it leverages large teacher models to improve deployed representations without additional inference cost. Across three heterogeneous benchmarks (OpenI, MIMIC-IV-MM, and MMIST-ccRCC), MedMIX achieves consistently strong performance while remaining robust under controlled missing-modality perturbations, and further demonstrates sustained robustness under cross-cohort shift on MIMIC-III. These results highlight MedMIX as a practical framework that unifies within-modality expert collaboration, sample-specific cross-modality fusion, and efficient large--small model collaboration while remaining robust to incomplete modalities.
• Abstract（参考訳）: マルチモーダルな臨床予測には、3つの課題がある: 複数のファンデーションモデル(FM)は、モーダリティごとに相補的な強度を持ち、トレーニングとテスト時間に広範に欠如するモダリティ、そしてモダリティへの貢献におけるサンプル固有のバリエーションである。 MedMIXは、モダリティ内エキスパートフュージョン、学習モダリティフュージョン、および不完全モダリティ下での堅牢な医療予測のためのトレーニング専用大規模モデルコラボレーションを組み合わせたマルチモーダルフレームワークである。 それぞれのモダリティ内では、MedMIXは複数の小さなエキスパートモデルからの補完的な埋め込みを集約し、利用可能なモダリティよりも学習された融合を実行し、トレーニング中に大きな教師モデルを活用して、追加の推論コストなしでデプロイされた表現を改善する。 3つの異種ベンチマーク(OpenI、MIMIC-IV-MM、MMIST-ccRCC)において、MedMIXは、制御されたモダリティの摂動の下で頑健でありながら、一貫して強い性能を達成し、MIMIC-III上でのクロスコホートシフトの下で持続的なロバスト性を示す。 これらの結果から、MedMIXは、モダリティのエキスパートコラボレーション、サンプル固有のクロスモダリティ融合、そして、不完全なモダリティに頑健なままで効率的な大小モデルのコラボレーションを統一する実践的なフレームワークとして注目されている。

関連論文リスト

• Vision-Core Guided Contrastive Learning for Balanced Multi-modal Prognosis Prediction of Stroke [4.272151451487239]
  本稿では,虚血性脳梗塞に対する新しい3モーダル融合モデルを提案する。 脳MRIから半構造化診断テキストを自動的に生成するために,Large Language Model (LLM) を用いる。 また、ビジョンコンディションドデュアルアライメント・フュージョンモジュールと呼ばれるコアコンポーネントを設計する。
  論文  参考訳（メタデータ） (2026-05-14T11:28:57Z)
• M-IDoL: Information Decomposition for Modality-Specific and Diverse Representation Learning in Medical Foundation Model [53.96788246923603]
  マルチモーダル表現学習のための情報分解を導入したM-IDoLを提案する。 1.15万の医療画像の事前トレーニングにより、M-IDoL i)は21の下流臨床タスクに優れた一般化を提供する。
  論文  参考訳（メタデータ） (2026-04-10T04:06:11Z)
• REMIND: Rethinking Medical High-Modality Learning under Missingness--A Long-Tailed Distribution Perspective [10.304297174213293]
  本稿では,任意のモダリティの組み合わせに対して,グループ固有のマルチモーダル融合関数を学習するグループ特化Mixture-of-Expertsアーキテクチャを提案する。 我々の中核となる考え方は、任意のモダリティの組み合わせに対して、グループ固有の多モード融合関数を辛抱強く学習する、新しいグループ特殊化Mixture-of-Expertsアーキテクチャを提案することである。
  論文  参考訳（メタデータ） (2026-02-09T10:16:37Z)
• Cross-Modal Alignment via Variational Copula Modelling [54.25504956780864]
  複数のモーダルから様々な情報を集約するマルチモーダル学習手法を開発することが不可欠である。 既存の方法は主に連結やクロネッカー積に依存し、モジュラリティ間の相互作用構造を単純化する。 そこで本研究では,様々なモーダルの連成分布の学習に焦点を当てた,コプラ駆動型マルチモーダル学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-05T05:28:28Z)
• ProbMed: A Probabilistic Framework for Medical Multimodal Binding [21.27709522688514]
  確率的モダリティ向上診断(ProbMED)について紹介する。 ProbMEDは、X線、心電図、心エコー計の4つの異なるモードを、統一された確率的埋め込み空間に整列させる。 本モデルでは, クロスモーダル検索, ゼロショット分類, 少数ショット分類において, 現在の医用視覚言語事前訓練モデルより優れている。
  論文  参考訳（メタデータ） (2025-09-30T03:16:01Z)
• impuTMAE: Multi-modal Transformer with Masked Pre-training for Missing Modalities Imputation in Cancer Survival Prediction [75.43342771863837]
  我々は,効率的なマルチモーダル事前学習戦略を備えた新しいトランスフォーマーに基づくエンドツーエンドアプローチである impuTMAE を紹介する。 マスクされたパッチを再構築することで、モダリティの欠如を同時に示唆しながら、モダリティ間の相互作用とモダリティ内相互作用を学習する。 本モデルは,TGA-GBM/LGGとBraTSデータセットを用いたグリオーマ生存予測のために,異種不完全データに基づいて事前訓練を行った。
  論文  参考訳（メタデータ） (2025-08-08T10:01:16Z)
• MedPatch: Confidence-Guided Multi-Stage Fusion for Multimodal Clinical Data [0.46040036610482665]
  現実世界の医療データは本質的に異質であり、サイズは限られており、モダリティが欠如しているためスパースである。 臨床予測タスクにインスパイアされたMedPatchを導入し,複数のモダリティをシームレスに統合する。 我々は,MIMIC-IV,MIMIC-CXR,MIMIC-Notesデータセットから抽出した臨床時系列データ,胸部X線画像,放射線検査,および放電記録からなる実世界のデータを用いてMedPatchを評価する。
  論文  参考訳（メタデータ） (2025-08-07T12:46:26Z)
• MIND: Modality-Informed Knowledge Distillation Framework for Multimodal Clinical Prediction Tasks [50.98856172702256]
  マルチモーダルモデル圧縮手法である MIND (Modality-Informed Knowledge Distillation) フレームワークを提案する。 MINDは、様々なサイズの事前訓練されたディープニューラルネットワークのアンサンブルから、より小さなマルチモーダルの学生に知識を伝達する。 時系列データと胸部X線画像を用いた2値および複数ラベルの臨床予測タスクにおけるMINDの評価を行った。
  論文  参考訳（メタデータ） (2025-02-03T08:50:00Z)
• Confidence-aware multi-modality learning for eye disease screening [58.861421804458395]
  眼疾患スクリーニングのための新しい多モード顕在核融合パイプラインを提案する。 モダリティごとに信頼度を測り、マルチモダリティ情報をエレガントに統合する。 パブリックデータセットと内部データセットの両方の実験結果は、我々のモデルが堅牢性に優れていることを示している。
  論文  参考訳（メタデータ） (2024-05-28T13:27:30Z)
• Missing-modality Enabled Multi-modal Fusion Architecture for Medical Data [8.472576865966744]
  マルチモーダルデータを融合することで、ディープラーニングモデルの性能を向上させることができる。 欠失モダリティは、患者の特異性によって医療データに共通する。 本研究では、欠落したモダリティに対して堅牢な医療データのための効率的なマルチモーダル融合アーキテクチャを開発した。
  論文  参考訳（メタデータ） (2023-09-27T09:46:07Z)
• A Novel Unified Conditional Score-based Generative Framework for Multi-modal Medical Image Completion [54.512440195060584]
  我々は、スコアベース生成モデル(SGM)を活用するために、統一多モードスコアベース生成モデル(UMM-CSGM)を提案する。 UMM-CSGMは、新しいマルチインマルチアウトコンディションスコアネットワーク(mm-CSN)を用いて、クロスモーダル条件分布の包括的集合を学習する。 BraTS19データセットの実験により、UMM-CSGMは腫瘍誘発病変における不均一な増強と不規則な領域をより確実に合成できることが示された。
  論文  参考訳（メタデータ） (2022-07-07T16:57:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。