論文の概要: DMAF-Net: An Effective Modality Rebalancing Framework for Incomplete Multi-Modal Medical Image Segmentation

• arxiv url: http://arxiv.org/abs/2506.11691v1
• Date: Fri, 13 Jun 2025 11:38:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-16 17:50:49.772363
• Title: DMAF-Net: An Effective Modality Rebalancing Framework for Incomplete Multi-Modal Medical Image Segmentation
• Title（参考訳）: DMAF-Net:不完全なマルチモーダル医用画像分割のための効果的なモーダルリバランシングフレームワーク
• Authors: Libin Lan, Hongxing Li, Zunhui Xia, Yudong Zhang,
• Abstract要約: DMAF-Net(Dynamic Modality-Aware Fusion Network)と呼ばれる新しいモデルを提案する。 まず、欠落したモダリティ干渉を抑制するために、動的モダリティ・アウェア・フュージョン(DMAF)モジュールを導入する。 第二に、グローバルな特徴アライメントを強制するために、相乗的関係蒸留とプロトタイプ蒸留のフレームワークを設計する。 第3に、不均衡な損失率で最適化を安定化するための動的トレーニングモニタリング(DTM)戦略を提案する。
• 参考スコア（独自算出の注目度）: 7.441945494253697
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Incomplete multi-modal medical image segmentation faces critical challenges from modality imbalance, including imbalanced modality missing rates and heterogeneous modality contributions. Due to their reliance on idealized assumptions of complete modality availability, existing methods fail to dynamically balance contributions and neglect the structural relationships between modalities, resulting in suboptimal performance in real-world clinical scenarios. To address these limitations, we propose a novel model, named Dynamic Modality-Aware Fusion Network (DMAF-Net). The DMAF-Net adopts three key ideas. First, it introduces a Dynamic Modality-Aware Fusion (DMAF) module to suppress missing-modality interference by combining transformer attention with adaptive masking and weight modality contributions dynamically through attention maps. Second, it designs a synergistic Relation Distillation and Prototype Distillation framework to enforce global-local feature alignment via covariance consistency and masked graph attention, while ensuring semantic consistency through cross-modal class-specific prototype alignment. Third, it presents a Dynamic Training Monitoring (DTM) strategy to stabilize optimization under imbalanced missing rates by tracking distillation gaps in real-time, and to balance convergence speeds across modalities by adaptively reweighting losses and scaling gradients. Extensive experiments on BraTS2020 and MyoPS2020 demonstrate that DMAF-Net outperforms existing methods for incomplete multi-modal medical image segmentation. Extensive experiments on BraTS2020 and MyoPS2020 demonstrate that DMAF-Net outperforms existing methods for incomplete multi-modal medical image segmentation. Our code is available at https://github.com/violet-42/DMAF-Net.
• Abstract（参考訳）: 不完全なマルチモーダル画像分割は、不均衡なモダリティの欠落率や不均一なモダリティの寄与など、モダリティの不均衡から重要な課題に直面している。 完全なモダリティ可用性の理想的な仮定に依存しているため、既存の手法は貢献のバランスを動的に保ち、モダリティ間の構造的関係を無視することができない。 これらの制約に対処するため,動的モダリティ・アウェア・フュージョン・ネットワーク (DMAF-Net) という新しいモデルを提案する。 DMAF-Netは3つの主要なアイデアを取り入れている。 第一に、トランスフォーマーの注意と適応マスキングと、注意マップを通して動的にウェイト・モダリティの寄与を組み合わせることで、欠落モードの干渉を抑制するための動的モダリティ・アウェア・フュージョン(DMAF)モジュールを導入する。 第2に、共分散一貫性とマスマスキンググラフアテンションを通じてグローバルな特徴アライメントを強制し、クロスモーダルクラス固有のプロトタイプアライメントによるセマンティックアライメントを確保するための相乗的関係蒸留およびプロトタイプ蒸留フレームワークを設計する。 第3に、蒸留ギャップをリアルタイムで追跡することにより、不均衡な損失率下での最適化を安定化し、損失とスケーリング勾配を適応的に再重み付けすることで、モダリティ間の収束速度のバランスをとる動的トレーニング監視(DTM)戦略を提案する。 BraTS2020とMyoPS2020の大規模な実験により、DMAF-Netは、不完全なマルチモーダル医療画像セグメンテーションの既存の手法よりも優れていることが示された。 BraTS2020とMyoPS2020の大規模な実験により、DMAF-Netは、不完全なマルチモーダル医療画像セグメンテーションの既存の手法よりも優れていることが示された。 私たちのコードはhttps://github.com/violet-42/DMAF-Net.comで公開されています。

関連論文リスト

• Divide-and-Conquer: Confluent Triple-Flow Network for RGB-T Salient Object Detection [70.84835546732738]
  RGB-Thermal Salient Object Detectionは、目視と熱赤外画像のペア内の目立つ物体をピンポイントすることを目的としている。 従来のエンコーダ・デコーダアーキテクチャは、欠陥モードから生じるノイズに対する頑健さを十分に考慮していなかったかもしれない。 本稿では,Divide-and-Conquer戦略を用いた,堅牢なConfluent Triple-Flow NetworkであるConTriNetを提案する。
  論文  参考訳（メタデータ） (2024-12-02T14:44:39Z)
• On-the-fly Modulation for Balanced Multimodal Learning [53.616094855778954]
  マルチモーダル学習は、異なるモーダルからの情報を統合することでモデル性能を向上させることが期待されている。 広く使われている共同トレーニング戦略は、不均衡で最適化されていないユニモーダル表現につながる。 そこで本研究では,OGM(On-the-fly Prediction Modulation)とOGM(On-the-fly Gradient Modulation)の戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-15T13:15:50Z)
• Unleashing Network Potentials for Semantic Scene Completion [50.95486458217653]
  本稿では,新しいSSCフレームワーク - Adrial Modality Modulation Network (AMMNet)を提案する。 AMMNetは、モダリティ間の勾配流の相互依存性を可能にするクロスモーダル変調と、動的勾配競争を利用するカスタマイズされた逆トレーニングスキームの2つのコアモジュールを導入している。 AMMNetは最先端のSSC法よりも大きなマージンで優れていた。
  論文  参考訳（メタデータ） (2024-03-12T11:48:49Z)
• Gradient-Guided Modality Decoupling for Missing-Modality Robustness [24.95911972867697]
  我々は,モダリティの優位性を監視し,抑制するために,新しい指標,勾配を導入する。 本稿では, 支配的モダリティへの依存を分離するために, GMD法を提案する。 さらに,モーダル不完全データを柔軟に処理するために,パラメータ効率のよい動的共有フレームワークを設計する。
  論文  参考訳（メタデータ） (2024-02-26T05:50:43Z)
• Exploiting modality-invariant feature for robust multimodal emotion recognition with missing modalities [76.08541852988536]
  我々は、欠落したモダリティ・イマジネーション・ネットワーク(IF-MMIN)に不変な特徴を用いることを提案する。 提案モデルは,不確実なモダリティ条件下で,すべてのベースラインを上回り,全体の感情認識性能を不変に向上することを示す。
  論文  参考訳（メタデータ） (2022-10-27T12:16:25Z)
• Efficient Multimodal Transformer with Dual-Level Feature Restoration for Robust Multimodal Sentiment Analysis [47.29528724322795]
  マルチモーダルセンシング分析(MSA)が近年注目を集めている。 著しい進歩にもかかわらず、堅牢なMSAへの道にはまだ2つの大きな課題がある。 デュアルレベル特徴回復 (EMT-DLFR) を用いた高効率マルチモーダル変圧器 (Efficient Multimodal Transformer) を提案する。
  論文  参考訳（メタデータ） (2022-08-16T08:02:30Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。