論文の概要: CoMLP: Cooperatively-Gated MLPs for Fine-Grained Cross-Modal Information Fusion in Medical Image Segmentation
- arxiv url: http://arxiv.org/abs/2609.04781v1
- Date: Fri, 04 Sep 2026 06:18:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:23.932267
- Title: CoMLP: Cooperatively-Gated MLPs for Fine-Grained Cross-Modal Information Fusion in Medical Image Segmentation
- Title（参考訳）: CoMLP:医用画像分割のための細粒度クロスモーダル情報融合のための協調型MLP
- Abstract要約: マルチモーダルな医用画像と臨床報告は、医用画像セグメンテーションのための相補的解剖学的、機能的、意味的な情報を提供する。
既存の融合アプローチは、空間分解能によって計算負担が急速に増加するクロスアテンションにしばしば依存する。
医用画像セグメンテーションにおける細粒度クロスモーダル情報融合のための協調制御モジュールであるCoMLPを提案する。
- 参考スコア（独自算出の注目度）: 12.483097797054036
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Multi-modal medical images and clinical reports provide complementary anatomical, functional, and semantic information for medical image segmentation. Effectively exploiting these heterogeneous sources requires fine-grained cross-modal information fusion that preserves subtle spatial details while capturing semantic dependencies across modalities. Existing fusion approaches frequently rely on cross-attention, whose computational burden increases rapidly with spatial resolution, making dense cross-modal interaction difficult on high-resolution feature maps, particularly for volumetric medical images. In this work, we propose CoMLP, a cooperatively-gated MLP module for fine-grained cross-modal information fusion in medical image segmentation. CoMLP models cross-modal dependencies through cooperative cross-gating, built upon complementary regional and dilated MLP interactions, to capture local and global cross-modal dependencies. We further develop a multi-source fusion architecture in which CoMLP performs both inter-image fusion across imaging modalities and vision-language fusion between visual features and textual reports, enabling heterogeneous information to be integrated without relying on dense cross-attention. Extensive experiments on five medical segmentation benchmarks, covering 2D/3D images, clinical reports, multiple imaging modalities, and diverse anatomical regions, demonstrate consistent improvements over state-of-the-art multi-modal and language-guided segmentation methods. Ablation studies further show that fine-grained interaction at high spatial resolutions and complementary local-global fusion are critical to the performance gains. These results demonstrate the potential of MLP-based interaction as an effective alternative for fine-grained cross-modal information fusion in medical image segmentation.
- Abstract（参考訳）: マルチモーダルな医用画像と臨床報告は、医用画像セグメンテーションのための相補的解剖学的、機能的、意味的な情報を提供する。
これらの不均一なソースを効果的に活用するには、微妙な空間的詳細を保存し、モジュール間のセマンティック依存関係をキャプチャする、きめ細かいクロスモーダル情報融合が必要である。
既存の融合アプローチは、空間分解能によって計算負担が急速に増大するクロスアテンションにしばしば依存しており、特に体積医学画像の場合、高解像度の特徴写像では密接なクロスモーダル相互作用が困難である。
本研究では,医用画像セグメンテーションにおける微粒なクロスモーダル情報融合のためのMLPモジュールであるCoMLPを提案する。
CoMLPは、局所的およびグローバルな相互依存を捉えるために、補完的な局所的および拡張されたMLP相互作用に基づいて構築された協調的相互依存を通じて、相互依存をモデル化する。
さらに,画像モダリティ間の画像間融合と視覚特徴とテキストレポート間の視覚言語融合を両立させるマルチソース融合アーキテクチャを開発し,高密度なクロスアテンションに依存しない異種情報の統合を実現する。
2D/3D画像、臨床報告、複数の画像モダリティ、および多様な解剖学的領域を含む5つの医学的セグメンテーションのベンチマークにおいて、最先端のマルチモーダルおよび言語誘導セグメンテーション法に対する一貫した改善が示された。
アブレーション研究は、高空間分解能と相補的な局所-グローバル融合におけるきめ細かい相互作用が性能向上に不可欠であることを示している。
これらの結果は、医用画像分割における細粒度クロスモーダル情報融合の有効な代替手段としてのMLPベースの相互作用の可能性を示している。
関連論文リスト
- CFCML: A Coarse-to-Fine Crossmodal Learning Framework For Disease Diagnosis Using Multimodal Images and Tabular Data [54.816000602323726]
臨床診断にはクロスモーダル情報が必要である。
既存のクロスモーダル学習手法の多くは、主にハイレベルエンコーダ出力間の関係を探究することに焦点を当てている。
そこで本研究では,モダリティギャップを段階的に減少させるために,CFCML(coarse-to-fine crossmodal learning)フレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-20T15:01:33Z) - Fuse4Seg: Image-Level Fusion Based Multi-Modality Medical Image Segmentation [13.497613339200184]
現在の機能レベルの融合戦略は、セマンティックな不整合やミスアライメントを引き起こす傾向がある、と我々は主張する。
画像レベルでの融合に基づく新しい医用画像分割法Fuse4Segを提案する。
得られた融合画像は、すべてのモダリティからの情報を正確にアマルガメートするコヒーレントな表現である。
論文 参考訳（メタデータ） (2024-09-16T14:39:04Z) - Dual-scale Enhanced and Cross-generative Consistency Learning for Semi-supervised Medical Image Segmentation [49.57907601086494]
医用画像のセグメンテーションはコンピュータ支援診断において重要な役割を担っている。
半教師型医用画像(DEC-Seg)のための新しいDual-scale Enhanced and Cross-generative consistency learning frameworkを提案する。
論文 参考訳（メタデータ） (2023-12-26T12:56:31Z) - A New Multimodal Medical Image Fusion based on Laplacian Autoencoder
with Channel Attention [3.1531360678320897]
ディープラーニングモデルは、非常に堅牢で正確なパフォーマンスでエンドツーエンドの画像融合を実現した。
ほとんどのDLベースの融合モデルは、学習可能なパラメータや計算量を最小限に抑えるために、入力画像上でダウンサンプリングを行う。
本稿では,ラープラシア・ガウス統合とアテンションプールを融合したマルチモーダル医用画像融合モデルを提案する。
論文 参考訳（メタデータ） (2023-10-18T11:29:53Z) - C^2M-DoT: Cross-modal consistent multi-view medical report generation
with domain transfer network [67.97926983664676]
ドメイン転送ネットワーク(C2M-DoT)を用いたクロスモーダルなマルチビュー医療レポート生成を提案する。
C2M-DoTは、すべてのメトリクスで最先端のベースラインを大幅に上回る。
論文 参考訳（メタデータ） (2023-10-09T02:31:36Z) - Multi-task Paired Masking with Alignment Modeling for Medical
Vision-Language Pre-training [55.56609500764344]
本稿では,マルチタスク・ペアド・マスキング・アライメント(MPMA)に基づく統合フレームワークを提案する。
また, メモリ拡張クロスモーダルフュージョン (MA-CMF) モジュールを導入し, 視覚情報を完全統合し, レポート再構築を支援する。
論文 参考訳（メタデータ） (2023-05-13T13:53:48Z) - TransFusion: Multi-view Divergent Fusion for Medical Image Segmentation
with Transformers [8.139069987207494]
コンボリューション層と強力なアテンション機構を用いた多視点画像情報をマージするトランスフォーマーベースのアーキテクチャであるTransFusionを提案する。
特に、ディバージェント・フュージョン・アテンション(DiFA)モジュールは、リッチ・クロスビュー・コンテキスト・モデリングとセマンティック・インテリジェンス・マイニングのために提案されている。
論文 参考訳（メタデータ） (2022-03-21T04:02:54Z) - Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。
中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。
on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
論文 参考訳（メタデータ） (2022-01-07T07:46:01Z) - Multi-phase Liver Tumor Segmentation with Spatial Aggregation and
Uncertain Region Inpainting [12.343161202847018]
多相CT画像は肝腫瘍の正確なセグメンテーション(LiTS)に重要な相補的情報を提供する
我々は,多相情報を適切に集約し,不確実領域分割を洗練するための新しいLiTS法を提案する。
論文 参考訳（メタデータ） (2021-08-02T14:02:28Z) - Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement
and Gated Fusion [71.87627318863612]
画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。
我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。
我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
論文 参考訳（メタデータ） (2020-02-22T14:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。