論文の概要: Fuse4Seg: Image-Level Fusion Based Multi-Modality Medical Image Segmentation
- arxiv url: http://arxiv.org/abs/2409.10328v1
- Date: Mon, 16 Sep 2024 14:39:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-17 15:20:31.986792
- Title: Fuse4Seg: Image-Level Fusion Based Multi-Modality Medical Image Segmentation
- Title（参考訳）: Fuse4Seg: 画像レベル融合に基づくマルチモーダル医療画像セグメンテーション
- Authors: Yuchen Guo, Weifeng Su,
- Abstract要約: 現在の機能レベルの融合戦略は、セマンティックな不整合やミスアライメントを引き起こす傾向がある、と我々は主張する。
画像レベルでの融合に基づく新しい医用画像分割法Fuse4Segを提案する。
得られた融合画像は、すべてのモダリティからの情報を正確にアマルガメートするコヒーレントな表現である。
- 参考スコア（独自算出の注目度）: 13.497613339200184
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although multi-modality medical image segmentation holds significant potential for enhancing the diagnosis and understanding of complex diseases by integrating diverse imaging modalities, existing methods predominantly rely on feature-level fusion strategies. We argue the current feature-level fusion strategy is prone to semantic inconsistencies and misalignments across various imaging modalities because it merges features at intermediate layers in a neural network without evaluative control. To mitigate this, we introduce a novel image-level fusion based multi-modality medical image segmentation method, Fuse4Seg, which is a bi-level learning framework designed to model the intertwined dependencies between medical image segmentation and medical image fusion. The image-level fusion process is seamlessly employed to guide and enhance the segmentation results through a layered optimization approach. Besides, the knowledge gained from the segmentation module can effectively enhance the fusion module. This ensures that the resultant fused image is a coherent representation that accurately amalgamates information from all modalities. Moreover, we construct a BraTS-Fuse benchmark based on BraTS dataset, which includes 2040 paired original images, multi-modal fusion images, and ground truth. This benchmark not only serves image-level medical segmentation but is also the largest dataset for medical image fusion to date. Extensive experiments on several public datasets and our benchmark demonstrate the superiority of our approach over prior state-of-the-art (SOTA) methodologies.
- Abstract（参考訳）: マルチモーダルな医用画像セグメント化は、多様な画像モダリティを統合することで、複雑な疾患の診断と理解を高める重要な可能性を秘めているが、既存の手法は主に特徴レベルの融合戦略に依存している。
我々は、現在の特徴レベルの融合戦略は、評価制御なしでニューラルネットワークの中間層で特徴をマージするため、様々な画像モダリティのセマンティックな不整合や不整合が生じやすいと主張している。
これを軽減するために,医用画像分割と医用画像融合の相互依存関係をモデル化するバイレベルラーニングフレームワークFuse4Segを導入する。
画像レベルの融合プロセスは、階層化された最適化アプローチによってセグメント化結果をガイドし、拡張するためにシームレスに使用される。
さらに、セグメンテーションモジュールから得られる知識は、融合モジュールを効果的に強化することができる。
これにより、得られた融合画像が、すべてのモダリティからの情報を正確にアマルガメートするコヒーレント表現であることが保証される。
さらに,BraTSデータセットに基づくBraTS-Fuseベンチマークを構築し,2040対のオリジナル画像,マルチモーダル融合画像,地上真実を含む。
このベンチマークは、画像レベルの医療セグメンテーションを提供するだけでなく、これまでで最大の医療画像融合データセットでもある。
いくつかの公開データセットに対する大規模な実験とベンチマークにより、従来のSOTA(State-of-the-art)手法よりも、我々のアプローチの方が優れていることが示された。
関連論文リスト
- Fusion from Decomposition: A Self-Supervised Approach for Image Fusion and Beyond [74.96466744512992]
画像融合の本質は、ソース画像からの相補的な情報を統合することである。
DeFusion++は、画像融合の品質を高め、下流の高レベル視覚タスクの有効性を高める、汎用的な融合表現を生成する。
論文 参考訳（メタデータ） (2024-10-16T06:28:49Z) - From Text to Pixels: A Context-Aware Semantic Synergy Solution for
Infrared and Visible Image Fusion [66.33467192279514]
我々は、テキスト記述から高レベルなセマンティクスを活用し、赤外線と可視画像のセマンティクスを統合するテキスト誘導多モード画像融合法を提案する。
本手法は,視覚的に優れた融合結果を生成するだけでなく,既存の手法よりも高い検出mAPを達成し,最先端の結果を得る。
論文 参考訳（メタデータ） (2023-12-31T08:13:47Z) - A New Multimodal Medical Image Fusion based on Laplacian Autoencoder
with Channel Attention [3.1531360678320897]
ディープラーニングモデルは、非常に堅牢で正確なパフォーマンスでエンドツーエンドの画像融合を実現した。
ほとんどのDLベースの融合モデルは、学習可能なパラメータや計算量を最小限に抑えるために、入力画像上でダウンサンプリングを行う。
本稿では,ラープラシア・ガウス統合とアテンションプールを融合したマルチモーダル医用画像融合モデルを提案する。
論文 参考訳（メタデータ） (2023-10-18T11:29:53Z) - Three-Dimensional Medical Image Fusion with Deformable Cross-Attention [10.26573411162757]
マルチモーダル医療画像融合は、医療画像処理のいくつかの領域において重要な役割を担っている。
従来の融合法は、特徴を組み合わせて融合像を再構成する前に、それぞれのモダリティを独立して処理する傾向にある。
本研究では,これらの制限を是正するために設計された,革新的な教師なしの相互学習融合ネットワークを提案する。
論文 参考訳（メタデータ） (2023-10-10T04:10:56Z) - Multi-interactive Feature Learning and a Full-time Multi-modality
Benchmark for Image Fusion and Segmentation [66.15246197473897]
多モード画像融合とセグメンテーションは、自律走行とロボット操作において重要な役割を果たす。
画像融合とtextbfSegmentation のための textbfMulti-textbfinteractive textbfFeature Learning アーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-08-04T01:03:58Z) - Modality-Agnostic Learning for Medical Image Segmentation Using
Multi-modality Self-distillation [1.815047691981538]
マルチモーダル・セルフディスト・イレレーション(MAG-MS)によるモダリティ非依存学習という新しい枠組みを提案する。
MAG-MSは複数のモダリティの融合から知識を蒸留し、個々のモダリティに対する表現学習を強化する。
ベンチマークデータセットを用いた実験により,MAG-MSの高効率化とセグメンテーション性能の向上が示された。
論文 参考訳（メタデータ） (2023-06-06T14:48:50Z) - Equivariant Multi-Modality Image Fusion [124.11300001864579]
エンドツーエンドの自己教師型学習のための同変多モードImAge融合パラダイムを提案する。
我々のアプローチは、自然画像応答が特定の変換に等しくなるという以前の知識に根ざしている。
実験により、EMMAは赤外線可視画像と医用画像に高品質な融合結果をもたらすことが確認された。
論文 参考訳（メタデータ） (2023-05-19T05:50:24Z) - M$^{2}$SNet: Multi-scale in Multi-scale Subtraction Network for Medical
Image Segmentation [73.10707675345253]
医用画像から多様なセグメンテーションを仕上げるマルチスケールサブトラクションネットワーク(M$2$SNet)を提案する。
本手法は,4つの異なる医用画像セグメンテーションタスクの11つのデータセットに対して,異なる評価基準の下で,ほとんどの最先端手法に対して好意的に機能する。
論文 参考訳（メタデータ） (2023-03-20T06:26:49Z) - Coupled Feature Learning for Multimodal Medical Image Fusion [42.23662451234756]
マルチモーダル画像融合は、取得した画像と異なるセンサーの関連情報を組み合わせることを目指しています。
本稿では,結合辞書学習に基づく新しいマルチモーダル画像融合法を提案する。
論文 参考訳（メタデータ） (2021-02-17T09:13:28Z) - A review: Deep learning for medical image segmentation using
multi-modality fusion [4.4259821861544]
マルチモダリティは、ターゲットについてのマルチ情報を提供することができるため、医用画像に広く用いられている。
ディープラーニングベースのアプローチでは、画像分類、セグメンテーション、オブジェクト検出、トラッキングタスクにおける最先端のパフォーマンスが提示されている。
本稿では,マルチモーダルな医用画像分割作業における深層学習に基づくアプローチの概要について述べる。
論文 参考訳（メタデータ） (2020-04-22T16:00:53Z) - Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement
and Gated Fusion [71.87627318863612]
画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。
我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。
我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
論文 参考訳（メタデータ） (2020-02-22T14:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。