論文の概要: Mamba Based Feature Extraction And Adaptive Multilevel Feature Fusion For 3D Tumor Segmentation From Multi-modal Medical Image
- arxiv url: http://arxiv.org/abs/2504.21281v1
- Date: Wed, 30 Apr 2025 03:29:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-09 22:41:31.943208
- Title: Mamba Based Feature Extraction And Adaptive Multilevel Feature Fusion For 3D Tumor Segmentation From Multi-modal Medical Image
- Title（参考訳）: マンバを用いたマルチモーダル医用画像からの3次元腫瘍分離のための特徴抽出と適応的マルチレベル特徴融合
- Authors: Zexin Ji, Beiji Zou, Xiaoyan Kui, Hua Li, Pierre Vera, Su Ruan,
- Abstract要約: マルチモーダルな3次元医用画像分割は、異なるモーダルの腫瘍領域を正確に同定することを目的としている。
従来の畳み込みニューラルネットワーク(CNN)ベースの手法は、グローバルな特徴を捉えるのに苦労する。
トランスフォーマーに基づく手法は,グローバルな文脈を効果的に捉えつつも,3次元医用画像のセグメンテーションにおいて高い計算コストに直面する。
- 参考スコア（独自算出の注目度）: 8.999013226631893
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-modal 3D medical image segmentation aims to accurately identify tumor regions across different modalities, facing challenges from variations in image intensity and tumor morphology. Traditional convolutional neural network (CNN)-based methods struggle with capturing global features, while Transformers-based methods, despite effectively capturing global context, encounter high computational costs in 3D medical image segmentation. The Mamba model combines linear scalability with long-distance modeling, making it a promising approach for visual representation learning. However, Mamba-based 3D multi-modal segmentation still struggles to leverage modality-specific features and fuse complementary information effectively. In this paper, we propose a Mamba based feature extraction and adaptive multilevel feature fusion for 3D tumor segmentation using multi-modal medical image. We first develop the specific modality Mamba encoder to efficiently extract long-range relevant features that represent anatomical and pathological structures present in each modality. Moreover, we design an bi-level synergistic integration block that dynamically merges multi-modal and multi-level complementary features by the modality attention and channel attention learning. Lastly, the decoder combines deep semantic information with fine-grained details to generate the tumor segmentation map. Experimental results on medical image datasets (PET/CT and MRI multi-sequence) show that our approach achieve competitive performance compared to the state-of-the-art CNN, Transformer, and Mamba-based approaches.
- Abstract（参考訳）: マルチモーダルな3次元医用画像セグメント化は、画像強度と腫瘍形態のばらつきによる課題に直面しながら、異なるモードにわたる腫瘍領域を正確に識別することを目的としている。
従来の畳み込みニューラルネットワーク(CNN)ベースの手法はグローバルな特徴を捉えるのに苦労するが、Transformersベースの手法はグローバルなコンテキストを効果的に捉えているにも関わらず、3D医療画像セグメンテーションの計算コストが高い。
Mambaモデルは、線形スケーラビリティと長距離モデリングを組み合わせることで、視覚表現学習のための有望なアプローチである。
しかし, マンバをベースとした3次元マルチモーダルセグメンテーションは, モダリティ特有の特徴を活用し, 補完情報を効果的に融合させることに苦慮している。
本稿では,マルチモーダル医用画像を用いたマンバ型特徴抽出法と適応型多段階特徴融合法を提案する。
まず,特定のモダリティであるマンバエンコーダを開発し,各モダリティに存在する解剖学的・病理学的構造を表す長距離的特徴を効率的に抽出する。
さらに,モータリティアテンションとチャネルアテンション学習により,マルチモーダル・マルチレベル補完機能を動的にマージする,双方向のシナジスティック統合ブロックを設計する。
最後に、デコーダは、深い意味情報をきめ細かな詳細と組み合わせて、腫瘍セグメンテーションマップを生成する。
医療画像データセット(PET/CTおよびMRIマルチシーケンス)による実験結果から,最新のCNN, Transformer, Mambaベースのアプローチと比較して,本手法が競争力を発揮することが示された。
関連論文リスト
- ShapeMamba-EM: Fine-Tuning Foundation Model with Local Shape Descriptors and Mamba Blocks for 3D EM Image Segmentation [49.42525661521625]
本稿では3次元EMセグメンテーションのための特殊微調整法であるShapeMamba-EMを提案する。
5つのセグメンテーションタスクと10のデータセットをカバーする、幅広いEMイメージでテストされている。
論文 参考訳（メタデータ） (2024-08-26T08:59:22Z) - QUBIQ: Uncertainty Quantification for Biomedical Image Segmentation Challenge [93.61262892578067]
医用画像分割作業の不確実性、特にラター間変動性は重要な課題である。
この可変性は、自動セグメンテーションアルゴリズムの開発と評価に直接影響を及ぼす。
バイオメディカル画像量化チャレンジ(QUBIQ)における不確実性の定量化のベンチマーク結果を報告する。
論文 参考訳（メタデータ） (2024-03-19T17:57:24Z) - Modality-Aware and Shift Mixer for Multi-modal Brain Tumor Segmentation [12.094890186803958]
マルチモーダル画像のモダリティ内依存性とモダリティ間依存性を統合した新しいModality Aware and Shift Mixerを提案する。
具体的には,低レベルのモザイク対関係をモデル化するためのニューロイメージング研究に基づいてModality-Awareモジュールを導入し,モザイクパターンを具体化したModality-Shiftモジュールを開発し,高レベルのモザイク間の複雑な関係を自己注意を通して探索する。
論文 参考訳（メタデータ） (2024-03-04T14:21:51Z) - SDR-Former: A Siamese Dual-Resolution Transformer for Liver Lesion
Classification Using 3D Multi-Phase Imaging [59.78761085714715]
本研究は肝病変分類のための新しいSDR-Formerフレームワークを提案する。
提案フレームワークは2つの臨床データセットに関する総合的な実験を通じて検証された。
科学コミュニティを支援するため,肝病変解析のための多段階MRデータセットを公開しています。
論文 参考訳（メタデータ） (2024-02-27T06:32:56Z) - mmFormer: Multimodal Medical Transformer for Incomplete Multimodal
Learning of Brain Tumor Segmentation [38.22852533584288]
3つの主要要素を持つ不完全なマルチモーダル学習のための新しい医療変換器(mmFormer)を提案する。
提案した mmFormer は, ほぼすべての不完全様相のサブセット上で, 不完全多モード脳腫瘍のセグメント化の最先端手法より優れている。
論文 参考訳（メタデータ） (2022-06-06T08:41:56Z) - Mutual Attention-based Hybrid Dimensional Network for Multimodal Imaging
Computer-aided Diagnosis [4.657804635843888]
マルチモーダル3次元医用画像分類(MMNet)のための新しい相互注意型ハイブリッド次元ネットワークを提案する。
ハイブリッド次元ネットワークは2D CNNと3D畳み込みモジュールを統合し、より深くより情報的な特徴マップを生成する。
さらに,画像モダリティの異なる類似の立体視領域において,各領域の整合性を構築するために,ネットワーク内の相互注意フレームワークを設計する。
論文 参考訳（メタデータ） (2022-01-24T02:31:25Z) - Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。
中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。
on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
論文 参考訳（メタデータ） (2022-01-07T07:46:01Z) - Swin UNETR: Swin Transformers for Semantic Segmentation of Brain Tumors
in MRI Images [7.334185314342017]
我々はSwin UNEt TRansformers(Swin UNETR)と呼ばれる新しいセグメンテーションモデルを提案する。
このモデルは、シフトしたウィンドウを利用して、5つの異なる解像度で特徴を抽出し、自己注意を演算する。
我々は、BraTS 2021セグメンテーションチャレンジに参加し、提案したモデルは、検証フェーズにおける最も優れたアプローチの1つである。
論文 参考訳（メタデータ） (2022-01-04T18:01:34Z) - Modality-aware Mutual Learning for Multi-modal Medical Image
Segmentation [12.308579499188921]
肝臓がんは世界中で最も多いがんの1つである。
本稿では,マルチモーダルCT画像の統合による肝腫瘍切除の自動化に焦点をあてる。
そこで本研究では,肝腫瘍セグメント化を効果的かつ堅牢にするための新たな相互学習(ML)戦略を提案する。
論文 参考訳（メタデータ） (2021-07-21T02:24:31Z) - Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement
and Gated Fusion [71.87627318863612]
画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。
我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。
我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
論文 参考訳（メタデータ） (2020-02-22T14:32:04Z) - Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis [143.55901940771568]
マルチモーダルMR画像合成のためのHybrid-fusion Network(Hi-Net)を提案する。
当社のHi-Netでは,各モーダリティの表現を学習するために,モーダリティ特化ネットワークを用いている。
マルチモーダル合成ネットワークは、潜在表現と各モーダルの階層的特徴を密結合するように設計されている。
論文 参考訳（メタデータ） (2020-02-11T08:26:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。