論文の概要: mmFormer: Multimodal Medical Transformer for Incomplete Multimodal
Learning of Brain Tumor Segmentation
- arxiv url: http://arxiv.org/abs/2206.02425v1
- Date: Mon, 6 Jun 2022 08:41:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-07 17:22:11.915089
- Title: mmFormer: Multimodal Medical Transformer for Incomplete Multimodal
Learning of Brain Tumor Segmentation
- Title（参考訳）: mmFormer:脳腫瘍の非完全マルチモーダル学習のためのマルチモーダル医療トランス
- Authors: Yao Zhang, Nanjun He, Jiawei Yang, Yuexiang Li, Dong Wei, Yawen Huang,
Yang Zhang, Zhiqiang He, and Yefeng Zheng
- Abstract要約: 3つの主要要素を持つ不完全なマルチモーダル学習のための新しい医療変換器(mmFormer)を提案する。
提案した mmFormer は, ほぼすべての不完全様相のサブセット上で, 不完全多モード脳腫瘍のセグメント化の最先端手法より優れている。
- 参考スコア（独自算出の注目度）: 38.22852533584288
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Accurate brain tumor segmentation from Magnetic Resonance Imaging (MRI) is
desirable to joint learning of multimodal images. However, in clinical
practice, it is not always possible to acquire a complete set of MRIs, and the
problem of missing modalities causes severe performance degradation in existing
multimodal segmentation methods. In this work, we present the first attempt to
exploit the Transformer for multimodal brain tumor segmentation that is robust
to any combinatorial subset of available modalities. Concretely, we propose a
novel multimodal Medical Transformer (mmFormer) for incomplete multimodal
learning with three main components: the hybrid modality-specific encoders that
bridge a convolutional encoder and an intra-modal Transformer for both local
and global context modeling within each modality; an inter-modal Transformer to
build and align the long-range correlations across modalities for
modality-invariant features with global semantics corresponding to tumor
region; a decoder that performs a progressive up-sampling and fusion with the
modality-invariant features to generate robust segmentation. Besides, auxiliary
regularizers are introduced in both encoder and decoder to further enhance the
model's robustness to incomplete modalities. We conduct extensive experiments
on the public BraTS $2018$ dataset for brain tumor segmentation. The results
demonstrate that the proposed mmFormer outperforms the state-of-the-art methods
for incomplete multimodal brain tumor segmentation on almost all subsets of
incomplete modalities, especially by an average 19.07% improvement of Dice on
tumor segmentation with only one available modality. The code is available at
https://github.com/YaoZhang93/mmFormer.
- Abstract（参考訳）: 磁気共鳴イメージング(MRI)による脳腫瘍の正確なセグメンテーションは,マルチモーダル画像の同時学習に望ましい。
しかし, 臨床実践ではMRIの完全セットを取得することは必ずしも不可能であり, 既存のマルチモーダルセグメンテーション法では, モダリティの欠如が著しく低下する。
本研究は, 利用可能なモダリティの組合せサブセットに対して頑健なマルチモーダル脳腫瘍セグメンテーションにおいて, Transformer を利用した最初の試みを示す。
Concretely, we propose a novel multimodal Medical Transformer (mmFormer) for incomplete multimodal learning with three main components: the hybrid modality-specific encoders that bridge a convolutional encoder and an intra-modal Transformer for both local and global context modeling within each modality; an inter-modal Transformer to build and align the long-range correlations across modalities for modality-invariant features with global semantics corresponding to tumor region; a decoder that performs a progressive up-sampling and fusion with the modality-invariant features to generate robust segmentation.
さらに、補助正則化器はエンコーダとデコーダの両方で導入され、不完全なモダリティに対するモデルの堅牢性をさらに強化する。
われわれはBraTS 2018ドルの脳腫瘍セグメント化データセットについて広範な実験を行った。
提案した mmFormer は, ほぼすべての不完全なモダリティ, 特にDice の19.07% の改善により, 不完全なマルチモーダル脳腫瘍のセグメンテーションの最先端の手法より優れていることを示した。
コードはhttps://github.com/YaoZhang93/mmFormerで入手できる。
関連論文リスト
- Prototype Learning Guided Hybrid Network for Breast Tumor Segmentation in DCE-MRI [58.809276442508256]
本稿では,畳み込みニューラルネットワーク(CNN)とトランスフォーマー層を組み合わせたハイブリッドネットワークを提案する。
プライベートおよびパブリックなDCE-MRIデータセットの実験結果から,提案したハイブリッドネットワークは最先端の手法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2024-08-11T15:46:00Z) - A Multimodal Feature Distillation with CNN-Transformer Network for Brain Tumor Segmentation with Incomplete Modalities [15.841483814265592]
本稿では,CNN-Transformer Hybrid Network (MCTSeg) を用いたマルチモーダル特徴蒸留法を提案する。
CNN-Transformer ネットワークと Transformer の畳み込みブロックを併用して提案するモジュールの重要性について検討した。
論文 参考訳（メタデータ） (2024-04-22T09:33:44Z) - Hybrid-Fusion Transformer for Multisequence MRI [2.082367820170703]
マルチシーケンスMRI画像分割のためのハイブリッド核融合変換器(HFTrans)を提案する。
マルチモーダルMRIシークエンスの違いを生かし、トランスフォーマー層を用いて各モーダルから抽出した特徴を統合する。
3次元医用セグメンテーションにおけるハイブリッドフュージョン法の有効性を検証した。
論文 参考訳（メタデータ） (2023-11-02T15:22:49Z) - M3AE: Multimodal Representation Learning for Brain Tumor Segmentation
with Missing Modalities [29.455215925816187]
マルチモーダルMRI(Multimodal magnetic resonance imaging)は、脳腫瘍のサブリージョン解析に補完的な情報を提供する。
画像の破損、アーティファクト、取得プロトコル、コントラストエージェントへのアレルギー、あるいは単にコストによって1つ以上のモダリティが欠落することが一般的である。
そこで本研究では,脳腫瘍切除のための新しい2段階の枠組みを提案する。
論文 参考訳（メタデータ） (2023-03-09T14:54:30Z) - NestedFormer: Nested Modality-Aware Transformer for Brain Tumor
Segmentation [29.157465321864265]
そこで我々は,Nested Modality-Aware Transformer (NestedFormer) を提案する。
変換器をベースとしたマルチエンコーダと単一デコーダ構造に基づいて,異なるモードの高レベル表現に対してネストしたマルチモーダル融合を行う。
論文 参考訳（メタデータ） (2022-08-31T14:04:25Z) - A Novel Unified Conditional Score-based Generative Framework for
Multi-modal Medical Image Completion [54.512440195060584]
我々は、スコアベース生成モデル(SGM)を活用するために、統一多モードスコアベース生成モデル(UMM-CSGM)を提案する。
UMM-CSGMは、新しいマルチインマルチアウトコンディションスコアネットワーク(mm-CSN)を用いて、クロスモーダル条件分布の包括的集合を学習する。
BraTS19データセットの実験により、UMM-CSGMは腫瘍誘発病変における不均一な増強と不規則な領域をより確実に合成できることが示された。
論文 参考訳（メタデータ） (2022-07-07T16:57:21Z) - Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。
中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。
on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
論文 参考訳（メタデータ） (2022-01-07T07:46:01Z) - Feature-enhanced Generation and Multi-modality Fusion based Deep Neural
Network for Brain Tumor Segmentation with Missing MR Modalities [2.867517731896504]
主な問題は、すべてのMRIが常に臨床検査で利用できるわけではないことである。
今回我々は1つ以上のモダリティが欠落した場合に新しい脳腫瘍分節ネットワークを提案する。
提案ネットワークは,機能強化ジェネレータ,相関制約ブロック,セグメンテーションネットワークの3つのサブネットワークで構成されている。
論文 参考訳（メタデータ） (2021-11-08T10:59:40Z) - Modality Completion via Gaussian Process Prior Variational Autoencoders
for Multi-Modal Glioma Segmentation [75.58395328700821]
本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。
MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。
4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
論文 参考訳（メタデータ） (2021-07-07T19:06:34Z) - Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement
and Gated Fusion [71.87627318863612]
画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。
我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。
我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
論文 参考訳（メタデータ） (2020-02-22T14:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。