Fugu-MT 論文翻訳(概要): A Multimodal Feature Distillation with CNN-Transformer Network for Brain Tumor Segmentation with Incomplete Modalities

論文の概要: A Multimodal Feature Distillation with CNN-Transformer Network for Brain Tumor Segmentation with Incomplete Modalities

arxiv url: http://arxiv.org/abs/2404.14019v1
Date: Mon, 22 Apr 2024 09:33:44 GMT
ステータス: 処理完了
システム内更新日: 2024-04-23 14:35:57.079774
Title: A Multimodal Feature Distillation with CNN-Transformer Network for Brain Tumor Segmentation with Incomplete Modalities
Title（参考訳）: CNN-Transformer Network を用いた不完全型脳腫瘍切除用マルチモーダル機能拡張法
Authors: Ming Kang, Fung Fung Ting, Raphaël C. -W. Phan, Zongyuan Ge, Chee-Ming Ting,
Abstract要約: 本稿では,CNN-Transformer Hybrid Network (MCTSeg) を用いたマルチモーダル特徴蒸留法を提案する。 CNN-Transformer ネットワークと Transformer の畳み込みブロックを併用して提案するモジュールの重要性について検討した。
参考スコア（独自算出の注目度）: 15.841483814265592
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Existing brain tumor segmentation methods usually utilize multiple Magnetic Resonance Imaging (MRI) modalities in brain tumor images for segmentation, which can achieve better segmentation performance. However, in clinical applications, some modalities are missing due to resource constraints, leading to severe degradation in the performance of methods applying complete modality segmentation. In this paper, we propose a Multimodal feature distillation with Convolutional Neural Network (CNN)-Transformer hybrid network (MCTSeg) for accurate brain tumor segmentation with missing modalities. We first design a Multimodal Feature Distillation (MFD) module to distill feature-level multimodal knowledge into different unimodality to extract complete modality information. We further develop a Unimodal Feature Enhancement (UFE) module to model the relationship between global and local information semantically. Finally, we build a Cross-Modal Fusion (CMF) module to explicitly align the global correlations among different modalities even when some modalities are missing. Complementary features within and across different modalities are refined via the CNN-Transformer hybrid architectures in both the UFE and CMF modules, where local and global dependencies are both captured. Our ablation study demonstrates the importance of the proposed modules with CNN-Transformer networks and the convolutional blocks in Transformer for improving the performance of brain tumor segmentation with missing modalities. Extensive experiments on the BraTS2018 and BraTS2020 datasets show that the proposed MCTSeg framework outperforms the state-of-the-art methods in missing modalities cases. Our code is available at: https://github.com/mkang315/MCTSeg.
Abstract（参考訳）: 既存の脳腫瘍セグメンテーション法は、通常、脳腫瘍画像における複数の磁気共鳴イメージング(MRI)モダリティをセグメンテーションに利用し、セグメンテーション性能を向上させることができる。しかし, 臨床応用においては, 資源制約によりいくつかのモダリティが欠落しており, 完全なモダリティセグメンテーションを適用した手法の性能が著しく低下している。本稿では,CNN-Transformer Hybrid Network (MCTSeg) を用いたマルチモーダル特徴蒸留法を提案する。まず,マルチモーダル特徴蒸留(MFD)モジュールを設計し,特徴レベルのマルチモーダル知識を一様性に蒸留し,完全なモーダル情報を抽出する。さらに,グローバル情報とローカル情報の関係を意味的にモデル化するUnimodal Feature Enhancement (UFE)モジュールを開発した。最後に、いくつかのモダリティが欠如している場合でも、異なるモダリティ間の大域的相関を明示的に整合させるクロスモーダル・フュージョン(CMF)モジュールを構築する。異なるモジュール間の補完機能は、UFEモジュールとCMFモジュールの両方でCNN-Transformerハイブリッドアーキテクチャによって洗練され、ローカルとグローバル両方の依存関係がキャプチャされる。 CNN-Transformer ネットワークと Transformer の畳み込みブロックを併用して提案するモジュールの重要性について検討した。 BraTS2018とBraTS2020データセットの大規模な実験は、提案されたMCTSegフレームワークが、欠落したモダリティケースにおける最先端の手法よりも優れていることを示している。私たちのコードは、https://github.com/mkang315/MCTSeg.comで利用可能です。

関連論文リスト

M3AE: Multimodal Representation Learning for Brain Tumor Segmentation with Missing Modalities [29.455215925816187]
マルチモーダルMRI(Multimodal magnetic resonance imaging)は、脳腫瘍のサブリージョン解析に補完的な情報を提供する。画像の破損、アーティファクト、取得プロトコル、コントラストエージェントへのアレルギー、あるいは単にコストによって1つ以上のモダリティが欠落することが一般的である。そこで本研究では,脳腫瘍切除のための新しい2段階の枠組みを提案する。
論文参考訳（メタデータ） (2023-03-09T14:54:30Z)
Learning from partially labeled data for multi-organ and tumor segmentation [102.55303521877933]
本稿では,トランスフォーマーに基づく動的オンデマンドネットワーク(TransDoDNet)を提案する。動的ヘッドにより、ネットワークは複数のセグメンテーションタスクを柔軟に達成することができる。我々はMOTSと呼ばれる大規模にラベル付けされたMulti-Organ and tumorベンチマークを作成し、他の競合相手よりもTransDoDNetの方が優れた性能を示す。
論文参考訳（メタデータ） (2022-11-13T13:03:09Z)
NestedFormer: Nested Modality-Aware Transformer for Brain Tumor Segmentation [29.157465321864265]
そこで我々は,Nested Modality-Aware Transformer (NestedFormer) を提案する。変換器をベースとしたマルチエンコーダと単一デコーダ構造に基づいて,異なるモードの高レベル表現に対してネストしたマルチモーダル融合を行う。
論文参考訳（メタデータ） (2022-08-31T14:04:25Z)
mmFormer: Multimodal Medical Transformer for Incomplete Multimodal Learning of Brain Tumor Segmentation [38.22852533584288]
3つの主要要素を持つ不完全なマルチモーダル学習のための新しい医療変換器(mmFormer)を提案する。提案した mmFormer は, ほぼすべての不完全様相のサブセット上で, 不完全多モード脳腫瘍のセグメント化の最先端手法より優れている。
論文参考訳（メタデータ） (2022-06-06T08:41:56Z)
TranSiam: Fusing Multimodal Visual Features Using Transformer for Medical Image Segmentation [4.777011444412729]
グローバルな情報をキャプチャできるマルチモーダル医療画像に適したセグメンテーション手法を提案する。 TranSiamは、異なるモードの特徴を抽出する2次元デュアルパスネットワークである。 BraTS 2019とBraTS 2020のマルチモーダルデータセットでは、他の一般的なメソッドよりも精度が大幅に向上しています。
論文参考訳（メタデータ） (2022-04-26T09:39:10Z)
Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。 on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
論文参考訳（メタデータ） (2022-01-07T07:46:01Z)
Cross-Modality Brain Tumor Segmentation via Bidirectional Global-to-Local Unsupervised Domain Adaptation [61.01704175938995]
本論文では,UDAスキームに基づくBiGL(Bidirectional Global-to-Local)適応フレームワークを提案する。具体的には、脳腫瘍をセグメント化するために、双方向画像合成およびセグメンテーションモジュールを提案する。提案手法は, 最先端の非教師なし領域適応法を大きなマージンで上回っている。
論文参考訳（メタデータ） (2021-05-17T10:11:45Z)
Deep Multimodal Fusion by Channel Exchanging [87.40768169300898]
本稿では,異なるモードのサブネットワーク間で動的にチャネルを交換するパラメータフリーマルチモーダル融合フレームワークを提案する。このような交換プロセスの有効性は、畳み込みフィルタを共有してもBN層をモダリティで分離しておくことで保証される。
論文参考訳（メタデータ） (2020-11-10T09:53:20Z)
Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement and Gated Fusion [71.87627318863612]
画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
論文参考訳（メタデータ） (2020-02-22T14:32:04Z)
Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
本稿では,不対向画像分割のための新しい学習手法を提案する。提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
論文参考訳（メタデータ） (2020-01-06T20:03:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。