論文の概要: Decoupling Feature Representations of Ego and Other Modalities for Incomplete Multi-modal Brain Tumor Segmentation

• arxiv url: http://arxiv.org/abs/2408.08708v1
• Date: Fri, 16 Aug 2024 12:43:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 15:24:50.791212
• Title: Decoupling Feature Representations of Ego and Other Modalities for Incomplete Multi-modal Brain Tumor Segmentation
• Title（参考訳）: マルチモーダル脳腫瘍切除におけるEgoおよび他のモダリティの非結合的特徴表現
• Authors: Kaixiang Yang, Wenqi Shan, Xudong Li, Xuan Wang, Xikai Yang, Xi Wang, Pheng-Ann Heng, Qiang Li, Zhiwei Wang,
• Abstract要約: 我々は、エゴや他のモダリティを表現するタスクをデカップリングすることで、モダリティ適応を強化するためにDeMoSegを提案する。 最初の部分空間は自身を表現し(Self-feature)、残りの部分空間は他のモダリティを代用する(Mutual-features)。 DeMoSegは、他の最先端と比較して、腫瘍全体、腫瘍コア、強化腫瘍領域において、Diceを少なくとも0.92%、2.95%、および4.95%増加させる。
• 参考スコア（独自算出の注目度）: 44.03751425551935
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-modal brain tumor segmentation typically involves four magnetic resonance imaging (MRI) modalities, while incomplete modalities significantly degrade performance. Existing solutions employ explicit or implicit modality adaptation, aligning features across modalities or learning a fused feature robust to modality incompleteness. They share a common goal of encouraging each modality to express both itself and the others. However, the two expression abilities are entangled as a whole in a seamless feature space, resulting in prohibitive learning burdens. In this paper, we propose DeMoSeg to enhance the modality adaptation by Decoupling the task of representing the ego and other Modalities for robust incomplete multi-modal Segmentation. The decoupling is super lightweight by simply using two convolutions to map each modality onto four feature sub-spaces. The first sub-space expresses itself (Self-feature), while the remaining sub-spaces substitute for other modalities (Mutual-features). The Self- and Mutual-features interactively guide each other through a carefully-designed Channel-wised Sparse Self-Attention (CSSA). After that, a Radiologist-mimic Cross-modality expression Relationships (RCR) is introduced to have available modalities provide Self-feature and also `lend' their Mutual-features to compensate for the absent ones by exploiting the clinical prior knowledge. The benchmark results on BraTS2020, BraTS2018 and BraTS2015 verify the DeMoSeg's superiority thanks to the alleviated modality adaptation difficulty. Concretely, for BraTS2020, DeMoSeg increases Dice by at least 0.92%, 2.95% and 4.95% on whole tumor, tumor core and enhanced tumor regions, respectively, compared to other state-of-the-arts. Codes are at https://github.com/kk42yy/DeMoSeg
• Abstract（参考訳）: マルチモーダル脳腫瘍セグメンテーションは一般的に4つのMRIモダリティを含むが、不完全なモダリティは性能を著しく低下させる。 既存のソリューションでは、明示的あるいは暗黙的なモダリティ適応、モダリティを越えた特徴の整列、あるいはモダリティの不完全性に頑健な融合特徴の学習が採用されている。 彼らは、それぞれのモダリティに自身と他の両方を表現するよう奨励する共通の目標を共有しています。 しかし、この2つの表現能力は、全体としてシームレスな特徴空間に絡み合っており、結果として禁止的な学習負担が生じる。 本稿では,エゴや他のモダリティを表現するタスクを,頑健な不完全なマルチモーダルセグメンテーションのためにデカップリングすることで,モダリティ適応を向上するDeMoSegを提案する。 分離は2つの畳み込みを使い、各モダリティを4つの特徴部分空間にマッピングすることで超軽量である。 最初の部分空間は自身 (Self-feature) を表現し、残りの部分空間は他のモジュラリティ (Mutual-features) を代用する。 Sparse Self-Attention (CSSA)により、自己と相互の特徴が相互に相互にガイドされる。 その後、RCR(Radioologist-mimic Cross-modality Expression Relations)が導入され、臨床の事前知識を利用して、自己機能を提供し、その相互機能に補うことができる。 BraTS2020、BraTS2018、BraTS2015のベンチマーク結果は、緩和されたモダリティ適応困難のため、DeMoSegの優位性を検証する。 具体的には、BraTS2020では、DeMoSegは他の最先端と比較して、腫瘍全体、腫瘍コア、強化腫瘍領域において、Diceを少なくとも0.92%、2.95%、および4.95%増加させる。 コードはhttps://github.com/kk42yy/DeMoSegにある。

関連論文リスト

• Cross-modality Guidance-aided Multi-modal Learning with Dual Attention for MRI Brain Tumor Grading [47.50733518140625]
  脳腫瘍は世界で最も致命的ながんの1つであり、子供や高齢者に非常に多い。 本稿では,MRI脳腫瘍グレーディングの課題に対処するために,新たな多モード学習法を提案する。
  論文  参考訳（メタデータ） (2024-01-17T07:54:49Z)
• M3AE: Multimodal Representation Learning for Brain Tumor Segmentation with Missing Modalities [29.455215925816187]
  マルチモーダルMRI(Multimodal magnetic resonance imaging)は、脳腫瘍のサブリージョン解析に補完的な情報を提供する。 画像の破損、アーティファクト、取得プロトコル、コントラストエージェントへのアレルギー、あるいは単にコストによって1つ以上のモダリティが欠落することが一般的である。 そこで本研究では,脳腫瘍切除のための新しい2段階の枠組みを提案する。
  論文  参考訳（メタデータ） (2023-03-09T14:54:30Z)
• mmFormer: Multimodal Medical Transformer for Incomplete Multimodal Learning of Brain Tumor Segmentation [38.22852533584288]
  3つの主要要素を持つ不完全なマルチモーダル学習のための新しい医療変換器(mmFormer)を提案する。 提案した mmFormer は, ほぼすべての不完全様相のサブセット上で, 不完全多モード脳腫瘍のセグメント化の最先端手法より優れている。
  論文  参考訳（メタデータ） (2022-06-06T08:41:56Z)
• SMU-Net: Style matching U-Net for brain tumor segmentation with missing modalities [4.855689194518905]
  MRI画像における脳腫瘍のセグメント化のためのスタイルマッチングU-Net(SMU-Net)を提案する。 我々の共同学習手法は、コンテンツとスタイルマッチング機構を用いて、全モダリティネットワークから欠落したモダリティネットワークに情報的特徴を蒸留する。 我々のスタイルマッチングモジュールは、一致した関数を学習して表現空間を適応的に再構成し、情報的特徴とテクスチャ的特徴を完全なモダリティパスから欠落モダリティパスに転送する。
  論文  参考訳（メタデータ） (2022-04-06T17:55:19Z)
• Feature-enhanced Generation and Multi-modality Fusion based Deep Neural Network for Brain Tumor Segmentation with Missing MR Modalities [2.867517731896504]
  主な問題は、すべてのMRIが常に臨床検査で利用できるわけではないことである。 今回我々は1つ以上のモダリティが欠落した場合に新しい脳腫瘍分節ネットワークを提案する。 提案ネットワークは,機能強化ジェネレータ,相関制約ブロック,セグメンテーションネットワークの3つのサブネットワークで構成されている。
  論文  参考訳（メタデータ） (2021-11-08T10:59:40Z)
• H2NF-Net for Brain Tumor Segmentation using Multimodal MR Imaging: 2nd Place Solution to BraTS Challenge 2020 Segmentation Task [96.49879910148854]
  当社のH2NF-Netは、単一およびカスケードのHNF-Netを使用して、異なる脳腫瘍サブリージョンを分割します。 我々は、マルチモーダル脳腫瘍チャレンジ(BraTS)2020データセットでモデルをトレーニングし、評価した。 提案手法は,80名近い参加者のうち,brats 2020チャレンジセグメンテーションタスクで2位となった。
  論文  参考訳（メタデータ） (2020-12-30T20:44:55Z)
• Brain tumor segmentation with self-ensembled, deeply-supervised 3D U-net neural networks: a BraTS 2020 challenge solution [56.17099252139182]
  U-netのようなニューラルネットワークを用いた脳腫瘍セグメント化作業の自動化と標準化を行う。 2つの独立したモデルのアンサンブルが訓練され、それぞれが脳腫瘍のセグメンテーションマップを作成した。 我々の解は、最終試験データセットにおいて、Diceの0.79、0.89、0.84、およびHausdorffの95%の20.4、6.7、19.5mmを達成した。
  論文  参考訳（メタデータ） (2020-10-30T14:36:10Z)
• Modality-Pairing Learning for Brain Tumor Segmentation [34.58078431696929]
  そこで我々は,脳腫瘍セグメンテーションのための新しいエンド・ツー・エンドモダリティペアリング学習法を提案する。 提案手法はBraTS 2020オンラインテストデータセット上でテストされ,有望なセグメンテーション性能が得られた。
  論文  参考訳（メタデータ） (2020-10-19T07:42:10Z)
• Towards Cross-modality Medical Image Segmentation with Online Mutual Knowledge Distillation [71.89867233426597]
  本稿では,あるモダリティから学習した事前知識を活用し,別のモダリティにおけるセグメンテーション性能を向上させることを目的とする。 モーダル共有知識を徹底的に活用する新しい相互知識蒸留法を提案する。 MMWHS 2017, MMWHS 2017 を用いた多クラス心筋セグメンテーション実験の結果, CT セグメンテーションに大きな改善が得られた。
  論文  参考訳（メタデータ） (2020-10-04T10:25:13Z)
• Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement and Gated Fusion [71.87627318863612]
  画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。 我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。 我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2020-02-22T14:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。