論文の概要: Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement and Gated Fusion

• arxiv url: http://arxiv.org/abs/2002.09708v1
• Date: Sat, 22 Feb 2020 14:32:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-29 19:38:45.054826
• Title: Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement and Gated Fusion
• Title（参考訳）: 機能障害とGated Fusionによるロバストマルチモーダル脳腫瘍切除
• Authors: Cheng Chen, Qi Dou, Yueming Jin, Hao Chen, Jing Qin, Pheng-Ann Heng
• Abstract要約: 画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。 我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。 我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
• 参考スコア（独自算出の注目度）: 71.87627318863612
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accurate medical image segmentation commonly requires effective learning of the complementary information from multimodal data. However, in clinical practice, we often encounter the problem of missing imaging modalities. We tackle this challenge and propose a novel multimodal segmentation framework which is robust to the absence of imaging modalities. Our network uses feature disentanglement to decompose the input modalities into the modality-specific appearance code, which uniquely sticks to each modality, and the modality-invariant content code, which absorbs multimodal information for the segmentation task. With enhanced modality-invariance, the disentangled content code from each modality is fused into a shared representation which gains robustness to missing data. The fusion is achieved via a learning-based strategy to gate the contribution of different modalities at different locations. We validate our method on the important yet challenging multimodal brain tumor segmentation task with the BRATS challenge dataset. With competitive performance to the state-of-the-art approaches for full modality, our method achieves outstanding robustness under various missing modality(ies) situations, significantly exceeding the state-of-the-art method by over 16% in average for Dice on whole tumor segmentation.
• Abstract（参考訳）: 正確な医用画像分割は、一般的に、マルチモーダルデータからの補完的情報の効果的な学習を必要とする。 しかし,臨床実践では画像のモダリティの欠如という問題に遭遇することが多い。 本稿では,この課題に対処し,画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。 本ネットワークは,各モダリティに一意に固執するモダリティ特有の外観コードと,セグメンテーションタスクにマルチモダリティ情報を吸収するモダリティ不変コンテンツコードとに,入力モダリティを分解するために特徴ディスタングルを用いる。 改良されたモダリティ不変性により、各モダリティから切り離されたコンテンツコードは共有表現に融合され、欠落データに対して堅牢性を得る。 この融合は、異なる場所で異なるモダリティの寄与をゲートする学習ベースの戦略によって達成される。 我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーションタスクの検証を行った。 フルモダリティに対する最先端のアプローチと競合する性能を持つため,本手法は,腫瘍全層分画法では平均16%以上の精度で最先端法を大幅に上回る,様々な欠如モダリティ(ies)状況下で優れたロバスト性を実現する。

関連論文リスト

• Robust Semi-supervised Multimodal Medical Image Segmentation via Cross Modality Collaboration [21.97457095780378]
  本稿では,ラベル付きデータの不足やモダリティの不一致に頑健な,新しい半教師付きマルチモーダルセグメンテーションフレームワークを提案する。 本フレームワークでは,各モダリティに固有の,モダリティに依存しない知識を蒸留する,新たなモダリティ協調戦略を採用している。 また、対照的な一貫した学習を統合して解剖学的構造を規制し、ラベルのないデータに対する解剖学的予測アライメントを容易にする。
  論文  参考訳（メタデータ） (2024-08-14T07:34:12Z)
• Modality-Aware and Shift Mixer for Multi-modal Brain Tumor Segmentation [12.094890186803958]
  マルチモーダル画像のモダリティ内依存性とモダリティ間依存性を統合した新しいModality Aware and Shift Mixerを提案する。 具体的には,低レベルのモザイク対関係をモデル化するためのニューロイメージング研究に基づいてModality-Awareモジュールを導入し,モザイクパターンを具体化したModality-Shiftモジュールを開発し,高レベルのモザイク間の複雑な関係を自己注意を通して探索する。
  論文  参考訳（メタデータ） (2024-03-04T14:21:51Z)
• Cross-modality Guidance-aided Multi-modal Learning with Dual Attention for MRI Brain Tumor Grading [47.50733518140625]
  脳腫瘍は世界で最も致命的ながんの1つであり、子供や高齢者に非常に多い。 本稿では,MRI脳腫瘍グレーディングの課題に対処するために,新たな多モード学習法を提案する。
  論文  参考訳（メタデータ） (2024-01-17T07:54:49Z)
• Modality-Agnostic Learning for Medical Image Segmentation Using Multi-modality Self-distillation [1.815047691981538]
  マルチモーダル・セルフディスト・イレレーション(MAG-MS)によるモダリティ非依存学習という新しい枠組みを提案する。 MAG-MSは複数のモダリティの融合から知識を蒸留し、個々のモダリティに対する表現学習を強化する。 ベンチマークデータセットを用いた実験により,MAG-MSの高効率化とセグメンテーション性能の向上が示された。
  論文  参考訳（メタデータ） (2023-06-06T14:48:50Z)
• Multi-task Paired Masking with Alignment Modeling for Medical Vision-Language Pre-training [55.56609500764344]
  本稿では,マルチタスク・ペアド・マスキング・アライメント(MPMA)に基づく統合フレームワークを提案する。 また, メモリ拡張クロスモーダルフュージョン (MA-CMF) モジュールを導入し, 視覚情報を完全統合し, レポート再構築を支援する。
  論文  参考訳（メタデータ） (2023-05-13T13:53:48Z)
• Unified Multi-Modal Image Synthesis for Missing Modality Imputation [23.681228202899984]
  そこで本研究では,モダリティの欠如を抑えるために,新しいマルチモーダル画像合成法を提案する。 提案手法は, 各種合成タスクの処理に有効であり, 従来の手法と比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2023-04-11T16:59:15Z)
• Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
  本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。 中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。 on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
  論文  参考訳（メタデータ） (2022-01-07T07:46:01Z)
• Towards Cross-modality Medical Image Segmentation with Online Mutual Knowledge Distillation [71.89867233426597]
  本稿では,あるモダリティから学習した事前知識を活用し,別のモダリティにおけるセグメンテーション性能を向上させることを目的とする。 モーダル共有知識を徹底的に活用する新しい相互知識蒸留法を提案する。 MMWHS 2017, MMWHS 2017 を用いた多クラス心筋セグメンテーション実験の結果, CT セグメンテーションに大きな改善が得られた。
  論文  参考訳（メタデータ） (2020-10-04T10:25:13Z)
• Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis [143.55901940771568]
  マルチモーダルMR画像合成のためのHybrid-fusion Network(Hi-Net)を提案する。 当社のHi-Netでは,各モーダリティの表現を学習するために,モーダリティ特化ネットワークを用いている。 マルチモーダル合成ネットワークは、潜在表現と各モーダルの階層的特徴を密結合するように設計されている。
  論文  参考訳（メタデータ） (2020-02-11T08:26:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。