論文の概要: Prototype-Driven and Multi-Expert Integrated Multi-Modal MR Brain Tumor
Image Segmentation
- arxiv url: http://arxiv.org/abs/2307.12180v1
- Date: Sat, 22 Jul 2023 22:41:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-25 17:29:07.801086
- Title: Prototype-Driven and Multi-Expert Integrated Multi-Modal MR Brain Tumor
Image Segmentation
- Title(参考訳): プロトタイプ駆動型マルチモーダルmr脳腫瘍画像セグメンテーション
- Authors: Yafei Zhang, Zhiyuan Li, Huafeng Li, Dapeng Tao
- Abstract要約: 腫瘍サブリージョンの相互包摂による情報エイリアスの影響は無視されることが多い。
既存の方法は、通常、単一の腫瘍サブリージョンの特徴を強調するために調整された努力を要さない。
腫瘍のプロトタイプ駆動とマルチエキスパート統合を併用したマルチモーダルMR脳腫瘍セグメンテーション法を提案する。
- 参考スコア(独自算出の注目度): 23.127213250062425
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: For multi-modal magnetic resonance (MR) brain tumor image segmentation,
current methods usually directly extract the discriminative features from input
images for tumor sub-region category determination and localization. However,
the impact of information aliasing caused by the mutual inclusion of tumor
sub-regions is often ignored. Moreover, existing methods usually do not take
tailored efforts to highlight the single tumor sub-region features. To this
end, a multi-modal MR brain tumor segmentation method with tumor
prototype-driven and multi-expert integration is proposed. It could highlight
the features of each tumor sub-region under the guidance of tumor prototypes.
Specifically, to obtain the prototypes with complete information, we propose a
mutual transmission mechanism to transfer different modal features to each
other to address the issues raised by insufficient information on single-modal
features. Furthermore, we devise a prototype-driven feature representation and
fusion method with the learned prototypes, which implants the prototypes into
tumor features and generates corresponding activation maps. With the activation
maps, the sub-region features consistent with the prototype category can be
highlighted. A key information enhancement and fusion strategy with
multi-expert integration is designed to further improve the segmentation
performance. The strategy can integrate the features from different layers of
the extra feature extraction network and the features highlighted by the
prototypes. Experimental results on three competition brain tumor segmentation
datasets prove the superiority of the proposed method.
- Abstract(参考訳): マルチモーダル磁気共鳴法 (mr) 脳腫瘍画像分割法では, 従来, 入力画像からの識別的特徴を直接抽出し, 腫瘍サブ領域の分類と局在化を行う。
しかし,腫瘍サブ領域の相互包摂による情報エイリアスの影響は無視されることが多い。
さらに、既存の方法は通常、単一の腫瘍のサブリージョンの特徴を強調するために調整された努力を必要としない。
この目的のために,腫瘍のプロトタイプ駆動・マルチエキスパート統合によるマルチモーダルMR脳腫瘍セグメンテーション法を提案する。
腫瘍プロトタイプの指導下で各腫瘍サブ領域の特徴を強調することができる。
具体的には, プロトタイプの完全な情報を得るために, 単一モーダル特徴の情報不足による問題に対処するため, 異なるモーダル特徴を相互に伝達する相互伝達機構を提案する。
さらに,プロトタイプを腫瘍の特徴に移植し,対応する活性化マップを生成するプロトタイプによる特徴表現と融合法を考案した。
アクティベーションマップでは、プロトタイプのカテゴリと一致するサブリージョンの特徴を強調することができる。
セグメンテーション性能をさらに向上するために,マルチエキスパート統合による重要な情報強化と融合戦略を設計する。
この戦略は、追加機能抽出ネットワークの異なるレイヤの機能と、プロトタイプで強調された機能を統合することができる。
3つの競合脳腫瘍セグメンテーションデータセットの実験結果から,提案手法の優位性が確認された。
関連論文リスト
- multiPI-TransBTS: A Multi-Path Learning Framework for Brain Tumor Image Segmentation Based on Multi-Physical Information [1.7359724605901228]
脳腫瘍距離(BraTS)は、臨床診断、治療計画、脳腫瘍の進行のモニタリングにおいて重要な役割を果たす。
腫瘍の出現、サイズ、強度の変動により、自動セグメンテーションは難しい課題である。
セグメント化精度を高めるために多物理情報を統合するトランスフォーマーベースの新しいフレームワークである MultiPI-TransBTS を提案する。
論文 参考訳(メタデータ) (2024-09-18T17:35:19Z) - Modality-Aware and Shift Mixer for Multi-modal Brain Tumor Segmentation [12.094890186803958]
マルチモーダル画像のモダリティ内依存性とモダリティ間依存性を統合した新しいModality Aware and Shift Mixerを提案する。
具体的には,低レベルのモザイク対関係をモデル化するためのニューロイメージング研究に基づいてModality-Awareモジュールを導入し,モザイクパターンを具体化したModality-Shiftモジュールを開発し,高レベルのモザイク間の複雑な関係を自己注意を通して探索する。
論文 参考訳(メタデータ) (2024-03-04T14:21:51Z) - Cross-modality Guidance-aided Multi-modal Learning with Dual Attention
for MRI Brain Tumor Grading [47.50733518140625]
脳腫瘍は世界で最も致命的ながんの1つであり、子供や高齢者に非常に多い。
本稿では,MRI脳腫瘍グレーディングの課題に対処するために,新たな多モード学習法を提案する。
論文 参考訳(メタデータ) (2024-01-17T07:54:49Z) - Prediction of brain tumor recurrence location based on multi-modal
fusion and nonlinear correlation learning [55.789874096142285]
深層学習に基づく脳腫瘍再発位置予測ネットワークを提案する。
まず、パブリックデータセットBraTS 2021上で、マルチモーダル脳腫瘍セグメンテーションネットワークをトレーニングする。
次に、事前訓練されたエンコーダを、リッチなセマンティックな特徴を抽出するために、プライベートデータセットに転送する。
2つのデコーダは、現在の脳腫瘍を共同に分断し、将来の腫瘍再発位置を予測するために構築されている。
論文 参考訳(メタデータ) (2023-04-11T02:45:38Z) - Exploiting Partial Common Information Microstructure for Multi-Modal
Brain Tumor Segmentation [11.583406152227637]
マルチモーダル性による学習は、磁気共鳴画像データから自動脳腫瘍セグメント化に不可欠である。
既存のアプローチは、モダリティのサブセットによって共有される部分的な共通情報に不可避である。
本稿では,このような部分的な共通情報を同定することで,画像分割モデルの識別能力を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2023-02-06T01:28:52Z) - mmFormer: Multimodal Medical Transformer for Incomplete Multimodal
Learning of Brain Tumor Segmentation [38.22852533584288]
3つの主要要素を持つ不完全なマルチモーダル学習のための新しい医療変換器(mmFormer)を提案する。
提案した mmFormer は, ほぼすべての不完全様相のサブセット上で, 不完全多モード脳腫瘍のセグメント化の最先端手法より優れている。
論文 参考訳(メタデータ) (2022-06-06T08:41:56Z) - Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。
中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。
on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
論文 参考訳(メタデータ) (2022-01-07T07:46:01Z) - Feature-enhanced Generation and Multi-modality Fusion based Deep Neural
Network for Brain Tumor Segmentation with Missing MR Modalities [2.867517731896504]
主な問題は、すべてのMRIが常に臨床検査で利用できるわけではないことである。
今回我々は1つ以上のモダリティが欠落した場合に新しい脳腫瘍分節ネットワークを提案する。
提案ネットワークは,機能強化ジェネレータ,相関制約ブロック,セグメンテーションネットワークの3つのサブネットワークで構成されている。
論文 参考訳(メタデータ) (2021-11-08T10:59:40Z) - Modality Completion via Gaussian Process Prior Variational Autoencoders
for Multi-Modal Glioma Segmentation [75.58395328700821]
本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。
MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。
4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
論文 参考訳(メタデータ) (2021-07-07T19:06:34Z) - Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement
and Gated Fusion [71.87627318863612]
画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。
我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。
我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
論文 参考訳(メタデータ) (2020-02-22T14:32:04Z) - Stan: Small tumor-aware network for breast ultrasound image segmentation [68.8204255655161]
本研究では,小腫瘍認識ネットワーク(Small tumor-Aware Network,STAN)と呼ばれる新しいディープラーニングアーキテクチャを提案する。
提案手法は, 乳腺腫瘍の分節化における最先端のアプローチよりも優れていた。
論文 参考訳(メタデータ) (2020-02-03T22:25:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。