論文の概要: Prototype-Driven and Multi-Expert Integrated Multi-Modal MR Brain Tumor
Image Segmentation
- arxiv url: http://arxiv.org/abs/2307.12180v1
- Date: Sat, 22 Jul 2023 22:41:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-25 17:29:07.801086
- Title: Prototype-Driven and Multi-Expert Integrated Multi-Modal MR Brain Tumor
Image Segmentation
- Title(参考訳): プロトタイプ駆動型マルチモーダルmr脳腫瘍画像セグメンテーション
- Authors: Yafei Zhang, Zhiyuan Li, Huafeng Li, Dapeng Tao
- Abstract要約: 腫瘍サブリージョンの相互包摂による情報エイリアスの影響は無視されることが多い。
既存の方法は、通常、単一の腫瘍サブリージョンの特徴を強調するために調整された努力を要さない。
腫瘍のプロトタイプ駆動とマルチエキスパート統合を併用したマルチモーダルMR脳腫瘍セグメンテーション法を提案する。
- 参考スコア(独自算出の注目度): 23.127213250062425
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: For multi-modal magnetic resonance (MR) brain tumor image segmentation,
current methods usually directly extract the discriminative features from input
images for tumor sub-region category determination and localization. However,
the impact of information aliasing caused by the mutual inclusion of tumor
sub-regions is often ignored. Moreover, existing methods usually do not take
tailored efforts to highlight the single tumor sub-region features. To this
end, a multi-modal MR brain tumor segmentation method with tumor
prototype-driven and multi-expert integration is proposed. It could highlight
the features of each tumor sub-region under the guidance of tumor prototypes.
Specifically, to obtain the prototypes with complete information, we propose a
mutual transmission mechanism to transfer different modal features to each
other to address the issues raised by insufficient information on single-modal
features. Furthermore, we devise a prototype-driven feature representation and
fusion method with the learned prototypes, which implants the prototypes into
tumor features and generates corresponding activation maps. With the activation
maps, the sub-region features consistent with the prototype category can be
highlighted. A key information enhancement and fusion strategy with
multi-expert integration is designed to further improve the segmentation
performance. The strategy can integrate the features from different layers of
the extra feature extraction network and the features highlighted by the
prototypes. Experimental results on three competition brain tumor segmentation
datasets prove the superiority of the proposed method.
- Abstract(参考訳): マルチモーダル磁気共鳴法 (mr) 脳腫瘍画像分割法では, 従来, 入力画像からの識別的特徴を直接抽出し, 腫瘍サブ領域の分類と局在化を行う。
しかし,腫瘍サブ領域の相互包摂による情報エイリアスの影響は無視されることが多い。
さらに、既存の方法は通常、単一の腫瘍のサブリージョンの特徴を強調するために調整された努力を必要としない。
この目的のために,腫瘍のプロトタイプ駆動・マルチエキスパート統合によるマルチモーダルMR脳腫瘍セグメンテーション法を提案する。
腫瘍プロトタイプの指導下で各腫瘍サブ領域の特徴を強調することができる。
具体的には, プロトタイプの完全な情報を得るために, 単一モーダル特徴の情報不足による問題に対処するため, 異なるモーダル特徴を相互に伝達する相互伝達機構を提案する。
さらに,プロトタイプを腫瘍の特徴に移植し,対応する活性化マップを生成するプロトタイプによる特徴表現と融合法を考案した。
アクティベーションマップでは、プロトタイプのカテゴリと一致するサブリージョンの特徴を強調することができる。
セグメンテーション性能をさらに向上するために,マルチエキスパート統合による重要な情報強化と融合戦略を設計する。
この戦略は、追加機能抽出ネットワークの異なるレイヤの機能と、プロトタイプで強調された機能を統合することができる。
3つの競合脳腫瘍セグメンテーションデータセットの実験結果から,提案手法の優位性が確認された。
関連論文リスト
- Mask-Enhanced Segment Anything Model for Tumor Lesion Semantic
Segmentation [49.916468280857885]
Mask-Enhanced SAM (M-SAM) は3次元腫瘍病変の分節に適した革新的なアーキテクチャである。
本稿では,M-SAM内におけるMask-Enhanced Adapter (MEA) を提案する。
論文 参考訳(メタデータ) (2024-03-09T13:37:02Z) - Modality-Aware and Shift Mixer for Multi-modal Brain Tumor Segmentation [12.094890186803958]
マルチモーダル画像のモダリティ内依存性とモダリティ間依存性を統合した新しいModality Aware and Shift Mixerを提案する。
具体的には,低レベルのモザイク対関係をモデル化するためのニューロイメージング研究に基づいてModality-Awareモジュールを導入し,モザイクパターンを具体化したModality-Shiftモジュールを開発し,高レベルのモザイク間の複雑な関係を自己注意を通して探索する。
論文 参考訳(メタデータ) (2024-03-04T14:21:51Z) - Cross-modality Guidance-aided Multi-modal Learning with Dual Attention
for MRI Brain Tumor Grading [47.50733518140625]
脳腫瘍は世界で最も致命的ながんの1つであり、子供や高齢者に非常に多い。
本稿では,MRI脳腫瘍グレーディングの課題に対処するために,新たな多モード学習法を提案する。
論文 参考訳(メタデータ) (2024-01-17T07:54:49Z) - M3AE: Multimodal Representation Learning for Brain Tumor Segmentation
with Missing Modalities [29.455215925816187]
マルチモーダルMRI(Multimodal magnetic resonance imaging)は、脳腫瘍のサブリージョン解析に補完的な情報を提供する。
画像の破損、アーティファクト、取得プロトコル、コントラストエージェントへのアレルギー、あるいは単にコストによって1つ以上のモダリティが欠落することが一般的である。
そこで本研究では,脳腫瘍切除のための新しい2段階の枠組みを提案する。
論文 参考訳(メタデータ) (2023-03-09T14:54:30Z) - Exploiting Partial Common Information Microstructure for Multi-Modal
Brain Tumor Segmentation [11.583406152227637]
マルチモーダル性による学習は、磁気共鳴画像データから自動脳腫瘍セグメント化に不可欠である。
既存のアプローチは、モダリティのサブセットによって共有される部分的な共通情報に不可避である。
本稿では,このような部分的な共通情報を同定することで,画像分割モデルの識別能力を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2023-02-06T01:28:52Z) - mmFormer: Multimodal Medical Transformer for Incomplete Multimodal
Learning of Brain Tumor Segmentation [38.22852533584288]
3つの主要要素を持つ不完全なマルチモーダル学習のための新しい医療変換器(mmFormer)を提案する。
提案した mmFormer は, ほぼすべての不完全様相のサブセット上で, 不完全多モード脳腫瘍のセグメント化の最先端手法より優れている。
論文 参考訳(メタデータ) (2022-06-06T08:41:56Z) - Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。
中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。
on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
論文 参考訳(メタデータ) (2022-01-07T07:46:01Z) - Feature-enhanced Generation and Multi-modality Fusion based Deep Neural
Network for Brain Tumor Segmentation with Missing MR Modalities [2.867517731896504]
主な問題は、すべてのMRIが常に臨床検査で利用できるわけではないことである。
今回我々は1つ以上のモダリティが欠落した場合に新しい脳腫瘍分節ネットワークを提案する。
提案ネットワークは,機能強化ジェネレータ,相関制約ブロック,セグメンテーションネットワークの3つのサブネットワークで構成されている。
論文 参考訳(メタデータ) (2021-11-08T10:59:40Z) - Modality Completion via Gaussian Process Prior Variational Autoencoders
for Multi-Modal Glioma Segmentation [75.58395328700821]
本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。
MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。
4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
論文 参考訳(メタデータ) (2021-07-07T19:06:34Z) - Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement
and Gated Fusion [71.87627318863612]
画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。
我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。
我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
論文 参考訳(メタデータ) (2020-02-22T14:32:04Z) - Stan: Small tumor-aware network for breast ultrasound image segmentation [68.8204255655161]
本研究では,小腫瘍認識ネットワーク(Small tumor-Aware Network,STAN)と呼ばれる新しいディープラーニングアーキテクチャを提案する。
提案手法は, 乳腺腫瘍の分節化における最先端のアプローチよりも優れていた。
論文 参考訳(メタデータ) (2020-02-03T22:25:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。