論文の概要: M3AE: Multimodal Representation Learning for Brain Tumor Segmentation
with Missing Modalities
- arxiv url: http://arxiv.org/abs/2303.05302v1
- Date: Thu, 9 Mar 2023 14:54:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-10 14:32:03.297584
- Title: M3AE: Multimodal Representation Learning for Brain Tumor Segmentation
with Missing Modalities
- Title（参考訳）: m3ae : 欠失した脳腫瘍のマルチモーダル表現学習
- Authors: Hong Liu, Dong Wei, Donghuan Lu, Jinghan Sun, Liansheng Wang, Yefeng
Zheng
- Abstract要約: マルチモーダルMRI(Multimodal magnetic resonance imaging)は、脳腫瘍のサブリージョン解析に補完的な情報を提供する。
画像の破損、アーティファクト、取得プロトコル、コントラストエージェントへのアレルギー、あるいは単にコストによって1つ以上のモダリティが欠落することが一般的である。
そこで本研究では,脳腫瘍切除のための新しい2段階の枠組みを提案する。
- 参考スコア（独自算出の注目度）: 29.455215925816187
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Multimodal magnetic resonance imaging (MRI) provides complementary
information for sub-region analysis of brain tumors. Plenty of methods have
been proposed for automatic brain tumor segmentation using four common MRI
modalities and achieved remarkable performance. In practice, however, it is
common to have one or more modalities missing due to image corruption,
artifacts, acquisition protocols, allergy to contrast agents, or simply cost.
In this work, we propose a novel two-stage framework for brain tumor
segmentation with missing modalities. In the first stage, a multimodal masked
autoencoder (M3AE) is proposed, where both random modalities (i.e., modality
dropout) and random patches of the remaining modalities are masked for a
reconstruction task, for self-supervised learning of robust multimodal
representations against missing modalities. To this end, we name our framework
M3AE. Meanwhile, we employ model inversion to optimize a representative
full-modal image at marginal extra cost, which will be used to substitute for
the missing modalities and boost performance during inference. Then in the
second stage, a memory-efficient self distillation is proposed to distill
knowledge between heterogenous missing-modal situations while fine-tuning the
model for supervised segmentation. Our M3AE belongs to the 'catch-all' genre
where a single model can be applied to all possible subsets of modalities, thus
is economic for both training and deployment. Extensive experiments on BraTS
2018 and 2020 datasets demonstrate its superior performance to existing
state-of-the-art methods with missing modalities, as well as the efficacy of
its components. Our code is available at: https://github.com/ccarliu/m3ae.
- Abstract（参考訳）: multimodal magnetic resonance imaging (mri)は脳腫瘍のサブリージョン解析のための補完的情報を提供する。
4つのMRIモダリティを用いた自動脳腫瘍郭清法が提案され,優れた性能を示した。
しかし実際には、画像の破損、アーティファクト、取得プロトコル、コントラストエージェントへのアレルギー、あるいは単にコストによって1つ以上のモダリティが失われることが一般的である。
そこで本研究では,脳腫瘍切除のための新しい2段階フレームワークを提案する。
第1段階では、欠落したモダリティに対する堅牢なマルチモーダル表現の自己教師学習のために、ランダムなモダリティ(モダリティドロップアウト)と残りのモダリティのランダムなパッチの両方をマスクするマルチモーダルマスク自動符号化器(M3AE)が提案される。
この目的のために、我々のフレームワークをM3AEと命名する。
一方,モデルインバージョンを用いて,限界余剰コストで代表的フルモーダル画像を最適化し,不足するモダリティの代替や推論時の性能向上に活用する。
そして,第2段階において,教師付きセグメント化のモデルを微調整しながら,異種欠落状況間の知識を蒸留するメモリ効率の高い自己蒸留法を提案する。
私たちのm3aeは‘catch-all’ジャンルに属しており、単一のモデルをモダリティのすべての可能なサブセットに適用することができます。
BraTS 2018と2020データセットの大規模な実験は、そのコンポーネントの有効性だけでなく、モダリティの欠如した既存の最先端メソッドよりも優れたパフォーマンスを示している。
私たちのコードは、https://github.com/ccarliu/m3ae.comで利用可能です。
関連論文リスト
- MedMAP: Promoting Incomplete Multi-modal Brain Tumor Segmentation with Alignment [20.358300924109162]
臨床ではMRIの特定のモダリティが欠如している可能性があるため、より困難なシナリオが提示される。
知識蒸留、ドメイン適応、共有潜在空間は一般的に有望な戦略として現れている。
本稿では,事前学習モデルの置換として,係わるモダリティの潜在的特徴を適切に定義された分布アンカーに整合させる新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2024-08-18T13:16:30Z) - Enhancing Incomplete Multi-modal Brain Tumor Segmentation with Intra-modal Asymmetry and Inter-modal Dependency [31.047259264831947]
現実の一般的な問題は、様々なスキャンプロトコルや患者の状態によって、いくつかのモダリティが利用できないことである。
従来の手法では、アクセス可能なマルチモーダルの特徴を融合させ、注意機構を活用し、欠落したモダリティを合成することで、この問題に対処しようと試みてきた。
本稿では,2つの視点から深層学習に基づく脳腫瘍セグメンテーションモデルを提案する。
論文 参考訳（メタデータ） (2024-06-14T16:54:53Z) - Cross-modality Guidance-aided Multi-modal Learning with Dual Attention
for MRI Brain Tumor Grading [47.50733518140625]
脳腫瘍は世界で最も致命的ながんの1つであり、子供や高齢者に非常に多い。
本稿では,MRI脳腫瘍グレーディングの課題に対処するために,新たな多モード学習法を提案する。
論文 参考訳（メタデータ） (2024-01-17T07:54:49Z) - mmFormer: Multimodal Medical Transformer for Incomplete Multimodal
Learning of Brain Tumor Segmentation [38.22852533584288]
3つの主要要素を持つ不完全なマルチモーダル学習のための新しい医療変換器(mmFormer)を提案する。
提案した mmFormer は, ほぼすべての不完全様相のサブセット上で, 不完全多モード脳腫瘍のセグメント化の最先端手法より優れている。
論文 参考訳（メタデータ） (2022-06-06T08:41:56Z) - SMU-Net: Style matching U-Net for brain tumor segmentation with missing
modalities [4.855689194518905]
MRI画像における脳腫瘍のセグメント化のためのスタイルマッチングU-Net(SMU-Net)を提案する。
我々の共同学習手法は、コンテンツとスタイルマッチング機構を用いて、全モダリティネットワークから欠落したモダリティネットワークに情報的特徴を蒸留する。
我々のスタイルマッチングモジュールは、一致した関数を学習して表現空間を適応的に再構成し、情報的特徴とテクスチャ的特徴を完全なモダリティパスから欠落モダリティパスに転送する。
論文 参考訳（メタデータ） (2022-04-06T17:55:19Z) - Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。
中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。
on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
論文 参考訳（メタデータ） (2022-01-07T07:46:01Z) - Feature-enhanced Generation and Multi-modality Fusion based Deep Neural
Network for Brain Tumor Segmentation with Missing MR Modalities [2.867517731896504]
主な問題は、すべてのMRIが常に臨床検査で利用できるわけではないことである。
今回我々は1つ以上のモダリティが欠落した場合に新しい脳腫瘍分節ネットワークを提案する。
提案ネットワークは,機能強化ジェネレータ,相関制約ブロック,セグメンテーションネットワークの3つのサブネットワークで構成されている。
論文 参考訳（メタデータ） (2021-11-08T10:59:40Z) - Modality Completion via Gaussian Process Prior Variational Autoencoders
for Multi-Modal Glioma Segmentation [75.58395328700821]
本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。
MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。
4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
論文 参考訳（メタデータ） (2021-07-07T19:06:34Z) - M2Net: Multi-modal Multi-channel Network for Overall Survival Time
Prediction of Brain Tumor Patients [151.4352001822956]
生存時間(OS)の早期かつ正確な予測は、脳腫瘍患者に対するより良い治療計画を得るのに役立つ。
既存の予測手法は、磁気共鳴(MR)ボリュームの局所的な病変領域における放射能特性に依存している。
我々は,マルチモーダルマルチチャネルネットワーク(M2Net)のエンドツーエンドOS時間予測モデルを提案する。
論文 参考訳（メタデータ） (2020-06-01T05:21:37Z) - Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement
and Gated Fusion [71.87627318863612]
画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。
我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。
我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
論文 参考訳（メタデータ） (2020-02-22T14:32:04Z) - Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis [143.55901940771568]
マルチモーダルMR画像合成のためのHybrid-fusion Network(Hi-Net)を提案する。
当社のHi-Netでは,各モーダリティの表現を学習するために,モーダリティ特化ネットワークを用いている。
マルチモーダル合成ネットワークは、潜在表現と各モーダルの階層的特徴を密結合するように設計されている。
論文 参考訳（メタデータ） (2020-02-11T08:26:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。