論文の概要: Enhancing Incomplete Multi-modal Brain Tumor Segmentation with Intra-modal Asymmetry and Inter-modal Dependency
- arxiv url: http://arxiv.org/abs/2406.10175v1
- Date: Fri, 14 Jun 2024 16:54:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-17 12:46:51.820269
- Title: Enhancing Incomplete Multi-modal Brain Tumor Segmentation with Intra-modal Asymmetry and Inter-modal Dependency
- Title(参考訳): モード内非対称性とモード間依存性をともなう不完全多モード脳腫瘍切離の増強
- Authors: Weide Liu, Jingwen Hou, Xiaoyang Zhong, Huijing Zhan, Jun Cheng, Yuming Fang, Guanghui Yue,
- Abstract要約: 現実の一般的な問題は、様々なスキャンプロトコルや患者の状態によって、いくつかのモダリティが利用できないことである。
従来の手法では、アクセス可能なマルチモーダルの特徴を融合させ、注意機構を活用し、欠落したモダリティを合成することで、この問題に対処しようと試みてきた。
本稿では,2つの視点から深層学習に基づく脳腫瘍セグメンテーションモデルを提案する。
- 参考スコア(独自算出の注目度): 31.047259264831947
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning-based brain tumor segmentation (BTS) models for multi-modal MRI images have seen significant advancements in recent years. However, a common problem in practice is the unavailability of some modalities due to varying scanning protocols and patient conditions, making segmentation from incomplete MRI modalities a challenging issue. Previous methods have attempted to address this by fusing accessible multi-modal features, leveraging attention mechanisms, and synthesizing missing modalities using generative models. However, these methods ignore the intrinsic problems of medical image segmentation, such as the limited availability of training samples, particularly for cases with tumors. Furthermore, these methods require training and deploying a specific model for each subset of missing modalities. To address these issues, we propose a novel approach that enhances the BTS model from two perspectives. Firstly, we introduce a pre-training stage that generates a diverse pre-training dataset covering a wide range of different combinations of tumor shapes and brain anatomy. Secondly, we propose a post-training stage that enables the model to reconstruct missing modalities in the prediction results when only partial modalities are available. To achieve the pre-training stage, we conceptually decouple the MRI image into two parts: `anatomy' and `tumor'. We pre-train the BTS model using synthesized data generated from the anatomy and tumor parts across different training samples. ... Extensive experiments demonstrate that our proposed method significantly improves the performance over the baseline and achieves new state-of-the-art results on three brain tumor segmentation datasets: BRATS2020, BRATS2018, and BRATS2015.
- Abstract(参考訳): マルチモーダルMRI画像のための深層学習に基づく脳腫瘍セグメンテーション(BTS)モデルが近年大きな進歩を遂げている。
しかし、実際には、様々なスキャンプロトコルや患者条件により、いくつかのモダリティが利用できないことが一般的な問題であり、不完全なMRIモダリティからのセグメンテーションが難しい問題となっている。
従来の手法では、アクセス可能なマルチモーダルな特徴を融合させ、注意機構を活用し、生成モデルを用いて欠落したモダリティを合成することで、この問題に対処しようと試みてきた。
しかし、これらの手法は、特に腫瘍の場合の訓練サンプルの入手頻度の制限など、医用画像分割の本質的な問題を無視している。
さらに、これらの方法は、欠落したモダリティのサブセットごとに、特定のモデルをトレーニングし、デプロイする必要があります。
これらの問題に対処するために,BTSモデルを2つの視点から拡張する新しいアプローチを提案する。
まず,腫瘍形状と脳解剖学の幅広い組み合わせを網羅した,多様な事前学習データセットを生成する事前学習段階を導入する。
第2に,部分的モダリティのみを利用できる場合の予測結果に欠落したモダリティを再構成できるポストトレーニングステージを提案する。
事前訓練段階を達成するため,MRI画像は「解剖学」と「腫瘍」の2つの部分に分けられる。
我々は, 解剖学的および腫瘍部位から生成された合成データを用いて, 異なるトレーニングサンプル間でBTSモデルを事前訓練する。
はぁ...。
広汎な実験により,提案手法は,BRATS2020,BRATS2018,BRATS2015の3つの脳腫瘍セグメンテーションデータセットに対して,ベースライン上での性能を著しく向上し,新しい最先端の結果が得られることが示された。
関連論文リスト
- Cross-modality Guidance-aided Multi-modal Learning with Dual Attention
for MRI Brain Tumor Grading [47.50733518140625]
脳腫瘍は世界で最も致命的ながんの1つであり、子供や高齢者に非常に多い。
本稿では,MRI脳腫瘍グレーディングの課題に対処するために,新たな多モード学習法を提案する。
論文 参考訳(メタデータ) (2024-01-17T07:54:49Z) - M3AE: Multimodal Representation Learning for Brain Tumor Segmentation
with Missing Modalities [29.455215925816187]
マルチモーダルMRI(Multimodal magnetic resonance imaging)は、脳腫瘍のサブリージョン解析に補完的な情報を提供する。
画像の破損、アーティファクト、取得プロトコル、コントラストエージェントへのアレルギー、あるいは単にコストによって1つ以上のモダリティが欠落することが一般的である。
そこで本研究では,脳腫瘍切除のための新しい2段階の枠組みを提案する。
論文 参考訳(メタデータ) (2023-03-09T14:54:30Z) - Patched Diffusion Models for Unsupervised Anomaly Detection in Brain MRI [55.78588835407174]
本稿では,正常脳解剖のパッチベース推定法として拡散モデルの生成タスクを再構築する手法を提案する。
腫瘍と多発性硬化症について検討し,既存のベースラインと比較して25.1%の改善がみられた。
論文 参考訳(メタデータ) (2023-03-07T09:40:22Z) - DIGEST: Deeply supervIsed knowledGE tranSfer neTwork learning for brain
tumor segmentation with incomplete multi-modal MRI scans [16.93394669748461]
多モードMRI(Multi-modal magnetic resonance imaging)に基づく脳腫瘍の分節化は、脳腫瘍の診断、治療、術後の評価を支援する重要な役割を担っている。
既存の自動セグメンテーション法によって達成されたインスピレーション性能にもかかわらず、マルチモーダルMRIデータは実際の臨床応用では利用できない。
そこで本研究では,異なる条件下で正確な脳腫瘍セグメント化を実現するDIGEST(Deeply SupervIsed KnowledGE tranSfer neTwork)を提案する。
論文 参考訳(メタデータ) (2022-11-15T09:01:14Z) - Learning Multi-Modal Brain Tumor Segmentation from Privileged
Semi-Paired MRI Images with Curriculum Disentanglement Learning [4.43142018105102]
本稿では,脳腫瘍セグメンテーションのための2段階(イントラモダリティとイントラモダリティ)のカリキュラム・アンタングルメント・ラーニング・フレームワークを提案する。
最初のステップでは、拡張されたモダリティ内スタイルのイメージで再構成とセグメンテーションを行うことを提案する。
第2のステップでは、モデルは、未ペア画像とペア画像の両方の再構成、教師なし/教師なし翻訳、セグメンテーションを共同で行う。
論文 参考訳(メタデータ) (2022-08-26T16:52:43Z) - CKD-TransBTS: Clinical Knowledge-Driven Hybrid Transformer with
Modality-Correlated Cross-Attention for Brain Tumor Segmentation [37.39921484146194]
磁気共鳴画像(MRI)における脳腫瘍のセグメンテーションは、脳腫瘍の診断、癌管理、研究目的に不可欠である。
10年にわたるBraTSチャレンジの成功により、様々な技術的側面においてBTSの難しさに取り組むために、多くの優れたBTSモデルが提案されている。
CKD-TransBTSと呼ばれる臨床知識駆動型脳腫瘍分節モデルを提案する。
論文 参考訳(メタデータ) (2022-07-15T09:35:29Z) - Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。
中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。
on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
論文 参考訳(メタデータ) (2022-01-07T07:46:01Z) - Modality Completion via Gaussian Process Prior Variational Autoencoders
for Multi-Modal Glioma Segmentation [75.58395328700821]
本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。
MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。
4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
論文 参考訳(メタデータ) (2021-07-07T19:06:34Z) - Modality-Pairing Learning for Brain Tumor Segmentation [34.58078431696929]
そこで我々は,脳腫瘍セグメンテーションのための新しいエンド・ツー・エンドモダリティペアリング学習法を提案する。
提案手法はBraTS 2020オンラインテストデータセット上でテストされ,有望なセグメンテーション性能が得られた。
論文 参考訳(メタデータ) (2020-10-19T07:42:10Z) - M2Net: Multi-modal Multi-channel Network for Overall Survival Time
Prediction of Brain Tumor Patients [151.4352001822956]
生存時間(OS)の早期かつ正確な予測は、脳腫瘍患者に対するより良い治療計画を得るのに役立つ。
既存の予測手法は、磁気共鳴(MR)ボリュームの局所的な病変領域における放射能特性に依存している。
我々は,マルチモーダルマルチチャネルネットワーク(M2Net)のエンドツーエンドOS時間予測モデルを提案する。
論文 参考訳(メタデータ) (2020-06-01T05:21:37Z) - Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement
and Gated Fusion [71.87627318863612]
画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。
我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。
我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
論文 参考訳(メタデータ) (2020-02-22T14:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。