論文の概要: Enhanced Self-supervised Learning for Multi-modality MRI Segmentation and Classification: A Novel Approach Avoiding Model Collapse
- arxiv url: http://arxiv.org/abs/2407.10377v2
- Date: Wed, 17 Jul 2024 07:05:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-18 11:56:44.631011
- Title: Enhanced Self-supervised Learning for Multi-modality MRI Segmentation and Classification: A Novel Approach Avoiding Model Collapse
- Title（参考訳）: 多モードMRI分割・分類のための自己教師付き学習の強化:モデル崩壊を回避する新しいアプローチ
- Authors: Linxuan Han, Sa Xiao, Zimeng Li, Haidong Li, Xiuchao Zhao, Fumin Guo, Yeqing Han, Xin Zhou,
- Abstract要約: 多モードMRI(Multi-modality magnetic resonance imaging)は、コンピュータ支援診断のための補完的な情報を提供する。
従来のディープラーニングアルゴリズムは、病変をセグメント化し、磁気共鳴画像で疾患を分類する特定の解剖学的構造を特定するのに適している。
自己教師付き学習(SSL)は、事前学習によりラベル付きデータから特徴表現を効果的に学習することができ、自然画像解析に有効であることが示されている。
ほとんどのSSLメソッドはマルチモードMRIの類似性を無視し、モデルが崩壊する。
ハイブリッドマスクパターン(HMP)とピラミッドバーローツイン(PBT)を組み合わせた多モードMRIマスク自動エンコーダの確立と検証を行った。
- 参考スコア（独自算出の注目度）: 6.3467517115551875
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-modality magnetic resonance imaging (MRI) can provide complementary information for computer-aided diagnosis. Traditional deep learning algorithms are suitable for identifying specific anatomical structures segmenting lesions and classifying diseases with magnetic resonance images. However, manual labels are limited due to high expense, which hinders further improvement of model accuracy. Self-supervised learning (SSL) can effectively learn feature representations from unlabeled data by pre-training and is demonstrated to be effective in natural image analysis. Most SSL methods ignore the similarity of multi-modality MRI, leading to model collapse. This limits the efficiency of pre-training, causing low accuracy in downstream segmentation and classification tasks. To solve this challenge, we establish and validate a multi-modality MRI masked autoencoder consisting of hybrid mask pattern (HMP) and pyramid barlow twin (PBT) module for SSL on multi-modality MRI analysis. The HMP concatenates three masking steps forcing the SSL to learn the semantic connections of multi-modality images by reconstructing the masking patches. We have proved that the proposed HMP can avoid model collapse. The PBT module exploits the pyramidal hierarchy of the network to construct barlow twin loss between masked and original views, aligning the semantic representations of image patches at different vision scales in latent space. Experiments on BraTS2023, PI-CAI, and lung gas MRI datasets further demonstrate the superiority of our framework over the state-of-the-art. The performance of the segmentation and classification is substantially enhanced, supporting the accurate detection of small lesion areas. The code is available at https://github.com/LinxuanHan/M2-MAE.
- Abstract（参考訳）: 多モードMRI(Multi-modality magnetic resonance imaging)は、コンピュータ支援診断のための補完的な情報を提供する。
従来のディープラーニングアルゴリズムは、病変をセグメント化し、磁気共鳴画像で疾患を分類する特定の解剖学的構造を特定するのに適している。
しかし、高コストのため手動ラベルは制限されており、モデル精度のさらなる向上を妨げている。
自己教師付き学習(SSL)は、事前学習によりラベル付きデータから特徴表現を効果的に学習することができ、自然画像解析に有効であることが示されている。
ほとんどのSSLメソッドはマルチモードMRIの類似性を無視し、モデルが崩壊する。
これにより、事前トレーニングの効率が制限され、下流のセグメンテーションや分類タスクの精度が低下する。
この課題を解決するため,多モードMRI解析によるSSLのためのハイブリッドマスクパターン(HMP)とピラミッドバーローツイン(PBT)モジュールからなる多モードMRIマスク自動エンコーダの確立と検証を行った。
HMPは、SSLにマスクパッチを再構築することで、マルチモダリティ画像の意味的な接続を学習させる3つのマスキングステップを結合する。
我々は,提案したHMPがモデル崩壊を回避できることを証明した。
PBTモジュールは、ネットワークのピラミッド階層を利用して、マスク付きとオリジナルビュー間のバローツインロスを構築し、遅延空間における異なる視覚スケールでのイメージパッチの意味的表現を整列する。
BraTS2023、PI-CAI、および肺ガスMRIデータセットの実験は、我々のフレームワークが最先端技術よりも優れていることをさらに証明している。
セグメンテーションと分類の性能は著しく向上し、小さな病変領域の正確な検出を支援する。
コードはhttps://github.com/LinxuanHan/M2-MAEで公開されている。
関連論文リスト
- PMT: Progressive Mean Teacher via Exploring Temporal Consistency for Semi-Supervised Medical Image Segmentation [51.509573838103854]
医用画像セグメンテーションのための半教師付き学習フレームワークであるプログレッシブ平均教師(PMT)を提案する。
我々のPMTは、トレーニングプロセスにおいて、堅牢で多様な特徴を学習することで、高忠実な擬似ラベルを生成する。
CT と MRI の異なる2つのデータセットに対する実験結果から,本手法が最先端の医用画像分割法より優れていることが示された。
論文 参考訳（メタデータ） (2024-09-08T15:02:25Z) - NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation [55.51412454263856]
本稿では,fMRI信号を用いた拡散モデル生成過程を直接変調することを提案する。
様々な個人から約67,000 fMRI-imageペアのトレーニングを行うことで,fMRI-to-imageデコーディング能力に優れたモデルが得られた。
論文 参考訳（メタデータ） (2024-03-27T02:42:52Z) - CoNeS: Conditional neural fields with shift modulation for multi-sequence MRI translation [5.662694302758443]
マルチシーケンスMRI(Multi-sequence magnetic resonance imaging)は、現代の臨床研究とディープラーニング研究の両方に広く応用されている。
画像取得プロトコルの違いや、患者のコントラスト剤の禁忌が原因で、MRIの1つ以上の配列が欠落することがしばしば起こる。
1つの有望なアプローチは、生成モデルを利用して欠落したシーケンスを合成することであり、これはサロゲート獲得の役割を果たす。
論文 参考訳（メタデータ） (2023-09-06T19:01:58Z) - Disruptive Autoencoders: Leveraging Low-level features for 3D Medical
Image Pre-training [51.16994853817024]
本研究は、3Dラジオグラフィ画像のための効果的な事前学習フレームワークの設計に焦点をあてる。
ローカルマスキングと低レベルの摂動の組み合わせによって生成された破壊から、オリジナルのイメージを再構築しようとする事前トレーニングフレームワークであるDisruptive Autoencodersを紹介する。
提案する事前トレーニングフレームワークは、複数のダウンストリームタスクでテストされ、最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2023-07-31T17:59:42Z) - Two-stage MR Image Segmentation Method for Brain Tumors based on
Attention Mechanism [27.08977505280394]
CycleGAN(CycleGAN)に基づく協調・空間的注意生成対向ネットワーク(CASP-GAN)を提案する。
ジェネレータの性能は、コーディネート・アテンション(CA)モジュールと空間アテンション(SA)モジュールを導入することで最適化される。
元の医用画像の構造情報と詳細な情報を抽出する能力は、所望の画像をより高品質に生成するのに役立つ。
論文 参考訳（メタデータ） (2023-04-17T08:34:41Z) - M$^{2}$SNet: Multi-scale in Multi-scale Subtraction Network for Medical
Image Segmentation [73.10707675345253]
医用画像から多様なセグメンテーションを仕上げるマルチスケールサブトラクションネットワーク(M$2$SNet)を提案する。
本手法は,4つの異なる医用画像セグメンテーションタスクの11つのデータセットに対して,異なる評価基準の下で,ほとんどの最先端手法に対して好意的に機能する。
論文 参考訳（メタデータ） (2023-03-20T06:26:49Z) - PCRLv2: A Unified Visual Information Preservation Framework for
Self-supervised Pre-training in Medical Image Analysis [56.63327669853693]
本稿では,ピクセルレベルの情報を高レベルなセマンティクスに明示的にエンコードするための画素復元タスクを提案する。
また,画像理解を支援する強力なツールであるスケール情報の保存についても検討する。
提案されている統合SSLフレームワークは、さまざまなタスクで自己管理されたフレームワークを超越している。
論文 参考訳（メタデータ） (2023-01-02T17:47:27Z) - 3D Masked Modelling Advances Lesion Classification in Axial T2w Prostate
MRI [0.125828876338076]
Masked Image Modelling (MIM)は、効率的な自己教師付き学習(SSL)事前学習パラダイムであることが示されている。
前立腺癌 (PCa) 病変分類にT2重み付き (T2w) 軸磁気共鳴画像 (MRI) を用いたMIMについて検討した。
論文 参考訳（メタデータ） (2022-12-29T11:32:49Z) - Mixed-UNet: Refined Class Activation Mapping for Weakly-Supervised
Semantic Segmentation with Multi-scale Inference [28.409679398886304]
我々は、デコードフェーズに2つの並列分岐を持つMixed-UNetという新しいモデルを開発する。
地域病院や公開データセットから収集したデータセットに対して,いくつかの一般的なディープラーニングに基づくセグメンテーションアプローチに対して,設計したMixed-UNetを評価した。
論文 参考訳（メタデータ） (2022-05-06T08:37:02Z) - Modality Completion via Gaussian Process Prior Variational Autoencoders
for Multi-Modal Glioma Segmentation [75.58395328700821]
本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。
MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。
4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
論文 参考訳（メタデータ） (2021-07-07T19:06:34Z) - Max-Fusion U-Net for Multi-Modal Pathology Segmentation with Attention
and Dynamic Resampling [13.542898009730804]
関連するアルゴリズムの性能は、マルチモーダル情報の適切な融合によって大きく影響を受ける。
We present the Max-Fusion U-Net that achieve a improve pathology segmentation performance。
マルチシーケンスCMRデータセットを併用したMyoPS(Myocardial pathology segmentation)を用いて,本手法の評価を行った。
論文 参考訳（メタデータ） (2020-09-05T17:24:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。