論文の概要: Semi-Mamba-UNet: Pixel-Level Contrastive and Pixel-Level Cross-Supervised Visual Mamba-based UNet for Semi-Supervised Medical Image Segmentation
- arxiv url: http://arxiv.org/abs/2402.07245v3
- Date: Sun, 28 Jul 2024 17:11:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-30 23:57:25.923247
- Title: Semi-Mamba-UNet: Pixel-Level Contrastive and Pixel-Level Cross-Supervised Visual Mamba-based UNet for Semi-Supervised Medical Image Segmentation
- Title(参考訳): Semi-Mamba-UNet:Semi-Supervised Medical Image SegmentationのためのPixel-Level Contrastive and Pixel-Level Cross-Supervised Visual Mamba-based UNet
- Authors: Chao Ma, Ziyang Wang,
- Abstract要約: 本研究では,従来のCNNベースのUNetと純粋に視覚的なMambaベースのエンコーダデコーダアーキテクチャを組み込んだセミマンバUNetを,半教師付き学習フレームワークに統合する。
この革新的なSSLアプローチは、両方のネットワークを利用して擬似ラベルを生成し、ピクセルレベルで相互に相互に監督する。
本稿では,2対のプロジェクタを用いた自己教師型画素レベルのコントラスト学習戦略を導入し,特徴学習機能をさらに強化する。
- 参考スコア(独自算出の注目度): 11.637738540262797
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Medical image segmentation is essential in diagnostics, treatment planning, and healthcare, with deep learning offering promising advancements. Notably, the convolutional neural network (CNN) excels in capturing local image features, whereas the Vision Transformer (ViT) adeptly models long-range dependencies through multi-head self-attention mechanisms. Despite their strengths, both the CNN and ViT face challenges in efficiently processing long-range dependencies in medical images, often requiring substantial computational resources. This issue, combined with the high cost and limited availability of expert annotations, poses significant obstacles to achieving precise segmentation. To address these challenges, this study introduces Semi-Mamba-UNet, which integrates a purely visual Mamba-based U-shaped encoder-decoder architecture with a conventional CNN-based UNet into a semi-supervised learning (SSL) framework. This innovative SSL approach leverages both networks to generate pseudo-labels and cross-supervise one another at the pixel level simultaneously, drawing inspiration from consistency regularisation techniques. Furthermore, we introduce a self-supervised pixel-level contrastive learning strategy that employs a pair of projectors to enhance the feature learning capabilities further, especially on unlabelled data. Semi-Mamba-UNet was comprehensively evaluated on two publicly available segmentation dataset and compared with seven other SSL frameworks with both CNN- or ViT-based UNet as the backbone network, highlighting the superior performance of the proposed method. The source code of Semi-Mamba-Unet, all baseline SSL frameworks, the CNN- and ViT-based networks, and the two corresponding datasets are made publicly accessible.
- Abstract(参考訳): 医用画像のセグメンテーションは診断、治療計画、医療に不可欠であり、ディープラーニングは有望な進歩を提供する。
特に、畳み込みニューラルネットワーク(CNN)は、局所的な画像の特徴を捉えているのに対して、ViT(Vision Transformer)は、マルチヘッドの自己認識機構を通じて、長距離依存を十分にモデル化している。
彼らの強みにもかかわらず、CNNとViTはどちらも医療画像の長距離依存を効率的に処理する上で困難に直面しており、しばしばかなりの計算資源を必要としている。
この問題は、高コストと専門家アノテーションの可用性の制限と相まって、正確なセグメンテーションを達成する上で大きな障害となる。
これらの課題に対処するために、Semi-Mamba-UNetを導入し、純粋な視覚的なMambaベースのU字型エンコーダデコーダアーキテクチャと従来のCNNベースのUNetを半教師付き学習(SSL)フレームワークに統合する。
この革新的なSSLアプローチは、両方のネットワークを利用して擬似ラベルを生成し、ピクセルレベルで相互に相互に監督する。
さらに,一対のプロジェクタを用いた自己教師型画素レベルのコントラスト学習戦略を導入し,特徴学習能力をさらに強化する。
Semi-Mamba-UNetは2つの公開セグメンテーションデータセットで包括的に評価され、CNNまたはViTベースのUNetをバックボーンネットワークとして他の7つのSSLフレームワークと比較し、提案手法の優れた性能を強調した。
Semi-Mamba-Unetのソースコード、すべてのベースラインSSLフレームワーク、CNNとViTベースのネットワーク、および対応する2つのデータセットが公開されている。
関連論文リスト
- Self-Prior Guided Mamba-UNet Networks for Medical Image Super-Resolution [7.97504951029884]
医用画像超解像のための自己優先型マンバ-UNetネットワーク(SMamba-UNet)を提案する。
提案手法は,Mamba-UNetネットワーク下での自己優先型マルチスケールコンテキスト特徴を学習することを目的としている。
論文 参考訳(メタデータ) (2024-07-08T14:41:53Z) - MedMamba: Vision Mamba for Medical Image Classification [0.0]
SS-Conv-SSMは,局所的な特徴を抽出するための畳み込み層と,長距離依存関係をキャプチャするSSMの機能を統合する。
グループ化された畳み込み戦略とチャネルシャッフル演算を用いることで、MedMambaはより少ないモデルパラメータと少ない計算負担を提供することに成功した。
我々の研究は、医用画像分類の新しいベースラインを確立することを目的としており、より強力なSSMベースの人工知能アルゴリズムを開発する上で貴重な洞察を提供する。
論文 参考訳(メタデータ) (2024-03-06T16:49:33Z) - Weak-Mamba-UNet: Visual Mamba Makes CNN and ViT Work Better for
Scribble-based Medical Image Segmentation [13.748446415530937]
本稿では医用画像セグメンテーションのための革新的な弱教師付き学習(WSL)フレームワークであるWeak-Mamba-UNetを紹介する。
WSL戦略には3つの異なるアーキテクチャがあるが、同じ対称エンコーダ・デコーダネットワークが組み込まれている。CNNベースのローカル特徴抽出用UNet、包括的なグローバルコンテキスト理解のためのSwin TransformerベースのSwinUNet、より効率的な長距離依存性モデリングのためのVMambaベースのMamba-UNetである。
Weak-Mamba-UNetの有効性は、類似したWSLの性能を超越した、処理アノテーション付きMRI心筋セグメンテーションデータセット上で検証される。
論文 参考訳(メタデータ) (2024-02-16T18:43:39Z) - Masked LoGoNet: Fast and Accurate 3D Image Analysis for Medical Domain [48.440691680864745]
我々はLoGoNetと呼ばれる新しいニューラルネットワークアーキテクチャを導入する。
LoGoNetは、LKA(Large Kernel Attention)とデュアルエンコーディング戦略を利用して、U字型アーキテクチャに新しい特徴抽出器を統合する。
大規模ラベル付きデータセットの欠如を補うために,3次元画像に適した新しいSSL方式を提案する。
論文 参考訳(メタデータ) (2024-02-09T05:06:58Z) - Self-Supervised Neuron Segmentation with Multi-Agent Reinforcement
Learning [53.00683059396803]
マスク画像モデル(MIM)は,マスク画像から元の情報を復元する簡便さと有効性から広く利用されている。
本稿では、強化学習(RL)を利用して最適な画像マスキング比とマスキング戦略を自動検索する決定に基づくMIMを提案する。
本手法は,ニューロン分節の課題において,代替自己監督法に対して有意な優位性を有する。
論文 参考訳(メタデータ) (2023-10-06T10:40:46Z) - Disruptive Autoencoders: Leveraging Low-level features for 3D Medical
Image Pre-training [51.16994853817024]
本研究は、3Dラジオグラフィ画像のための効果的な事前学習フレームワークの設計に焦点をあてる。
ローカルマスキングと低レベルの摂動の組み合わせによって生成された破壊から、オリジナルのイメージを再構築しようとする事前トレーニングフレームワークであるDisruptive Autoencodersを紹介する。
提案する事前トレーニングフレームワークは、複数のダウンストリームタスクでテストされ、最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2023-07-31T17:59:42Z) - Multi-Level Global Context Cross Consistency Model for Semi-Supervised
Ultrasound Image Segmentation with Diffusion Model [0.0]
本研究では,Latent Diffusion Model (LDM) によって生成された画像を,半教師付き学習のためのラベル付き画像として利用するフレームワークを提案する。
提案手法により,確率分布の知識をセグメント化ネットワークに効果的に伝達することが可能となり,セグメント化精度が向上する。
論文 参考訳(メタデータ) (2023-05-16T14:08:24Z) - PCRLv2: A Unified Visual Information Preservation Framework for
Self-supervised Pre-training in Medical Image Analysis [56.63327669853693]
本稿では,ピクセルレベルの情報を高レベルなセマンティクスに明示的にエンコードするための画素復元タスクを提案する。
また,画像理解を支援する強力なツールであるスケール情報の保存についても検討する。
提案されている統合SSLフレームワークは、さまざまなタスクで自己管理されたフレームワークを超越している。
論文 参考訳(メタデータ) (2023-01-02T17:47:27Z) - Deep Image Clustering with Contrastive Learning and Multi-scale Graph
Convolutional Networks [58.868899595936476]
コントラスト学習とマルチスケールグラフ畳み込みネットワーク(IcicleGCN)を用いた画像クラスタリング手法を提案する。
複数の画像データセットの実験は、最先端のIcicleGCNよりも優れたクラスタリング性能を示している。
論文 参考訳(メタデータ) (2022-07-14T19:16:56Z) - Cross-level Contrastive Learning and Consistency Constraint for
Semi-supervised Medical Image Segmentation [46.678279106837294]
半教師型医用画像セグメンテーションにおける局所特徴の表現能力を高めるためのクロスレベルコンストラシティブ学習手法を提案する。
クロスレベルなコントラスト学習と一貫性制約の助けを借りて、非ラベル付きデータを効果的に探索してセグメンテーション性能を向上させることができる。
論文 参考訳(メタデータ) (2022-02-08T15:12:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。