論文の概要: HMT-UNet: A hybird Mamba-Transformer Vision UNet for Medical Image Segmentation
- arxiv url: http://arxiv.org/abs/2408.11289v2
- Date: Sat, 7 Sep 2024 02:30:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-11 01:05:18.067337
- Title: HMT-UNet: A hybird Mamba-Transformer Vision UNet for Medical Image Segmentation
- Title（参考訳）: HMT-UNet:医療画像分割のためのHybird Mamba-Transformer Vision UNet
- Authors: Mingya Zhang, Zhihao Chen, Yiyuan Ge, Xianping Tao,
- Abstract要約: 我々はHybird Transformer Vision Mamba UNet(HTM-UNet)という医療画像分割のためのU字型アーキテクチャーモデルを提案する。
我々はISIC17、ISIC18、CVC-300、CVC-ClinicDB、Kvasir、CVC-ColonDB、ETIS-Larib PolypDBパブリックデータセット、ZD-LCI-GIMプライベートデータセットに関する包括的な実験を行う。
- 参考スコア（独自算出の注目度）: 1.5574423250822542
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the field of medical image segmentation, models based on both CNN and Transformer have been thoroughly investigated. However, CNNs have limited modeling capabilities for long-range dependencies, making it challenging to exploit the semantic information within images fully. On the other hand, the quadratic computational complexity poses a challenge for Transformers. State Space Models (SSMs), such as Mamba, have been recognized as a promising method. They not only demonstrate superior performance in modeling long-range interactions, but also preserve a linear computational complexity. The hybrid mechanism of SSM (State Space Model) and Transformer, after meticulous design, can enhance its capability for efficient modeling of visual features. Extensive experiments have demonstrated that integrating the self-attention mechanism into the hybrid part behind the layers of Mamba's architecture can greatly improve the modeling capacity to capture long-range spatial dependencies. In this paper, leveraging the hybrid mechanism of SSM, we propose a U-shape architecture model for medical image segmentation, named Hybird Transformer vision Mamba UNet (HTM-UNet). We conduct comprehensive experiments on the ISIC17, ISIC18, CVC-300, CVC-ClinicDB, Kvasir, CVC-ColonDB, ETIS-Larib PolypDB public datasets and ZD-LCI-GIM private dataset. The results indicate that HTM-UNet exhibits competitive performance in medical image segmentation tasks. Our code is available at https://github.com/simzhangbest/HMT-Unet.
- Abstract（参考訳）: 医用画像セグメンテーションの分野では、CNNとTransformerの両方に基づくモデルが徹底的に研究されている。
しかし、CNNは長距離依存のモデリング機能に制限があるため、画像内のセマンティック情報を完全に活用することは困難である。
一方、二次計算の複雑さはトランスフォーマーにとって課題となる。
Mambaのような状態空間モデル(SSM)は有望な方法として認識されている。
長距離相互作用のモデリングにおいて優れた性能を示すだけでなく、線形計算の複雑さを保っている。
SSM(State Space Model)とTransformerのハイブリッド機構は、微妙な設計を経て、視覚的特徴の効率的なモデリング能力を高めることができる。
大規模な実験により、マンバのアーキテクチャの裏側にあるハイブリッド部分に自己保持機構を組み込むことで、長距離空間依存を捉えるためのモデリング能力が大幅に向上することが示された。
本稿では,SSMのハイブリッド機構を活用し,Hybird Transformer Vision Mamba UNet (HTM-UNet) という医用画像セグメンテーションのためのU字型アーキテクチャモデルを提案する。
我々はISIC17、ISIC18、CVC-300、CVC-ClinicDB、Kvasir、CVC-ColonDB、ETIS-Larib PolypDBパブリックデータセット、ZD-LCI-GIMプライベートデータセットに関する包括的な実験を行う。
以上の結果から,HTM-UNetは医用画像分割作業において競争力を発揮することが示された。
私たちのコードはhttps://github.com/simzhangbest/HMT-Unet.comで利用可能です。
関連論文リスト
- DAMamba: Vision State Space Model with Dynamic Adaptive Scan [51.81060691414399]
状態空間モデル(SSM)は近年、コンピュータビジョンにおいて大きな注目を集めている。
スキャン順序と領域を適応的に割り当てるデータ駆動型動的適応スキャン(DAS)を提案する。
DASをベースとしたビジョンバックボーンDAMambaの提案は,現在のビジョンタスクにおけるMambaモデルよりもはるかに優れている。
論文 参考訳（メタデータ） (2025-02-18T08:12:47Z) - MatIR: A Hybrid Mamba-Transformer Image Restoration Model [95.17418386046054]
そこで我々は,MatIRと呼ばれるMamba-Transformerハイブリッド画像復元モデルを提案する。
MatIRはTransformer層とMamba層のブロックをクロスサイクルして特徴を抽出する。
Mambaモジュールでは、4つのスキャンパスに沿って横断するImage Inpainting State Space (IRSS)モジュールを導入する。
論文 参考訳（メタデータ） (2025-01-30T14:55:40Z) - MambaHSI: Spatial-Spectral Mamba for Hyperspectral Image Classification [46.111607032455225]
本稿では,Mambaモデルに基づく新しいHSI分類モデル,MambaHSIを提案する。
具体的には,空間的マンバブロック(SpaMB)を設計し,画素レベルの画像全体の長距離相互作用をモデル化する。
スペクトルベクトルを複数のグループに分割し、異なるスペクトル群間の関係をマイニングし、スペクトル特徴を抽出するスペクトルマンバブロック(SpeMB)を提案する。
論文 参考訳（メタデータ） (2025-01-09T03:27:47Z) - Microscopic-Mamba: Revealing the Secrets of Microscopic Images with Just 4M Parameters [12.182070604073585]
CNNは、画像のセマンティック情報を完全に活用する能力を制限して、長距離依存のモデリングに苦労する。
変換器は二次計算の複雑さによって妨げられる。
本稿では,Mambaアーキテクチャに基づくモデルを提案する。
論文 参考訳（メタデータ） (2024-09-12T10:01:33Z) - Cross-Scan Mamba with Masked Training for Robust Spectral Imaging [51.557804095896174]
本研究では,空間スペクトルSSMを用いたクロススキャンマンバ(CS-Mamba)を提案する。
実験の結果, CS-Mambaは最先端の性能を達成し, マスク付きトレーニング手法によりスムーズな特徴を再構築し, 視覚的品質を向上させることができた。
論文 参考訳（メタデータ） (2024-08-01T15:14:10Z) - Computation-Efficient Era: A Comprehensive Survey of State Space Models in Medical Image Analysis [8.115549269867403]
状態空間モデル(SSM)は、最近、シーケンシャルなモデリングと視覚的表現学習において大きな関心を集めている。
コンピュータービジョンの進歩に乗じて、医療画像はMambaモデルによる新しい時代を告げた。
論文 参考訳（メタデータ） (2024-06-05T16:29:03Z) - VM-UNET-V2 Rethinking Vision Mamba UNet for Medical Image Segmentation [8.278068663433261]
本稿では,MambaアーキテクチャにインスパイアされたVison Mamba-UNetV2を提案する。
VM-UNetV2は、医用画像セグメンテーションタスクにおいて競合する性能を示す。
我々はISIC17、ISIC18、CVC-300、CVC-ClinicDB、Kvasir CVC-ColonDB、ETIS-LaribPolypDBのパブリックデータセットに関する包括的な実験を行う。
論文 参考訳（メタデータ） (2024-03-14T08:12:39Z) - VM-UNet: Vision Mamba UNet for Medical Image Segmentation [2.3876474175791302]
医用画像セグメンテーションのためのU字型アーキテクチャモデルVision Mamba UNet(VM-UNet)を提案する。
我々はISIC17,ISIC18,Synapseデータセットの総合的な実験を行い,VM-UNetが医用画像分割タスクにおいて競争力を発揮することを示す。
論文 参考訳（メタデータ） (2024-02-04T13:37:21Z) - U-Mamba: Enhancing Long-range Dependency for Biomedical Image
Segmentation [10.083902382768406]
バイオメディカルイメージセグメンテーションのための汎用ネットワークであるU-Mambaを紹介する。
ディープシークエンスモデルの新たなファミリーであるState Space Sequence Models (SSM) にインスパイアされ、我々はハイブリッドCNN-SSMブロックを設計する。
我々は,CTおよびMR画像における腹部臓器の3次元分節化,内視鏡画像における計器の分節化,顕微鏡画像における細胞分節化の4つの課題について実験を行った。
論文 参考訳（メタデータ） (2024-01-09T18:53:20Z) - MISSU: 3D Medical Image Segmentation via Self-distilling TransUNet [55.16833099336073]
医用画像セグメンテーションのためのトランスフォーマーベースUNetを提案する。
グローバルな意味情報と局所的な空間的詳細特徴を同時に学習する。
MISSUは従来の最先端手法よりも優れた性能を発揮する。
論文 参考訳（メタデータ） (2022-06-02T07:38:53Z) - Medical Transformer: Gated Axial-Attention for Medical Image
Segmentation [73.98974074534497]
医用画像分割タスクにおけるトランスフォーマティブネットワークアーキテクチャの利用可能性について検討する。
セルフアテンションモジュールに追加の制御機構を導入することで,既存のアーキテクチャを拡張するGated Axial-Attentionモデルを提案する。
医療画像上で効果的にモデルを訓練するために,さらにパフォーマンスを向上させる局所的グローバルトレーニング戦略 (logo) を提案する。
論文 参考訳（メタデータ） (2021-02-21T18:35:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。