論文の概要: SAM-Mamba: Mamba Guided SAM Architecture for Generalized Zero-Shot Polyp Segmentation
- arxiv url: http://arxiv.org/abs/2412.08482v1
- Date: Wed, 11 Dec 2024 15:47:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-12 14:02:12.686702
- Title: SAM-Mamba: Mamba Guided SAM Architecture for Generalized Zero-Shot Polyp Segmentation
- Title(参考訳): SAM-Mamba: Mamba Guided SAM Architecture for Generalized Zero-Shot Polyp Segmentation
- Authors: Tapas Kumar Dutta, Snehashis Majhi, Deepak Ranjan Nayak, Debesh Jha,
- Abstract要約: 大腸内視鏡検査におけるポリープセグメンテーションは大腸癌の検出に不可欠である。
畳み込みニューラルネットワーク(CNN)に基づく従来のセグメンテーションモデルは、詳細なパターンとグローバルなコンテキストを捉えるのに苦労している。
効率的なポリープセグメンテーションのためのMamba-guided Segment Anything Model (SAM-Mamba)を提案する。
- 参考スコア(独自算出の注目度): 3.075778955462259
- License:
- Abstract: Polyp segmentation in colonoscopy is crucial for detecting colorectal cancer. However, it is challenging due to variations in the structure, color, and size of polyps, as well as the lack of clear boundaries with surrounding tissues. Traditional segmentation models based on Convolutional Neural Networks (CNNs) struggle to capture detailed patterns and global context, limiting their performance. Vision Transformer (ViT)-based models address some of these issues but have difficulties in capturing local context and lack strong zero-shot generalization. To this end, we propose the Mamba-guided Segment Anything Model (SAM-Mamba) for efficient polyp segmentation. Our approach introduces a Mamba-Prior module in the encoder to bridge the gap between the general pre-trained representation of SAM and polyp-relevant trivial clues. It injects salient cues of polyp images into the SAM image encoder as a domain prior while capturing global dependencies at various scales, leading to more accurate segmentation results. Extensive experiments on five benchmark datasets show that SAM-Mamba outperforms traditional CNN, ViT, and Adapter-based models in both quantitative and qualitative measures. Additionally, SAM-Mamba demonstrates excellent adaptability to unseen datasets, making it highly suitable for real-time clinical use.
- Abstract(参考訳): 大腸内視鏡検査におけるポリープセグメンテーションは大腸癌の検出に重要である。
しかし、ポリプの構造、色、サイズの変化、周囲の組織との明確な境界の欠如により、これは困難である。
畳み込みニューラルネットワーク(CNN)に基づく従来のセグメンテーションモデルは、詳細なパターンとグローバルコンテキストをキャプチャし、パフォーマンスを制限している。
Vision Transformer (ViT) ベースのモデルはこれらの問題の一部に対処するが、局所的なコンテキストを捉えることは困難であり、ゼロショットの強い一般化が欠如している。
この目的のために,効率的なポリープセグメンテーションのためのMamba-guided Segment Anything Model (SAM-Mamba)を提案する。
提案手法ではエンコーダにMamba-Priorモジュールを導入し,SAMの一般的な事前学習表現とポリプ関連自明な手掛かりとのギャップを埋める。
SAMイメージエンコーダにポリプ画像の健全なキューを注入し、グローバルな依存関係をさまざまなスケールでキャプチャし、より正確なセグメンテーション結果をもたらす。
5つのベンチマークデータセットの大規模な実験により、SAM-Mambaは従来のCNN、ViT、Adapterベースのモデルよりも定量的かつ定性的に優れていることが示された。
さらにSAM-Mambaは、目に見えないデータセットに優れた適応性を示し、リアルタイム臨床用途に非常に適している。
関連論文リスト
- PolSAM: Polarimetric Scattering Mechanism Informed Segment Anything Model [76.95536611263356]
PolSARデータは、そのリッチで複雑な特徴のために、ユニークな課題を提示する。
複素数値データ、偏光特性、振幅画像などの既存のデータ表現が広く使われている。
PolSARのほとんどの機能抽出ネットワークは小さく、機能を効果的にキャプチャする能力を制限している。
本稿では,ドメイン固有の散乱特性と新規なプロンプト生成戦略を統合したSegment Anything Model (SAM) であるPolarimetric Scattering Mechanism-Informed SAM (PolSAM)を提案する。
論文 参考訳(メタデータ) (2024-12-17T09:59:53Z) - Multi-Scale and Detail-Enhanced Segment Anything Model for Salient Object Detection [58.241593208031816]
Segment Anything Model (SAM) は、強力なセグメンテーションと一般化機能を提供する視覚的基本モデルとして提案されている。
実物検出のためのMDSAM(Multi-scale and Detail-enhanced SAM)を提案する。
実験により,複数のSODデータセット上でのモデルの優れた性能が示された。
論文 参考訳(メタデータ) (2024-08-08T09:09:37Z) - ASPS: Augmented Segment Anything Model for Polyp Segmentation [77.25557224490075]
SAM(Segment Anything Model)は、ポリープセグメンテーションに先例のないポテンシャルを導入している。
SAMのTransformerベースの構造は、グローバルおよび低周波情報を優先する。
CFAはトレーニング可能なCNNエンコーダブランチと凍結したViTエンコーダを統合し、ドメイン固有の知識の統合を可能にする。
論文 参考訳(メタデータ) (2024-06-30T14:55:32Z) - MAS-SAM: Segment Any Marine Animal with Aggregated Features [55.91291540810978]
そこで本研究では,海洋生物のセグメンテーションのためのMAS-SAMという新しい特徴学習フレームワークを提案する。
本手法により,グローバルな文脈的手がかりからよりリッチな海洋情報を抽出し,よりきめ細かな局部的詳細を抽出できる。
論文 参考訳(メタデータ) (2024-04-24T07:38:14Z) - Pathological Primitive Segmentation Based on Visual Foundation Model with Zero-Shot Mask Generation [3.5177988631063486]
本稿では,SAMの学習済み自然画像エンコーダを検出ベース領域提案に適用する手法を提案する。
SAMというベースフレームワーク全体は、追加のトレーニングや微調整を必要としないが、病理学における2つの基本的なセグメンテーションタスクに対してエンドツーエンドの結果をもたらす可能性がある。
論文 参考訳(メタデータ) (2024-04-12T16:29:49Z) - Swin-UMamba: Mamba-based UNet with ImageNet-based pretraining [85.08169822181685]
本稿では,医療画像のセグメンテーションに特化して設計された新しいマンバモデルSwin-UMambaを紹介する。
Swin-UMamba は CNN や ViT,最新の Mamba ベースのモデルと比較して,優れたパフォーマンスを示している。
論文 参考訳(メタデータ) (2024-02-05T18:58:11Z) - BA-SAM: Scalable Bias-Mode Attention Mask for Segment Anything Model [65.92173280096588]
我々は,Segment Anything Model (SAM)における画像分解能変動の課題に対処する。
SAMはゼロショットの汎用性で知られており、さまざまな画像サイズを持つデータセットに直面するとパフォーマンスが低下する。
我々は、各トークンが隣り合う情報を優先順位付けできるバイアスモードのアテンションマスクを提案する。
論文 参考訳(メタデータ) (2024-01-04T15:34:44Z) - Segment Anything Model-guided Collaborative Learning Network for
Scribble-supervised Polyp Segmentation [45.15517909664628]
ポリープのセグメンテーションは、初期におけるポリープの正確な位置決定に重要な役割を担っている。
診断中の医師によるポリープ画像に対するピクセルワイドアノテーションは、時間と費用の両方がかかる。
本稿では,スクリブル制御ポリプセグメンテーションのためのSAM誘導協調学習ネットワーク(SAM-CLNet)を提案する。
論文 参考訳(メタデータ) (2023-12-01T03:07:13Z) - Ladder Fine-tuning approach for SAM integrating complementary network [5.46706034286531]
医用画像では、プライバシー問題やその他の要因によるトレーニングサンプルの欠如が、これらの一般化されたモデルを医用画像分割タスクに適用する上で大きな課題となっている。
本研究では、医用画像分割のための標準SAMネットワークとともに、補完的な畳み込みニューラルネットワーク(CNN)を提案する。
この戦略は、トレニッヒ時間を著しく短縮し、公開データセット上での競合的な結果を達成する。
論文 参考訳(メタデータ) (2023-06-22T08:36:17Z) - Polyp-SAM: Transfer SAM for Polyp Segmentation [2.4492242722754107]
Segment Anything Model (SAM)は、最近、自然画像のセグメンテーションと医療画像のセグメンテーションに大きな注目を集めている。
ポリプセグメンテーションのための微調整SAMモデルであるPoly-SAMを提案し、その性能をいくつかの最先端のポリプセグメンテーションモデルと比較する。
我々のPolyp-SAMは、2つのデータセットで最先端のパフォーマンスを実現し、3つのデータセットで印象的なパフォーマンスを実現しています。
論文 参考訳(メタデータ) (2023-04-29T16:11:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。