論文の概要: PP-SAM: Perturbed Prompts for Robust Adaptation of Segment Anything Model for Polyp Segmentation
- arxiv url: http://arxiv.org/abs/2405.16740v1
- Date: Mon, 27 May 2024 01:13:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-28 19:25:57.221518
- Title: PP-SAM: Perturbed Prompts for Robust Adaptation of Segment Anything Model for Polyp Segmentation
- Title(参考訳): PP-SAM:ポリプセグメンテーションのためのセグメンテーションモデルのロバスト適応のための摂動プロンプト
- Authors: Md Mostafijur Rahman, Mustafa Munir, Debesh Jha, Ulas Bagci, Radu Marculescu,
- Abstract要約: 本稿では,ポリプ分割タスクに限定的な画像で適応できる頑健な微調整手法PP-SAMを提案する。
ポリプセグメンテーションベンチマーク実験により, 可変BBP摂動がモデルレジリエンスを著しく改善することが明らかとなった。
以上の結果から, PP-SAMの他の医用画像処理への応用は限定的であった。
- 参考スコア(独自算出の注目度): 6.659798925130387
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The Segment Anything Model (SAM), originally designed for general-purpose segmentation tasks, has been used recently for polyp segmentation. Nonetheless, fine-tuning SAM with data from new imaging centers or clinics poses significant challenges. This is because this necessitates the creation of an expensive and time-intensive annotated dataset, along with the potential for variability in user prompts during inference. To address these issues, we propose a robust fine-tuning technique, PP-SAM, that allows SAM to adapt to the polyp segmentation task with limited images. To this end, we utilize variable perturbed bounding box prompts (BBP) to enrich the learning context and enhance the model's robustness to BBP perturbations during inference. Rigorous experiments on polyp segmentation benchmarks reveal that our variable BBP perturbation significantly improves model resilience. Notably, on Kvasir, 1-shot fine-tuning boosts the DICE score by 20% and 37% with 50 and 100-pixel BBP perturbations during inference, respectively. Moreover, our experiments show that 1-shot, 5-shot, and 10-shot PP-SAM with 50-pixel perturbations during inference outperform a recent state-of-the-art (SOTA) polyp segmentation method by 26%, 7%, and 5% DICE scores, respectively. Our results motivate the broader applicability of our PP-SAM for other medical imaging tasks with limited samples. Our implementation is available at https://github.com/SLDGroup/PP-SAM.
- Abstract(参考訳): Segment Anything Model (SAM)は、もともと汎用セグメンテーションタスク用に設計されたもので、最近ポリプセグメンテーションに使われている。
それにもかかわらず、新しい画像センターやクリニックのデータを使った微調整SAMは、大きな課題を生んでいる。
これは、高価で時間を要する注釈付きデータセットの作成と、推論中にユーザのプロンプトが変動する可能性があるためである。
これらの課題に対処するため,本研究では,ポリプ分割タスクに限定的な画像で適応可能な,堅牢な微調整手法PP-SAMを提案する。
この目的のために、可変摂動箱プロンプト(BBP)を用いて、学習コンテキストを強化し、推論中のBBP摂動に対するモデルの堅牢性を高める。
ポリプセグメンテーションベンチマークの厳密な実験により、我々の可変BBP摂動がモデルレジリエンスを大幅に改善することが明らかとなった。
特に、Kvasirでは、1ショットの微調整でDICEスコアが20%上昇し、50ピクセルのBBP摂動と100ピクセルのBBP摂動がそれぞれ37%上昇する。
さらに,50ピクセルの摂動を持つ1ショット,5ショット,10ショットのPP-SAMは,近年のSOTA (State-of-the-art polyp segmentation) 法よりも26%,7%,5%DICE (DICE) が優れていた。
以上の結果から, PP-SAMの他の医用画像処理への応用は限定的であった。
私たちの実装はhttps://github.com/SLDGroup/PP-SAMで公開されています。
関連論文リスト
- Promptable Anomaly Segmentation with SAM Through Self-Perception Tuning [63.55145330447408]
Segment Anything Model (SAM) は、その顕著な一般化能力により、異常セグメンテーションタスクにおいて大きな進歩を遂げている。
SAMを直接適用する既存のメソッドは、しばしばドメインシフトの問題を見落としている。
本稿では, SAMの異常セグメンテーションに対する知覚能力を高めることを目的とした, 自己パーセプティノンチューニング(SPT)手法を提案する。
論文 参考訳(メタデータ) (2024-11-26T08:33:25Z) - Self-Prompting Polyp Segmentation in Colonoscopy using Hybrid Yolo-SAM 2 Model [18.61909523131399]
本稿では,Segment Anything Model(SAM2)とYOLOv8モデルを統合することで,ポリプセグメンテーションの新たなアプローチを提案する。
本手法では,YOLOv8のバウンディングボックス予測を利用してSAM 2の入力プロンプトを自動生成することで,手動アノテーションの必要性を軽減している。
われわれは,5つのベンチマーク大腸内視鏡画像データセットと2つの大腸内視鏡ビデオデータセットの徹底的な試験を行い,この手法が画像分割タスクおよびビデオ分割タスクの最先端モデルを上回ることを示した。
論文 参考訳(メタデータ) (2024-09-14T17:11:37Z) - ASPS: Augmented Segment Anything Model for Polyp Segmentation [77.25557224490075]
SAM(Segment Anything Model)は、ポリープセグメンテーションに先例のないポテンシャルを導入している。
SAMのTransformerベースの構造は、グローバルおよび低周波情報を優先する。
CFAはトレーニング可能なCNNエンコーダブランチと凍結したViTエンコーダを統合し、ドメイン固有の知識の統合を可能にする。
論文 参考訳(メタデータ) (2024-06-30T14:55:32Z) - Uncertainty-Aware Adapter: Adapting Segment Anything Model (SAM) for Ambiguous Medical Image Segmentation [20.557472889654758]
Segment Anything Model (SAM) は自然画像のセグメンテーションにおいて大きな成功を収めた。
自然画像とは異なり、医療画像の多くの組織や病変はぼやけており、曖昧である可能性がある。
本研究では,不確実性を認識した医療画像のセグメンテーションのためにSAMを効率よく微調整するUncertainty-aware Adapterという新しいモジュールを提案する。
論文 参考訳(メタデータ) (2024-03-16T14:11:54Z) - ECC-PolypDet: Enhanced CenterNet with Contrastive Learning for Automatic
Polyp Detection [88.4359020192429]
既存の手法では、計算コストのかかるコンテキストアグリゲーションが伴うか、ポリープの事前モデリングが欠如しているため、難解なケースでは性能が低下する。
本稿では,2段階のトレーニングとエンドツーエンド推論フレームワークである Enhanced CenterNet with Contrastive Learning (ECC-PolypDet) を提案する。
Box-assisted Contrastive Learning (BCL) は, クラス内差を最小限に抑え, 前庭ポリープと背景のクラス間差を最大化するため, 隠れポリープを捕捉する。
微調整段階におけるIoU誘導サンプル再重み付けの導入
論文 参考訳(メタデータ) (2024-01-10T07:03:41Z) - BA-SAM: Scalable Bias-Mode Attention Mask for Segment Anything Model [65.92173280096588]
我々は,Segment Anything Model (SAM)における画像分解能変動の課題に対処する。
SAMはゼロショットの汎用性で知られており、さまざまな画像サイズを持つデータセットに直面するとパフォーマンスが低下する。
我々は、各トークンが隣り合う情報を優先順位付けできるバイアスモードのアテンションマスクを提案する。
論文 参考訳(メタデータ) (2024-01-04T15:34:44Z) - Segment Anything Model-guided Collaborative Learning Network for
Scribble-supervised Polyp Segmentation [45.15517909664628]
ポリープのセグメンテーションは、初期におけるポリープの正確な位置決定に重要な役割を担っている。
診断中の医師によるポリープ画像に対するピクセルワイドアノテーションは、時間と費用の両方がかかる。
本稿では,スクリブル制御ポリプセグメンテーションのためのSAM誘導協調学習ネットワーク(SAM-CLNet)を提案する。
論文 参考訳(メタデータ) (2023-12-01T03:07:13Z) - Stable Segment Anything Model [79.9005670886038]
SAM(Segment Anything Model)は、高品質なプロンプトが与えられた場合、顕著に迅速なセグメンテーションを実現する。
本稿では,SAMのセグメンテーション安定性について,多様なプロンプト特性のスペクトルにわたって包括的解析を行った。
1)SAMのセグメンテーション安定性を広範囲に改善し,2)SAMの強力なセグメンテーション効率と一般化を維持した。
論文 参考訳(メタデータ) (2023-11-27T12:51:42Z) - Polyp-SAM: Transfer SAM for Polyp Segmentation [2.4492242722754107]
Segment Anything Model (SAM)は、最近、自然画像のセグメンテーションと医療画像のセグメンテーションに大きな注目を集めている。
ポリプセグメンテーションのための微調整SAMモデルであるPoly-SAMを提案し、その性能をいくつかの最先端のポリプセグメンテーションモデルと比較する。
我々のPolyp-SAMは、2つのデータセットで最先端のパフォーマンスを実現し、3つのデータセットで印象的なパフォーマンスを実現しています。
論文 参考訳(メタデータ) (2023-04-29T16:11:06Z) - BoxPolyp:Boost Generalized Polyp Segmentation Using Extra Coarse
Bounding Box Annotations [79.17754846553866]
我々は、正確なマスクと余分な粗いボックスアノテーションをフル活用するための強化されたBoxPolypモデルを提案する。
実際には、従来のポリプセグメンテーションモデルの過度に適合する問題を緩和するためにボックスアノテーションが適用される。
提案手法は従来の最先端手法よりも大きなマージンで優れていた。
論文 参考訳(メタデータ) (2022-12-07T07:45:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。