論文の概要: SAM-SP: Self-Prompting Makes SAM Great Again
- arxiv url: http://arxiv.org/abs/2408.12364v1
- Date: Thu, 22 Aug 2024 13:03:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-23 13:53:43.119572
- Title: SAM-SP: Self-Prompting Makes SAM Great Again
- Title（参考訳）: SAM-SP: SAMを再び素晴らしいものにするセルフプロンプト
- Authors: Chunpeng Zhou, Kangjie Ning, Qianqian Shen, Sheng Zhou, Zhi Yu, Haishuai Wang,
- Abstract要約: Segment Anything Model (SAM)は、ゼロショットセグメンテーションタスクにおいて印象的な機能を示した。
SAMは、医療画像などの特定の領域に適用した場合、顕著な劣化性能に遭遇する。
本稿では,バニラSAMモデルの拡張に適したSAM-SPという,自己プロンプトに基づくファインチューニング手法を提案する。
- 参考スコア（独自算出の注目度）: 11.109389094334894
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The recently introduced Segment Anything Model (SAM), a Visual Foundation Model (VFM), has demonstrated impressive capabilities in zero-shot segmentation tasks across diverse natural image datasets. Despite its success, SAM encounters noticeably performance degradation when applied to specific domains, such as medical images. Current efforts to address this issue have involved fine-tuning strategies, intended to bolster the generalizability of the vanilla SAM. However, these approaches still predominantly necessitate the utilization of domain specific expert-level prompts during the evaluation phase, which severely constrains the model's practicality. To overcome this limitation, we introduce a novel self-prompting based fine-tuning approach, called SAM-SP, tailored for extending the vanilla SAM model. Specifically, SAM-SP leverages the output from the previous iteration of the model itself as prompts to guide subsequent iteration of the model. This self-prompting module endeavors to learn how to generate useful prompts autonomously and alleviates the dependence on expert prompts during the evaluation phase, significantly broadening SAM's applicability. Additionally, we integrate a self-distillation module to enhance the self-prompting process further. Extensive experiments across various domain specific datasets validate the effectiveness of the proposed SAM-SP. Our SAM-SP not only alleviates the reliance on expert prompts but also exhibits superior segmentation performance comparing to the state-of-the-art task-specific segmentation approaches, the vanilla SAM, and SAM-based approaches.
- Abstract（参考訳）: 先日発表されたVisual Foundation Model(VFM)であるSegment Anything Model(SAM)は、さまざまな自然言語データセットにまたがるゼロショットセグメンテーションタスクにおいて、印象的な機能を示している。
その成功にもかかわらず、SAMは医療画像などの特定の領域に適用した場合、顕著なパフォーマンス劣化に遭遇する。
この問題に対処するための現在の取り組みは、バニラSAMの一般化性を高めるための微調整戦略である。
しかしながら、これらのアプローチは、評価フェーズにおいてドメイン固有の専門家レベルのプロンプトの使用を主に必要とします。
この制限を克服するために,バニラSAMモデルの拡張に適したSAM-SPと呼ばれる,自己プロンプトに基づくファインチューニング手法を導入する。
具体的には、SAM-SPはモデル自体の以前のイテレーションからの出力を利用して、モデルの後続のイテレーションをガイドする。
この自己増殖モジュールは、有用なプロンプトを自律的に生成する方法を学び、評価フェーズにおけるエキスパートプロンプトへの依存を緩和し、SAMの適用性を著しく拡大する。
さらに, 自己蒸留モジュールを統合し, 自己増殖プロセスをさらに強化する。
様々な領域固有のデータセットにわたる大規模な実験により、提案したSAM-SPの有効性が検証された。
我々のSAM-SPは、専門家のプロンプトへの依存を軽減するだけでなく、最先端のタスク固有のセグメンテーションアプローチ、バニラSAM、SAMベースのアプローチと比較して優れたセグメンテーション性能を示す。
関連論文リスト
- Promptable Anomaly Segmentation with SAM Through Self-Perception Tuning [63.55145330447408]
Segment Anything Model (SAM) は、その顕著な一般化能力により、異常セグメンテーションタスクにおいて大きな進歩を遂げている。
SAMを直接適用する既存のメソッドは、しばしばドメインシフトの問題を見落としている。
本稿では, SAMの異常セグメンテーションに対する知覚能力を高めることを目的とした, 自己パーセプティノンチューニング(SPT)手法を提案する。
論文 参考訳（メタデータ） (2024-11-26T08:33:25Z) - On Efficient Variants of Segment Anything Model: A Survey [63.127753705046]
Segment Anything Model (SAM) は画像分割タスクの基本モデルであり、多様なアプリケーションにまたがる強力な一般化で知られている。
これを解決するために、精度を保ちながら効率を高めるために様々なSAM変種が提案されている。
この調査は、これらの効率的なSAM変種に関する最初の包括的なレビューを提供する。
論文 参考訳（メタデータ） (2024-10-07T11:59:54Z) - AlignSAM: Aligning Segment Anything Model to Open Context via Reinforcement Learning [61.666973416903005]
Segment Anything Model (SAM)は、オープンワールドシナリオにおいて、プロンプトのガイダンスによって、その印象的な一般化機能を実証した。
オープンコンテキストにSAMをアライメントするための自動プロンプトのための新しいフレームワークAlignSAMを提案する。
論文 参考訳（メタデータ） (2024-06-01T16:21:39Z) - ASAM: Boosting Segment Anything Model with Adversarial Tuning [9.566046692165884]
本稿では, 対角的チューニングにより基礎モデルの性能を増幅する新しい手法であるASAMを紹介する。
我々は,自然言語処理における実装の成功に触発された,自然対逆例の可能性を生かした。
本手法は, 対向例のフォトリアリズムを維持し, 元のマスクアノテーションとの整合性を確保する。
論文 参考訳（メタデータ） (2024-05-01T00:13:05Z) - Open-Vocabulary SAM: Segment and Recognize Twenty-thousand Classes Interactively [69.97238935096094]
Open-Vocabulary SAMはSAMにインスパイアされたモデルであり、対話的なセグメンテーションと認識のために設計されている。
約22,000のクラスを分類・認識できる。
論文 参考訳（メタデータ） (2024-01-05T18:59:22Z) - Boosting Segment Anything Model Towards Open-Vocabulary Learning [69.42565443181017]
Segment Anything Model (SAM)は、新しいパラダイムビジョン基盤モデルとして登場した。
SAMは様々な領域で応用や適応を発見できるが、その主な制限はオブジェクトの意味を把握できないことである。
我々は,SAMとオープン語彙オブジェクト検出器をエンドツーエンドフレームワークでシームレスに統合するSamborを提案する。
論文 参考訳（メタデータ） (2023-12-06T17:19:00Z) - Stable Segment Anything Model [79.9005670886038]
SAM(Segment Anything Model)は、高品質なプロンプトが与えられた場合、顕著に迅速なセグメンテーションを実現する。
本稿では,SAMのセグメンテーション安定性について,多様なプロンプト特性のスペクトルにわたって包括的解析を行った。
1)SAMのセグメンテーション安定性を広範囲に改善し,2)SAMの強力なセグメンテーション効率と一般化を維持した。
論文 参考訳（メタデータ） (2023-11-27T12:51:42Z) - RSPrompter: Learning to Prompt for Remote Sensing Instance Segmentation
based on Visual Foundation Model [29.42043345787285]
本稿では,Segment Anything Model (SAM) のための適切なプロンプトの生成を学習する手法を提案する。
これによりSAMはリモートセンシング画像に対して意味的に識別可能なセグメンテーション結果を生成することができる。
また,SAMコミュニティ内での最近の進歩を図り,その性能をRSPrompterと比較する。
論文 参考訳（メタデータ） (2023-06-28T14:51:34Z) - When SAM Meets Sonar Images [6.902760999492406]
Segment Anything Model (SAM)はセグメンテーションのやり方に革命をもたらした。
SAMのパフォーマンスは、自然画像とは異なる領域を含むタスクに適用されると低下する可能性がある。
SAMは微調整技術を用いて、医学や惑星科学のような特定の領域で有望な能力を示す。
論文 参考訳（メタデータ） (2023-06-25T03:15:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。