論文の概要: SU-SAM: A Simple Unified Framework for Adapting Segment Anything Model in Underperformed Scenes
- arxiv url: http://arxiv.org/abs/2401.17803v2
- Date: Mon, 29 Jul 2024 08:43:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-31 00:07:09.497544
- Title: SU-SAM: A Simple Unified Framework for Adapting Segment Anything Model in Underperformed Scenes
- Title(参考訳): SU-SAM: パフォーマンスの低いシーンでセグメンテーションモデルに適応するためのシンプルな統一フレームワーク
- Authors: Yiran Song, Qianyu Zhou, Xuequan Lu, Zhiwen Shao, Lizhuang Ma,
- Abstract要約: SAM(Segment Any Model)は、一般的な視覚シナリオにおいて優れた一般化性を示したが、専門的なデータを理解する能力に欠けていた。
近年の手法では,パラメータ効率の手法とタスク固有の設計を組み合わせることで,特定のタスク上でSAMを微調整する手法が提案されている。
本稿では,パラメータ効率のよいSAMモデルを簡便かつ効率的に微調整できる,シンプルで統一的なフレームワーク SU-SAM を提案する。
- 参考スコア(独自算出の注目度): 34.796859088106636
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Segment anything model (SAM) has demonstrated excellent generalizability in common vision scenarios, yet falling short of the ability to understand specialized data. Recently, several methods have combined parameter-efficient techniques with task-specific designs to fine-tune SAM on particular tasks. However, these methods heavily rely on handcraft, complicated, and task-specific designs, and pre/post-processing to achieve acceptable performances on downstream tasks. As a result, this severely restricts generalizability to other downstream tasks. To address this issue, we present a simple and unified framework, namely SU-SAM, that can easily and efficiently fine-tune the SAM model with parameter-efficient techniques while maintaining excellent generalizability toward various downstream tasks. SU-SAM does not require any task-specific designs and aims to improve the adaptability of SAM-like models significantly toward underperformed scenes. Concretely, we abstract parameter-efficient modules of different methods into basic design elements in our framework. Besides, we propose four variants of SU-SAM, i.e., series, parallel, mixed, and LoRA structures. Comprehensive experiments on nine datasets and six downstream tasks to verify the effectiveness of SU-SAM, including medical image segmentation, camouflage object detection, salient object segmentation, surface defect segmentation, complex object shapes, and shadow masking. Our experimental results demonstrate that SU-SAM achieves competitive or superior accuracy compared to state-of-the-art methods. Furthermore, we provide in-depth analyses highlighting the effectiveness of different parameter-efficient designs within SU-SAM. In addition, we propose a generalized model and benchmark, showcasing SU-SAM's generalizability across all diverse datasets simultaneously.
- Abstract(参考訳): セグメンション・アズ・モデル(SAM)は、一般的な視覚シナリオにおいて優れた一般化性を示してきたが、専門的なデータを理解する能力に欠けていた。
近年,パラメータ効率の手法とタスク固有の設計を組み合わせ,特定のタスクにSAMを微調整する手法がいくつかある。
しかし、これらの手法は、下流のタスクで許容できるパフォーマンスを達成するために、手工芸、複雑でタスク固有の設計、および前/後処理に大きく依存している。
結果として、これは他の下流タスクへの一般化性を著しく制限する。
この問題に対処するために,パラメータ効率のよいSAMモデルを簡便かつ効率的に微調整できる簡易かつ統一的なフレームワーク SU-SAM を提案する。
SU-SAMはタスク固有の設計を一切必要とせず、パフォーマンスの低いシーンに対するSAMライクなモデルの適応性を大幅に向上することを目的としている。
具体的には、異なるメソッドのパラメータ効率のモジュールをフレームワークの基本設計要素に抽象化する。
さらに, SU-SAM, 直列構造, 並列構造, 混合構造, ロラ構造の4つの変種を提案する。
医用画像セグメンテーション、カモフラージュ物体検出、サルエント物体セグメンテーション、表面欠陥セグメンテーション、複雑な物体形状、影マスキングなど、9つのデータセットと6つの下流タスクによる総合的な実験により、SU-SAMの有効性を検証する。
実験の結果,SU-SAMは最先端の手法と比較して,競争力や精度が高いことがわかった。
さらに,SU-SAM内におけるパラメータ効率の異なる設計の有効性を詳細に分析する。
さらに,SU-SAMの一般化可能性を示す一般化モデルとベンチマークを提案する。
関連論文リスト
- AlignSAM: Aligning Segment Anything Model to Open Context via Reinforcement Learning [61.666973416903005]
Segment Anything Model (SAM)は、オープンワールドシナリオにおいて、プロンプトのガイダンスによって、その印象的な一般化機能を実証した。
オープンコンテキストにSAMをアライメントするための自動プロンプトのための新しいフレームワークAlignSAMを提案する。
論文 参考訳(メタデータ) (2024-06-01T16:21:39Z) - ASAM: Boosting Segment Anything Model with Adversarial Tuning [9.566046692165884]
本稿では, 対角的チューニングにより基礎モデルの性能を増幅する新しい手法であるASAMを紹介する。
我々は,自然言語処理における実装の成功に触発された,自然対逆例の可能性を生かした。
本手法は, 対向例のフォトリアリズムを維持し, 元のマスクアノテーションとの整合性を確保する。
論文 参考訳(メタデータ) (2024-05-01T00:13:05Z) - MAS-SAM: Segment Any Marine Animal with Aggregated Features [55.91291540810978]
そこで本研究では,海洋生物のセグメンテーションのためのMAS-SAMという新しい特徴学習フレームワークを提案する。
本手法により,グローバルな文脈的手がかりからよりリッチな海洋情報を抽出し,よりきめ細かな局部的詳細を抽出できる。
論文 参考訳(メタデータ) (2024-04-24T07:38:14Z) - TinySAM: Pushing the Envelope for Efficient Segment Anything Model [76.21007576954035]
我々は,強力なゼロショット性能を維持しつつ,小さなセグメントの任意のモデル(TinySAM)を得るためのフレームワークを提案する。
本研究は,まず,軽量学生モデルを蒸留するためのハードプロンプトサンプリングとハードマスク重み付け戦略を用いた,フルステージの知識蒸留法を提案する。
また、学習後の量子化を高速化可能なセグメンテーションタスクに適用し、計算コストをさらに削減する。
論文 参考訳(メタデータ) (2023-12-21T12:26:11Z) - An Efficient General-Purpose Modular Vision Model via Multi-Task
Heterogeneous Training [79.78201886156513]
本稿では、複数の視覚タスクを実行でき、他の下流タスクに効率的に適応できるモデルを提案する。
提案手法は,単一タスク状態モデルに匹敵する結果を達成し,下流タスクの強力な一般化を実証する。
論文 参考訳(メタデータ) (2023-06-29T17:59:57Z) - A Comprehensive Survey on Segment Anything Model for Vision and Beyond [7.920790211915402]
幅広いデータに基づいて訓練された基礎モデルと呼ばれる、一般的なモデルのクラスを設計することは緊急である。
最近提案されたセグメンテーションモデル(SAM)は、セグメンテーションの境界を破る大きな進歩を遂げた。
本稿では,SAMを含む基礎モデルの背景と用語,およびSAMと同種の最先端手法について紹介する。
論文 参考訳(メタデータ) (2023-05-14T16:23:22Z) - An Alternative to WSSS? An Empirical Study of the Segment Anything Model
(SAM) on Weakly-Supervised Semantic Segmentation Problems [35.547433613976104]
Segment Anything Model (SAM)は、優れたパフォーマンスと汎用性を示している。
本報告では,弱スーパービジョンセマンティック(WSSS)におけるSAMの適用について検討する。
画像レベルのクラスラベルのみを付与した擬似ラベル生成パイプラインとしてSAMを適応する。
論文 参考訳(メタデータ) (2023-05-02T16:35:19Z) - SAM Fails to Segment Anything? -- SAM-Adapter: Adapting SAM in
Underperformed Scenes: Camouflage, Shadow, Medical Image Segmentation, and
More [13.047310918166762]
ドメイン固有の情報や視覚的プロンプトを,単純で効果的なアダプタを用いてセグメント化ネットワークに組み込んだtextbfSAM-Adapterを提案する。
タスク固有のネットワークモデルよりも優れていて、テストしたタスクで最先端のパフォーマンスを実現できます。
論文 参考訳(メタデータ) (2023-04-18T17:38:54Z) - Universal Information Extraction as Unified Semantic Matching [54.19974454019611]
情報抽出を,異なるタスクやスキーマで共有される構造化と概念化という,2つの能力に分割する。
このパラダイムに基づいて、統一意味マッチングフレームワークを用いて様々なIEタスクを普遍的にモデル化することを提案する。
このように、USMはスキーマと入力テキストを共同でエンコードし、サブ構造を一様に並列に抽出し、必要に応じてターゲット構造を制御できる。
論文 参考訳(メタデータ) (2023-01-09T11:51:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。