論文の概要: SU-SAM: A Simple Unified Framework for Adapting Segment Anything Model in Underperformed Scenes
- arxiv url: http://arxiv.org/abs/2401.17803v2
- Date: Mon, 29 Jul 2024 08:43:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-31 00:07:09.497544
- Title: SU-SAM: A Simple Unified Framework for Adapting Segment Anything Model in Underperformed Scenes
- Title（参考訳）: SU-SAM: パフォーマンスの低いシーンでセグメンテーションモデルに適応するためのシンプルな統一フレームワーク
- Authors: Yiran Song, Qianyu Zhou, Xuequan Lu, Zhiwen Shao, Lizhuang Ma,
- Abstract要約: SAM(Segment Any Model)は、一般的な視覚シナリオにおいて優れた一般化性を示したが、専門的なデータを理解する能力に欠けていた。
近年の手法では,パラメータ効率の手法とタスク固有の設計を組み合わせることで,特定のタスク上でSAMを微調整する手法が提案されている。
本稿では,パラメータ効率のよいSAMモデルを簡便かつ効率的に微調整できる,シンプルで統一的なフレームワーク SU-SAM を提案する。
- 参考スコア（独自算出の注目度）: 34.796859088106636
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Segment anything model (SAM) has demonstrated excellent generalizability in common vision scenarios, yet falling short of the ability to understand specialized data. Recently, several methods have combined parameter-efficient techniques with task-specific designs to fine-tune SAM on particular tasks. However, these methods heavily rely on handcraft, complicated, and task-specific designs, and pre/post-processing to achieve acceptable performances on downstream tasks. As a result, this severely restricts generalizability to other downstream tasks. To address this issue, we present a simple and unified framework, namely SU-SAM, that can easily and efficiently fine-tune the SAM model with parameter-efficient techniques while maintaining excellent generalizability toward various downstream tasks. SU-SAM does not require any task-specific designs and aims to improve the adaptability of SAM-like models significantly toward underperformed scenes. Concretely, we abstract parameter-efficient modules of different methods into basic design elements in our framework. Besides, we propose four variants of SU-SAM, i.e., series, parallel, mixed, and LoRA structures. Comprehensive experiments on nine datasets and six downstream tasks to verify the effectiveness of SU-SAM, including medical image segmentation, camouflage object detection, salient object segmentation, surface defect segmentation, complex object shapes, and shadow masking. Our experimental results demonstrate that SU-SAM achieves competitive or superior accuracy compared to state-of-the-art methods. Furthermore, we provide in-depth analyses highlighting the effectiveness of different parameter-efficient designs within SU-SAM. In addition, we propose a generalized model and benchmark, showcasing SU-SAM's generalizability across all diverse datasets simultaneously.
- Abstract（参考訳）: セグメンション・アズ・モデル(SAM)は、一般的な視覚シナリオにおいて優れた一般化性を示してきたが、専門的なデータを理解する能力に欠けていた。
近年,パラメータ効率の手法とタスク固有の設計を組み合わせ,特定のタスクにSAMを微調整する手法がいくつかある。
しかし、これらの手法は、下流のタスクで許容できるパフォーマンスを達成するために、手工芸、複雑でタスク固有の設計、および前/後処理に大きく依存している。
結果として、これは他の下流タスクへの一般化性を著しく制限する。
この問題に対処するために,パラメータ効率のよいSAMモデルを簡便かつ効率的に微調整できる簡易かつ統一的なフレームワーク SU-SAM を提案する。
SU-SAMはタスク固有の設計を一切必要とせず、パフォーマンスの低いシーンに対するSAMライクなモデルの適応性を大幅に向上することを目的としている。
具体的には、異なるメソッドのパラメータ効率のモジュールをフレームワークの基本設計要素に抽象化する。
さらに, SU-SAM, 直列構造, 並列構造, 混合構造, ロラ構造の4つの変種を提案する。
医用画像セグメンテーション、カモフラージュ物体検出、サルエント物体セグメンテーション、表面欠陥セグメンテーション、複雑な物体形状、影マスキングなど、9つのデータセットと6つの下流タスクによる総合的な実験により、SU-SAMの有効性を検証する。
実験の結果,SU-SAMは最先端の手法と比較して,競争力や精度が高いことがわかった。
さらに,SU-SAM内におけるパラメータ効率の異なる設計の有効性を詳細に分析する。
さらに,SU-SAMの一般化可能性を示す一般化モデルとベンチマークを提案する。
関連論文リスト
- Promptable Anomaly Segmentation with SAM Through Self-Perception Tuning [63.55145330447408]
Segment Anything Model (SAM) は、その顕著な一般化能力により、異常セグメンテーションタスクにおいて大きな進歩を遂げている。
SAMを直接適用する既存のメソッドは、しばしばドメインシフトの問題を見落としている。
本稿では, SAMの異常セグメンテーションに対する知覚能力を高めることを目的とした, 自己パーセプティノンチューニング(SPT)手法を提案する。
論文 参考訳（メタデータ） (2024-11-26T08:33:25Z) - On Efficient Variants of Segment Anything Model: A Survey [63.127753705046]
Segment Anything Model (SAM) は画像分割タスクの基本モデルであり、多様なアプリケーションにまたがる強力な一般化で知られている。
これを解決するために、精度を保ちながら効率を高めるために様々なSAM変種が提案されている。
この調査は、これらの効率的なSAM変種に関する最初の包括的なレビューを提供する。
論文 参考訳（メタデータ） (2024-10-07T11:59:54Z) - Adapting Segment Anything Model for Unseen Object Instance Segmentation [70.60171342436092]
Unseen Object Instance(UOIS)は、非構造環境で動作する自律ロボットにとって不可欠である。
UOISタスクのためのデータ効率のよいソリューションであるUOIS-SAMを提案する。
UOIS-SAMは、(i)HeatmapベースのPrompt Generator(HPG)と(ii)SAMのマスクデコーダに適応する階層識別ネットワーク(HDNet)の2つの重要なコンポーネントを統合する。
論文 参考訳（メタデータ） (2024-09-23T19:05:50Z) - Multi-Scale and Detail-Enhanced Segment Anything Model for Salient Object Detection [58.241593208031816]
Segment Anything Model (SAM) は、強力なセグメンテーションと一般化機能を提供する視覚的基本モデルとして提案されている。
実物検出のためのMDSAM(Multi-scale and Detail-enhanced SAM)を提案する。
実験により,複数のSODデータセット上でのモデルの優れた性能が示された。
論文 参考訳（メタデータ） (2024-08-08T09:09:37Z) - ASAM: Boosting Segment Anything Model with Adversarial Tuning [9.566046692165884]
本稿では, 対角的チューニングにより基礎モデルの性能を増幅する新しい手法であるASAMを紹介する。
我々は,自然言語処理における実装の成功に触発された,自然対逆例の可能性を生かした。
本手法は, 対向例のフォトリアリズムを維持し, 元のマスクアノテーションとの整合性を確保する。
論文 参考訳（メタデータ） (2024-05-01T00:13:05Z) - Task-Aware Low-Rank Adaptation of Segment Anything Model [4.5963832382272125]
Segment Anything Model (SAM) は画像セグメンテーションタスクの強力な基盤モデルであることが証明されている。
本稿では,マルチタスク学習の基礎モデルとしてSAMを機能させるタスク対応低ランク適応(TA-LoRA)手法を提案する。
論文 参考訳（メタデータ） (2024-03-16T17:02:50Z) - WSI-SAM: Multi-resolution Segment Anything Model (SAM) for histopathology whole-slide images [8.179859593451285]
病理画像の正確なオブジェクト分割機能を備えたWSI-SAM, Segment Anything Model (SAM) を提案する。
トレーニングオーバーヘッドを最小限にしながら、トレーニング済みの知識を完全に活用するために、SAMは凍結し、最小限のパラメータしか導入しません。
本モデルでは, 膵管癌 in situ (DCIS) セグメンテーションタスクと乳癌転移セグメンテーションタスクにおいて, SAMを4.1, 2.5パーセント上回った。
論文 参考訳（メタデータ） (2024-03-14T10:30:43Z) - TinySAM: Pushing the Envelope for Efficient Segment Anything Model [76.21007576954035]
我々は,強力なゼロショット性能を維持しつつ,小さなセグメントの任意のモデル(TinySAM)を得るためのフレームワークを提案する。
本研究は,まず,軽量学生モデルを蒸留するためのハードプロンプトサンプリングとハードマスク重み付け戦略を用いた,フルステージの知識蒸留法を提案する。
また、学習後の量子化を高速化可能なセグメンテーションタスクに適用し、計算コストをさらに削減する。
論文 参考訳（メタデータ） (2023-12-21T12:26:11Z) - SAM-PARSER: Fine-tuning SAM Efficiently by Parameter Space
Reconstruction [53.871596866809725]
Segment Anything Model (SAM)は、画像中のオブジェクトのセグメンテーションに強力で汎用的なソリューションを提供するため、注目されている。
パラメータ空間再構成(SAM-PARSER)によるSAMの微調整を効率的に行うことを提案する。
行列分解により基底を求め、その係数を微調整し、基底の最適線形結合により新しいシナリオに合わせたパラメータ空間を再構成する。
論文 参考訳（メタデータ） (2023-08-28T14:17:16Z) - SAM Fails to Segment Anything? -- SAM-Adapter: Adapting SAM in
Underperformed Scenes: Camouflage, Shadow, Medical Image Segmentation, and
More [13.047310918166762]
ドメイン固有の情報や視覚的プロンプトを,単純で効果的なアダプタを用いてセグメント化ネットワークに組み込んだtextbfSAM-Adapterを提案する。
タスク固有のネットワークモデルよりも優れていて、テストしたタスクで最先端のパフォーマンスを実現できます。
論文 参考訳（メタデータ） (2023-04-18T17:38:54Z) - mSAM: Micro-Batch-Averaged Sharpness-Aware Minimization [20.560184120992094]
シャープネス・アウェアの最小化手法は、フラットな最小化に向けて勾配降下法を操る基本損失関数を変更する。
我々は最近開発されたフラットネス解析のためのよく研究された一般的なフレームワークを拡張し、SAMがSGDよりもフラットなミニマを達成し、mSAMがSAMよりもフラットなミニマを達成できることを理論的に示す。
論文 参考訳（メタデータ） (2023-02-19T23:27:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。