論文の概要: SAM Fails to Segment Anything? -- SAM-Adapter: Adapting SAM in
Underperformed Scenes: Camouflage, Shadow, and More
- arxiv url: http://arxiv.org/abs/2304.09148v2
- Date: Wed, 19 Apr 2023 17:03:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-20 10:37:22.492962
- Title: SAM Fails to Segment Anything? -- SAM-Adapter: Adapting SAM in
Underperformed Scenes: Camouflage, Shadow, and More
- Title（参考訳）: SAMはセグメンテーションに失敗したか?
--SAM-Adapter:未演奏シーンにおけるSAMの適応:カモフラージュ、シャドウなど
- Authors: Tianrun Chen, Lanyun Zhu, Chaotao Ding, Runlong Cao, Yan Wang, Zejian
Li, Lingyun Sun, Papa Mao, Ying Zang
- Abstract要約: ドメイン固有の情報や視覚的プロンプトを,単純で効果的なアダプタを用いてセグメント化ネットワークに組み込んだtextbfSAM-Adapterを提案する。
実験の結果,SAM-Adapter は課題において SAM の性能を大幅に向上させることができることがわかった。
我々は、SAMを下流のタスクで活用する機会を、様々な分野の潜在的な応用に開放すると考えている。
- 参考スコア（独自算出の注目度）: 13.047310918166762
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The emergence of large models, also known as foundation models, has brought
significant advancements to AI research. One such model is Segment Anything
(SAM), which is designed for image segmentation tasks. However, as with other
foundation models, our experimental findings suggest that SAM may fail or
perform poorly in certain segmentation tasks, such as shadow detection and
camouflaged object detection (concealed object detection). This study first
paves the way for applying the large pre-trained image segmentation model SAM
to these downstream tasks, even in situations where SAM performs poorly. Rather
than fine-tuning the SAM network, we propose \textbf{SAM-Adapter}, which
incorporates domain-specific information or visual prompts into the
segmentation network by using simple yet effective adapters. Our extensive
experiments show that SAM-Adapter can significantly elevate the performance of
SAM in challenging tasks and we can even outperform task-specific network
models and achieve state-of-the-art performance in the task we tested:
camouflaged object detection and shadow detection. We believe our work opens up
opportunities for utilizing SAM in downstream tasks, with potential
applications in various fields, including medical image processing,
agriculture, remote sensing, and more.
- Abstract（参考訳）: ファンデーションモデルとしても知られる大型モデルの出現は、AI研究に大きな進歩をもたらした。
そのようなモデルの1つは、イメージセグメンテーションタスク用に設計されたSegment Anything (SAM)である。
しかし,他の基礎モデルと同様に,影検出や擬似物体検出 (concealed object detection) などの特定のセグメンテーションタスクではSAMが故障したり,動作不良となる可能性が示唆された。
本研究は,SAMが不十分な状況であっても,まず,大規模な訓練済み画像分割モデルSAMを下流タスクに適用する方法について検討する。
SAM ネットワークを微調整する代わりに,ドメイン固有情報や視覚的プロンプトを,単純かつ効果的なアダプタを用いてセグメント化ネットワークに組み込んだ \textbf{SAM-Adapter} を提案する。
広範な実験により,SAM-Adapterは課題におけるSAMの性能を大幅に向上させることができ,また,タスク固有のネットワークモデルよりも優れ,テストしたタスクにおいて最先端のパフォーマンスを達成できることがわかった。
医療画像処理,農業,リモートセンシングなど,さまざまな分野に適用可能な,下流作業におけるSAM活用の機会が開けていると考えています。
関連論文リスト
- Adapting Segment Anything Model for Unseen Object Instance Segmentation [70.60171342436092]
Unseen Object Instance(UOIS)は、非構造環境で動作する自律ロボットにとって不可欠である。
UOISタスクのためのデータ効率のよいソリューションであるUOIS-SAMを提案する。
UOIS-SAMは、(i)HeatmapベースのPrompt Generator(HPG)と(ii)SAMのマスクデコーダに適応する階層識別ネットワーク(HDNet)の2つの重要なコンポーネントを統合する。
論文 参考訳（メタデータ） (2024-09-23T19:05:50Z) - SAM2-UNet: Segment Anything 2 Makes Strong Encoder for Natural and Medical Image Segmentation [51.90445260276897]
我々は,Segment Anything Model 2 (SAM2) がU字型セグメンテーションモデルの強力なエンコーダであることを証明した。
本稿では, SAM2-UNet と呼ばれる, 汎用画像分割のための簡易かつ効果的なフレームワークを提案する。
論文 参考訳（メタデータ） (2024-08-16T17:55:38Z) - SAM2-Adapter: Evaluating & Adapting Segment Anything 2 in Downstream Tasks: Camouflage, Shadow, Medical Image Segmentation, and More [16.40994541980171]
本稿では SAM2-Adapter について紹介する。
SAM-Adapterの強みの上に構築され、多様なアプリケーションに対する一般化性と構成性の向上を提供する。
我々は、SAM2-AdapterでSAM2モデルを活用する可能性を示し、研究コミュニティに奨励する。
論文 参考訳（メタデータ） (2024-08-08T16:40:15Z) - Multi-Scale and Detail-Enhanced Segment Anything Model for Salient Object Detection [58.241593208031816]
Segment Anything Model (SAM) は、強力なセグメンテーションと一般化機能を提供する視覚的基本モデルとして提案されている。
実物検出のためのMDSAM(Multi-scale and Detail-enhanced SAM)を提案する。
実験により,複数のSODデータセット上でのモデルの優れた性能が示された。
論文 参考訳（メタデータ） (2024-08-08T09:09:37Z) - MAS-SAM: Segment Any Marine Animal with Aggregated Features [55.91291540810978]
そこで本研究では,海洋生物のセグメンテーションのためのMAS-SAMという新しい特徴学習フレームワークを提案する。
本手法により,グローバルな文脈的手がかりからよりリッチな海洋情報を抽出し,よりきめ細かな局部的詳細を抽出できる。
論文 参考訳（メタデータ） (2024-04-24T07:38:14Z) - Performance Evaluation of Segment Anything Model with Variational Prompting for Application to Non-Visible Spectrum Imagery [15.748043194987075]
この研究は、X線/赤外線モダリティに関心のあるオブジェクトのセグメンテーションにおけるセグメンション・任意のモデル機能を評価する。
提案手法は,ボックスプロンプトが与えられた場合,SAMはオブジェクトをX線モードで分割できるが,その性能は点プロンプトによって異なる。
このモダリティの低コントラストの性質を考えると、赤外線オブジェクトもポイントプロンプトでセグメント化することが困難である。
論文 参考訳（メタデータ） (2024-04-18T16:04:14Z) - RSAM-Seg: A SAM-based Approach with Prior Knowledge Integration for
Remote Sensing Image Semantic Segmentation [10.37240769959699]
Segment Anything Model (SAM)は、イメージセグメンテーションタスクのための普遍的な事前トレーニングモデルを提供する。
本稿では,セマンティックを用いたリモートセンシングSAM(RSAM-Seg)を提案する。
SAMのエンコーダ部分のマルチヘッドアテンションブロックにおいて,アダプタスケール(Adapter-Scale)が提案されている。
クラウド検出、フィールド監視、ビル検出、道路マッピングタスクを含む4つの異なるリモートセンシングシナリオで実験が行われた。
論文 参考訳（メタデータ） (2024-02-29T09:55:46Z) - TinySAM: Pushing the Envelope for Efficient Segment Anything Model [76.21007576954035]
我々は,強力なゼロショット性能を維持しつつ,小さなセグメントの任意のモデル(TinySAM)を得るためのフレームワークを提案する。
本研究は,まず,軽量学生モデルを蒸留するためのハードプロンプトサンプリングとハードマスク重み付け戦略を用いた,フルステージの知識蒸留法を提案する。
また、学習後の量子化を高速化可能なセグメンテーションタスクに適用し、計算コストをさらに削減する。
論文 参考訳（メタデータ） (2023-12-21T12:26:11Z) - When SAM Meets Sonar Images [6.902760999492406]
Segment Anything Model (SAM)はセグメンテーションのやり方に革命をもたらした。
SAMのパフォーマンスは、自然画像とは異なる領域を含むタスクに適用されると低下する可能性がある。
SAMは微調整技術を用いて、医学や惑星科学のような特定の領域で有望な能力を示す。
論文 参考訳（メタデータ） (2023-06-25T03:15:14Z) - Segment anything, from space? [8.126645790463266]
SAM(Segment Anything Model)は、安価な入力プロンプトに基づいて、入力画像中のオブジェクトをセグメント化することができる。
SAMは通常、目標タスクで訓練された視覚モデルに似た、あるいは時として超えた認識精度を達成した。
SAMの性能が画像のオーバーヘッド問題にまで及んでいるかどうかを考察し、その開発に対するコミュニティの反応を導くのに役立てる。
論文 参考訳（メタデータ） (2023-04-25T17:14:36Z) - Medical SAM Adapter: Adapting Segment Anything Model for Medical Image
Segmentation [51.770805270588625]
Segment Anything Model (SAM)は画像セグメンテーションの分野で最近人気を集めている。
近年の研究では、SAMは医用画像のセグメンテーションにおいて過小評価されている。
ドメイン固有の医療知識をセグメンテーションモデルに組み込んだ医療SAMアダプタ(Med-SA)を提案する。
論文 参考訳（メタデータ） (2023-04-25T07:34:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。