論文の概要: SAM2-Adapter: Evaluating & Adapting Segment Anything 2 in Downstream Tasks: Camouflage, Shadow, Medical Image Segmentation, and More
- arxiv url: http://arxiv.org/abs/2408.04579v1
- Date: Thu, 8 Aug 2024 16:40:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-09 14:58:04.795477
- Title: SAM2-Adapter: Evaluating & Adapting Segment Anything 2 in Downstream Tasks: Camouflage, Shadow, Medical Image Segmentation, and More
- Title（参考訳）: SAM2-Adapter: 下流タスクにおけるセグメンテーションの評価と適応:カモフラージュ、シャドウ、医用画像セグメンテーションなど
- Authors: Tianrun Chen, Ankang Lu, Lanyun Zhu, Chaotao Ding, Chunan Yu, Deyi Ji, Zejian Li, Lingyun Sun, Papa Mao, Ying Zang,
- Abstract要約: 本稿では SAM2-Adapter について紹介する。
SAM-Adapterの強みの上に構築され、多様なアプリケーションに対する一般化性と構成性の向上を提供する。
我々は、SAM2-AdapterでSAM2モデルを活用する可能性を示し、研究コミュニティに奨励する。
- 参考スコア（独自算出の注目度）: 16.40994541980171
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The advent of large models, also known as foundation models, has significantly transformed the AI research landscape, with models like Segment Anything (SAM) achieving notable success in diverse image segmentation scenarios. Despite its advancements, SAM encountered limitations in handling some complex low-level segmentation tasks like camouflaged object and medical imaging. In response, in 2023, we introduced SAM-Adapter, which demonstrated improved performance on these challenging tasks. Now, with the release of Segment Anything 2 (SAM2), a successor with enhanced architecture and a larger training corpus, we reassess these challenges. This paper introduces SAM2-Adapter, the first adapter designed to overcome the persistent limitations observed in SAM2 and achieve new state-of-the-art (SOTA) results in specific downstream tasks including medical image segmentation, camouflaged (concealed) object detection, and shadow detection. SAM2-Adapter builds on the SAM-Adapter's strengths, offering enhanced generalizability and composability for diverse applications. We present extensive experimental results demonstrating SAM2-Adapter's effectiveness. We show the potential and encourage the research community to leverage the SAM2 model with our SAM2-Adapter for achieving superior segmentation outcomes. Code, pre-trained models, and data processing protocols are available at http://tianrun-chen.github.io/SAM-Adaptor/
- Abstract（参考訳）: ファンデーションモデルとしても知られる大規模なモデルの出現は、さまざまなイメージセグメンテーションシナリオで顕著な成功を収めたSegment Anything(SAM)のようなモデルによって、AI研究のランドスケープを大きく変えた。
その進歩にもかかわらず、SAMはカモフラージュされた物体や医療画像のような複雑な低レベルセグメンテーションタスクを扱う際の制限に直面した。
これに対して2023年にはSAM-Adapterを導入し,これらの課題に対する性能向上を実証した。
現在、拡張アーキテクチャとより大きなトレーニングコーパスを備えた後継であるSegment Anything 2 (SAM2)のリリースで、これらの課題を再評価しています。
本稿ではSAM2-Adapterについて紹介する。SAM2で観測される永続的制限を克服し、医療画像のセグメンテーション、カモフラージュされたオブジェクト検出、シャドー検出などの特定の下流タスクにおいて、新しいSOTA(State-of-the-art)を実現するために設計された最初のアダプタである。
SAM2-AdapterはSAM-Adapterの強みの上に構築されており、多様なアプリケーションに対する一般化性と構成性の向上を提供する。
SAM2-Adapterの有効性について検討した。
我々は,SAM2モデルとSAM2-Adapterを併用して,より優れたセグメンテーション結果が得られる可能性を示し,研究コミュニティがSAM2モデルを活用することを奨励する。
コード、事前訓練されたモデル、およびデータ処理プロトコルはhttp://tianrun-chen.github.io/SAM-Adaptor/で利用可能である。
関連論文リスト
- SAM2-UNet: Segment Anything 2 Makes Strong Encoder for Natural and Medical Image Segmentation [51.90445260276897]
我々は,Segment Anything Model 2 (SAM2) がU字型セグメンテーションモデルの強力なエンコーダであることを証明した。
本稿では, SAM2-UNet と呼ばれる, 汎用画像分割のための簡易かつ効果的なフレームワークを提案する。
論文 参考訳（メタデータ） (2024-08-16T17:55:38Z) - Multi-Scale and Detail-Enhanced Segment Anything Model for Salient Object Detection [58.241593208031816]
Segment Anything Model (SAM) は、強力なセグメンテーションと一般化機能を提供する視覚的基本モデルとして提案されている。
実物検出のためのMDSAM(Multi-scale and Detail-enhanced SAM)を提案する。
実験により,複数のSODデータセット上でのモデルの優れた性能が示された。
論文 参考訳（メタデータ） (2024-08-08T09:09:37Z) - Is SAM 2 Better than SAM in Medical Image Segmentation? [0.6144680854063939]
Segment Anything Model (SAM) は、自然画像上のゼロショットプロンプト可能なセグメンテーションにおいて、印象的な性能を示した。
先日リリースされたSegment Anything Model 2 (SAM2)は、SAMを画像で上回り、モデルの能力をビデオセグメンテーションに拡張したと主張している。
SAM と SAM 2 の性能を比較するために,複数のデータセットを用いて広範囲にわたる研究を行った。
論文 参考訳（メタデータ） (2024-08-08T04:34:29Z) - Path-SAM2: Transfer SAM2 for digital pathology semantic segmentation [6.721564277355789]
Path-SAM2はSAM2モデルに初めて適応し,病的セマンティックセグメンテーションの課題に適応する。
病理組織学における最大の事前学習型視覚エンコーダ(UNI)とオリジナルのSAM2エンコーダを統合し,病理学に基づく事前知識を付加する。
3つの腺腫の病理データセットにおいて、Path-SAM2は最先端のパフォーマンスを達成した。
論文 参考訳（メタデータ） (2024-08-07T09:30:51Z) - Evaluating SAM2's Role in Camouflaged Object Detection: From SAM to SAM2 [10.751277821864916]
報告によると、SAM2のオートモードでのプロンプトなしで、画像内の異なるオブジェクトを知覚する能力は低下している。
具体的には, この性能低下を評価するために, カモフラージュされた物体検出の課題を用いる。
論文 参考訳（メタデータ） (2024-07-31T13:32:10Z) - MAS-SAM: Segment Any Marine Animal with Aggregated Features [55.91291540810978]
そこで本研究では,海洋生物のセグメンテーションのためのMAS-SAMという新しい特徴学習フレームワークを提案する。
本手法により,グローバルな文脈的手がかりからよりリッチな海洋情報を抽出し,よりきめ細かな局部的詳細を抽出できる。
論文 参考訳（メタデータ） (2024-04-24T07:38:14Z) - Fantastic Animals and Where to Find Them: Segment Any Marine Animal with Dual SAM [62.85895749882285]
海洋動物(英: Marine Animal、MAS)は、海洋環境に生息する動物を分類する動物である。
高性能MASのための新しい特徴学習フレームワークDual-SAMを提案する。
提案手法は,広く使用されている5つのMASデータセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-04-07T15:34:40Z) - Open-Vocabulary SAM: Segment and Recognize Twenty-thousand Classes Interactively [69.97238935096094]
Open-Vocabulary SAMはSAMにインスパイアされたモデルであり、対話的なセグメンテーションと認識のために設計されている。
約22,000のクラスを分類・認識できる。
論文 参考訳（メタデータ） (2024-01-05T18:59:22Z) - Medical SAM Adapter: Adapting Segment Anything Model for Medical Image
Segmentation [51.770805270588625]
Segment Anything Model (SAM)は画像セグメンテーションの分野で最近人気を集めている。
近年の研究では、SAMは医用画像のセグメンテーションにおいて過小評価されている。
ドメイン固有の医療知識をセグメンテーションモデルに組み込んだ医療SAMアダプタ(Med-SA)を提案する。
論文 参考訳（メタデータ） (2023-04-25T07:34:22Z) - SAM Fails to Segment Anything? -- SAM-Adapter: Adapting SAM in
Underperformed Scenes: Camouflage, Shadow, Medical Image Segmentation, and
More [13.047310918166762]
ドメイン固有の情報や視覚的プロンプトを,単純で効果的なアダプタを用いてセグメント化ネットワークに組み込んだtextbfSAM-Adapterを提案する。
タスク固有のネットワークモデルよりも優れていて、テストしたタスクで最先端のパフォーマンスを実現できます。
論文 参考訳（メタデータ） (2023-04-18T17:38:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。