論文の概要: Evaluation Study on SAM 2 for Class-agnostic Instance-level Segmentation
- arxiv url: http://arxiv.org/abs/2409.02567v1
- Date: Wed, 4 Sep 2024 09:35:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-05 19:30:37.189832
- Title: Evaluation Study on SAM 2 for Class-agnostic Instance-level Segmentation
- Title（参考訳）: クラスに依存しないインスタンスレベルのセグメンテーションのためのSAM 2の評価
- Authors: Tiantian Zhang, Zhangjun Zhou, Jialun Pei,
- Abstract要約: Segment Anything Model (SAM) は自然界において強力なゼロショットセグメンテーション性能を示した。
最近リリースされたSegment Anything Model 2 (SAM2)は、画像セグメンテーション機能に対する研究者の期待をさらに高めた。
この技術レポートはSAM2ベースのアダプタの出現を加速させ,クラスに依存しないインスタンスセグメンテーションタスクにおいて,大規模ビジョンモデルの性能向上を目的としている。
- 参考スコア（独自算出の注目度）: 2.5524809198548137
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Segment Anything Model (SAM) has demonstrated powerful zero-shot segmentation performance in natural scenes. The recently released Segment Anything Model 2 (SAM2) has further heightened researchers' expectations towards image segmentation capabilities. To evaluate the performance of SAM2 on class-agnostic instance-level segmentation tasks, we adopt different prompt strategies for SAM2 to cope with instance-level tasks for three relevant scenarios: Salient Instance Segmentation (SIS), Camouflaged Instance Segmentation (CIS), and Shadow Instance Detection (SID). In addition, to further explore the effectiveness of SAM2 in segmenting granular object structures, we also conduct detailed tests on the high-resolution Dichotomous Image Segmentation (DIS) benchmark to assess the fine-grained segmentation capability. Qualitative and quantitative experimental results indicate that the performance of SAM2 varies significantly across different scenarios. Besides, SAM2 is not particularly sensitive to segmenting high-resolution fine details. We hope this technique report can drive the emergence of SAM2-based adapters, aiming to enhance the performance ceiling of large vision models on class-agnostic instance segmentation tasks.
- Abstract（参考訳）: Segment Anything Model (SAM) は自然界において強力なゼロショットセグメンテーション性能を示した。
最近リリースされたSegment Anything Model 2 (SAM2)は、イメージセグメンテーション機能に対する研究者の期待をさらに高めた。
クラスに依存しないインスタンスレベルのセグメンテーションタスクにおけるSAM2の性能を評価するために、Salient Instance Segmentation (SIS)、Camouflaged Instance Segmentation (CIS)、Shadow Instance Detection (SID)の3つのシナリオにおいて、SAM2のインスタンスレベルのタスクに対処するための異なるプロンプト戦略を採用した。
さらに, 粒状オブジェクトのセグメンテーションにおけるSAM2の有効性について検討するため, 高分解能ディコトコス画像セグメンテーション (DIS) ベンチマークを用いて細粒度セグメンテーション機能の評価を行った。
定性的および定量的な実験結果から、SAM2の性能は異なるシナリオで大きく異なることが示唆された。
さらに、SAM2は高解像度の細部をセグメンテーションするのに特に敏感ではない。
この技術レポートがSAM2ベースのアダプタの出現を加速し,クラスに依存しないインスタンスセグメンテーションタスクにおいて,大規模視覚モデルの性能向上を図ることを願っている。
関連論文リスト
- SAM-CP: Marrying SAM with Composable Prompts for Versatile Segmentation [88.80792308991867]
Segment Anything Model (SAM)は、イメージピクセルをパッチにグループ化する機能を示しているが、セグメンテーションにそれを適用することは依然として大きな課題に直面している。
本稿では,SAM-CPを提案する。SAM-CPはSAM以外の2種類の構成可能なプロンプトを確立し,多目的セグメンテーションのために構成する単純な手法である。
実験により、SAM-CPはオープンドメインとクローズドドメインの両方においてセマンティック、例、およびパノプティックセグメンテーションを達成することが示された。
論文 参考訳（メタデータ） (2024-07-23T17:47:25Z) - Moving Object Segmentation: All You Need Is SAM (and Flow) [82.78026782967959]
SAMのセグメンテーション能力と移動物体の発見・グループ化能力を利用する光フローとSAMを組み合わせた2つのモデルについて検討する。
第1のモデルでは、RGBではなく光の流れを入力としてSAMに適応させ、第2のモデルではRGBを入力として、フローをセグメント化プロンプトとして使用する。
これらの驚くほど単純な方法は、追加の修正なしに、シングルオブジェクトとマルチオブジェクトのベンチマークにおいて、以前のアプローチをかなり上回っている。
論文 参考訳（メタデータ） (2024-04-18T17:59:53Z) - PosSAM: Panoptic Open-vocabulary Segment Anything [58.72494640363136]
PosSAMはオープン・ボキャブラリ・パノプティ・セグメンテーション・モデルであり、Segment Anything Model(SAM)の強みを、エンドツーエンドのフレームワークで視覚ネイティブのCLIPモデルと統合する。
本稿では,マスクの質を適応的に向上し,各画像の推論中にオープン語彙分類の性能を高めるマスク対応選択組立アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-14T17:55:03Z) - BLO-SAM: Bi-level Optimization Based Overfitting-Preventing Finetuning
of SAM [37.1263294647351]
BLO-SAMを導入し、二段階最適化(BLO)に基づいてSAM(Segment Anything Model)を微調整する。
BLO-SAMは、モデルの重みパラメータのトレーニングと、トレーニングデータセットの2つの別々のサブセットへの迅速な埋め込みによって、過適合のリスクを低減する。
その結果、BLO-SAMは様々な最先端画像セマンティックセグメンテーション法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2024-02-26T06:36:32Z) - Open-Vocabulary SAM: Segment and Recognize Twenty-thousand Classes
Interactively [74.14385081185459]
Open-Vocabulary SAMはSAMにインスパイアされたモデルであり、対話的なセグメンテーションと認識のために設計されている。
約22,000のクラスを分類・認識できる。
論文 参考訳（メタデータ） (2024-01-05T18:59:22Z) - Promoting Segment Anything Model towards Highly Accurate Dichotomous Image Segmentation [12.03947802006261]
本研究では,高精度なオブジェクトセグメンテーションに向けてSAMを前進させるDisdis-SAMを提案する。
DIS-SAM は2段階のアプローチを採用し、SAM と DIS 専用の IS-Net を統合している。
DIS-SAM は SAM や HQ-SAM に比べて精度が大幅に向上している。
論文 参考訳（メタデータ） (2023-12-30T14:24:33Z) - Semantic-aware SAM for Point-Prompted Instance Segmentation [29.286913777078116]
本稿では,Segment Anything (SAM) を用いた費用対効果の高いカテゴリー別セグメンタを提案する。
この課題に対処するために、複数のインスタンス学習(MIL)と整合性を備えたSAMとポイントプロンプトを備えたセマンティック・アウェア・インスタンスネットワーク(SAPNet)を開発した。
SAPNetはSAMによって生成される最も代表的なマスクの提案を戦略的に選択し、セグメンテーションを監督する。
論文 参考訳（メタデータ） (2023-12-26T05:56:44Z) - Guided Prompting in SAM for Weakly Supervised Cell Segmentation in
Histopathological Images [27.14641973632063]
本稿では、セグメンタを誘導するために、関連するタスクからのアノテーションである弱い監視を使用することに焦点を当てる。
SAM(Segment Anything)のような最近の基礎モデルは、推論中に追加の監視を活用するためにプロンプトを使用することができる。
すべてのSAMベースのソリューションは、既存の弱教師付きイメージセグメンテーションモデルを大幅に上回り、9～15 ptのDiceゲインを得る。
論文 参考訳（メタデータ） (2023-11-29T11:18:48Z) - Semantic-SAM: Segment and Recognize Anything at Any Granularity [83.64686655044765]
本稿では,任意の粒度でセグメンテーションと認識を可能にする汎用画像セグメンテーションモデルであるSemantic-SAMを紹介する。
複数のデータセットを3つの粒度に集約し、オブジェクトとパーツの分離した分類を導入する。
マルチグラニュラリティ機能を実現するために,各クリックで複数のレベルのマスクを生成できるマルチ選択学習方式を提案する。
論文 参考訳（メタデータ） (2023-07-10T17:59:40Z) - An Alternative to WSSS? An Empirical Study of the Segment Anything Model
(SAM) on Weakly-Supervised Semantic Segmentation Problems [35.547433613976104]
Segment Anything Model (SAM)は、優れたパフォーマンスと汎用性を示している。
本報告では,弱スーパービジョンセマンティック(WSSS)におけるSAMの適用について検討する。
画像レベルのクラスラベルのみを付与した擬似ラベル生成パイプラインとしてSAMを適応する。
論文 参考訳（メタデータ） (2023-05-02T16:35:19Z) - Semantic Attention and Scale Complementary Network for Instance
Segmentation in Remote Sensing Images [54.08240004593062]
本稿では,セマンティックアテンション(SEA)モジュールとスケール補完マスクブランチ(SCMB)で構成される,エンドツーエンドのマルチカテゴリインスタンスセグメンテーションモデルを提案する。
SEAモジュールは、機能マップ上の興味あるインスタンスのアクティベーションを強化するために、追加の監督を備えた、単純な完全な畳み込みセマンティックセマンティックセマンティクスブランチを含んでいる。
SCMBは、元のシングルマスクブランチをトリデントマスクブランチに拡張し、異なるスケールで補完マスクの監視を導入する。
論文 参考訳（メタデータ） (2021-07-25T08:53:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。