論文の概要: Semantic-aware SAM for Point-Prompted Instance Segmentation
- arxiv url: http://arxiv.org/abs/2312.15895v2
- Date: Sun, 26 May 2024 05:19:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 08:15:32.433188
- Title: Semantic-aware SAM for Point-Prompted Instance Segmentation
- Title（参考訳）: ポイントプロンプトインスタンスセグメンテーションのための意味認識SAM
- Authors: Zhaoyang Wei, Pengfei Chen, Xuehui Yu, Guorong Li, Jianbin Jiao, Zhenjun Han,
- Abstract要約: 本稿では,Segment Anything (SAM) を用いた費用対効果の高いカテゴリー別セグメンタを提案する。
この課題に対処するために、複数のインスタンス学習(MIL)と整合性を備えたSAMとポイントプロンプトを備えたセマンティック・アウェア・インスタンスネットワーク(SAPNet)を開発した。
SAPNetはSAMによって生成される最も代表的なマスクの提案を戦略的に選択し、セグメンテーションを監督する。
- 参考スコア（独自算出の注目度）: 29.286913777078116
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Single-point annotation in visual tasks, with the goal of minimizing labelling costs, is becoming increasingly prominent in research. Recently, visual foundation models, such as Segment Anything (SAM), have gained widespread usage due to their robust zero-shot capabilities and exceptional annotation performance. However, SAM's class-agnostic output and high confidence in local segmentation introduce 'semantic ambiguity', posing a challenge for precise category-specific segmentation. In this paper, we introduce a cost-effective category-specific segmenter using SAM. To tackle this challenge, we have devised a Semantic-Aware Instance Segmentation Network (SAPNet) that integrates Multiple Instance Learning (MIL) with matching capability and SAM with point prompts. SAPNet strategically selects the most representative mask proposals generated by SAM to supervise segmentation, with a specific focus on object category information. Moreover, we introduce the Point Distance Guidance and Box Mining Strategy to mitigate inherent challenges: 'group' and 'local' issues in weakly supervised segmentation. These strategies serve to further enhance the overall segmentation performance. The experimental results on Pascal VOC and COCO demonstrate the promising performance of our proposed SAPNet, emphasizing its semantic matching capabilities and its potential to advance point-prompted instance segmentation. The code will be made publicly available.
- Abstract（参考訳）: 視覚タスクにおける単一点アノテーションは、ラベル付けコストを最小限にすることを目的としており、研究で注目されている。
最近、Segment Anything (SAM) のような視覚基盤モデルは、堅牢なゼロショット機能と例外的なアノテーション性能のために広く使われている。
しかし、SAMのクラスに依存しない出力と局所的セグメンテーションへの高い信頼は「意味的あいまいさ」を導入し、正確なカテゴリー別セグメンテーションに挑戦する。
本稿では,SAMを用いた費用対効果の高いカテゴリー別セグメンタを提案する。
この課題に対処するために,複数インスタンス学習(MIL)と整合性を備えたSAMとポイントプロンプトを備えたセマンティック・アウェア・インスタンスセグメンテーション・ネットワーク(SAPNet)を開発した。
SAPNetはSAMによって生成される最も代表的なマスクの提案を戦略的に選択し、セグメンテーションを監督する。
さらに,「グループ」と「ローカル」の課題を弱教師付きセグメンテーションにおいて緩和するために,ポイントディスタンスガイダンスとボックスマイニング戦略を導入する。
これらの戦略は、セグメンテーション全体のパフォーマンスをさらに向上させるのに役立つ。
Pascal VOCとCOCOの実験結果は、提案したSAPNetの有望な性能を示し、そのセマンティックマッチング機能と、ポイントプロンプトされたインスタンスセグメンテーションを前進させる可能性を強調した。
コードは公開されます。
関連論文リスト
- SAM-CP: Marrying SAM with Composable Prompts for Versatile Segmentation [88.80792308991867]
Segment Anything Model (SAM)は、イメージピクセルをパッチにグループ化する機能を示しているが、セグメンテーションにそれを適用することは依然として大きな課題に直面している。
本稿では,SAM-CPを提案する。SAM-CPはSAM以外の2種類の構成可能なプロンプトを確立し,多目的セグメンテーションのために構成する単純な手法である。
実験により、SAM-CPはオープンドメインとクローズドドメインの両方においてセマンティック、例、およびパノプティックセグメンテーションを達成することが示された。
論文 参考訳（メタデータ） (2024-07-23T17:47:25Z) - Visual Prompt Selection for In-Context Learning Segmentation [77.15684360470152]
本稿では,サンプル選択戦略の再考と改善に焦点をあてる。
まず、ICLに基づくセグメンテーションモデルが異なる文脈に敏感であることを示す。
さらに、経験的証拠は、文脈的プロンプトの多様性がセグメンテーションを導く上で重要な役割を担っていることを示している。
論文 参考訳（メタデータ） (2024-07-14T15:02:54Z) - PosSAM: Panoptic Open-vocabulary Segment Anything [58.72494640363136]
PosSAMはオープン・ボキャブラリ・パノプティ・セグメンテーション・モデルであり、Segment Anything Model(SAM)の強みを、エンドツーエンドのフレームワークで視覚ネイティブのCLIPモデルと統合する。
本稿では,マスクの質を適応的に向上し,各画像の推論中にオープン語彙分類の性能を高めるマスク対応選択組立アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-14T17:55:03Z) - Customizing Segmentation Foundation Model via Prompt Learning for Instance Segmentation [7.6136466242670435]
Segment Anything Model (SAM)は、画像セグメンテーションタスクの一般化性と柔軟性の顕著な進歩で際立っている。
そこで本研究では,SAMに適応した即時学習によるインスタンスセグメンテーションをカスタマイズする手法を提案する。
提案手法は,ユーザ意図に合うように入力プロンプトを埋め込み空間に調整するプロンプト学習モジュール (PLM) を備える。
論文 参考訳（メタデータ） (2024-03-14T09:13:51Z) - Weakly-Supervised Concealed Object Segmentation with SAM-based Pseudo
Labeling and Multi-scale Feature Grouping [40.07070188661184]
Wakly-Supervised Concealed Object (WSCOS) は、周囲の環境とうまく融合したオブジェクトを分割することを目的としている。
内在的な類似性のため、背景から隠された物体を区別することは困難である。
これら2つの課題に対処する新しいWSCOS手法を提案する。
論文 参考訳（メタデータ） (2023-05-18T14:31:34Z) - Active Pointly-Supervised Instance Segmentation [106.38955769817747]
アクティブポイント制御型インスタンスセグメンテーション(APIS)という,経済的なアクティブな学習環境を提案する。
APISはボックスレベルのアノテーションから始まり、ボックス内のポイントを反復的にサンプリングし、オブジェクトに落ちているかどうかを問う。
これらの戦略で開発されたモデルは、挑戦的なMS-COCOデータセットに対して一貫したパフォーマンス向上をもたらす。
論文 参考訳（メタデータ） (2022-07-23T11:25:24Z) - Semantic Attention and Scale Complementary Network for Instance
Segmentation in Remote Sensing Images [54.08240004593062]
本稿では,セマンティックアテンション(SEA)モジュールとスケール補完マスクブランチ(SCMB)で構成される,エンドツーエンドのマルチカテゴリインスタンスセグメンテーションモデルを提案する。
SEAモジュールは、機能マップ上の興味あるインスタンスのアクティベーションを強化するために、追加の監督を備えた、単純な完全な畳み込みセマンティックセマンティックセマンティクスブランチを含んでいる。
SCMBは、元のシングルマスクブランチをトリデントマスクブランチに拡張し、異なるスケールで補完マスクの監視を導入する。
論文 参考訳（メタデータ） (2021-07-25T08:53:59Z) - SegGroup: Seg-Level Supervision for 3D Instance and Semantic
Segmentation [88.22349093672975]
アノテーションの場所を示すためにインスタンス毎に1つのポイントをクリックするだけでよい、弱い教師付きポイントクラウドセグメンテーションアルゴリズムを設計します。
事前処理のオーバーセグメンテーションにより、これらの位置アノテーションをセグレベルのラベルとしてセグメントに拡張する。
seg-level supervised method (SegGroup) は、完全注釈付きポイントレベルのsupervised method で比較結果が得られることを示した。
論文 参考訳（メタデータ） (2020-12-18T13:23:34Z) - SASO: Joint 3D Semantic-Instance Segmentation via Multi-scale Semantic
Association and Salient Point Clustering Optimization [8.519716460338518]
セグメンテーションタスクとインスタンスセグメンテーションタスクを共同で行う,SASOという新しい3Dポイントクラウドセグメンテーションフレームワークを提案する。
空間的文脈におけるオブジェクト間の固有相関から着想を得たセグメンテーションタスクに対して,マルチスケールセマンティックアソシエーション(MSA)モジュールを提案する。
例えば、推論手順のみでクラスタリングを利用する以前の作業とは異なるセグメンテーションタスクでは、Salient Point Clustering Optimization (SPCO) モジュールを提案する。
論文 参考訳（メタデータ） (2020-06-25T08:55:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。