論文の概要: Semantic-aware SAM for Point-Prompted Instance Segmentation
- arxiv url: http://arxiv.org/abs/2312.15895v1
- Date: Tue, 26 Dec 2023 05:56:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 15:57:28.527407
- Title: Semantic-aware SAM for Point-Prompted Instance Segmentation
- Title(参考訳): ポイントプロンプトインスタンスセグメンテーションのための意味認識SAM
- Authors: Zhaoyang Wei, Pengfei Chen, Xuehui Yu, Guorong Li, Jianbin Jiao,
Zhenjun Han
- Abstract要約: 本稿では,Segment Anything (SAM) を用いた費用対効果の高いカテゴリー別セグメンタを提案する。
この課題に対処するために、複数のインスタンス学習(MIL)と整合性を備えたSAMとポイントプロンプトを備えたセマンティック・アウェア・インスタンスネットワーク(SAPNet)を開発した。
SAPNetはSAMによって生成される最も代表的なマスクの提案を戦略的に選択し、セグメンテーションを監督する。
- 参考スコア(独自算出の注目度): 31.032877195832217
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Single-point annotation in visual tasks, with the goal of minimizing
labelling costs, is becoming increasingly prominent in research. Recently,
visual foundation models, such as Segment Anything (SAM), have gained
widespread usage due to their robust zero-shot capabilities and exceptional
annotation performance. However, SAM's class-agnostic output and high
confidence in local segmentation introduce 'semantic ambiguity', posing a
challenge for precise category-specific segmentation. In this paper, we
introduce a cost-effective category-specific segmenter using SAM. To tackle
this challenge, we have devised a Semantic-Aware Instance Segmentation Network
(SAPNet) that integrates Multiple Instance Learning (MIL) with matching
capability and SAM with point prompts. SAPNet strategically selects the most
representative mask proposals generated by SAM to supervise segmentation, with
a specific focus on object category information. Moreover, we introduce the
Point Distance Guidance and Box Mining Strategy to mitigate inherent
challenges: 'group' and 'local' issues in weakly supervised segmentation. These
strategies serve to further enhance the overall segmentation performance. The
experimental results on Pascal VOC and COCO demonstrate the promising
performance of our proposed SAPNet, emphasizing its semantic matching
capabilities and its potential to advance point-prompted instance segmentation.
The code will be made publicly available.
- Abstract(参考訳): ラベルのコストを最小化することを目的として,ビジュアルタスクにおけるシングルポイントアノテーションが研究で注目されている。
最近、Segment Anything (SAM) のような視覚基盤モデルは、堅牢なゼロショット機能と例外的なアノテーション性能のために広く使われている。
しかし、SAMのクラスに依存しない出力と局所的セグメンテーションへの高い信頼は「意味的曖昧さ」を導入し、正確なカテゴリー別セグメンテーションに挑戦する。
本稿では,SAMを用いた費用対効果の高いカテゴリー別セグメンタを提案する。
この課題に対処するために,複数インスタンス学習(MIL)と整合性を備えたSAMとポイントプロンプトを備えたセマンティック・アウェア・インスタンスセグメンテーション・ネットワーク(SAPNet)を開発した。
SAPNetはSAMによって生成される最も代表的なマスクの提案を戦略的に選択し、セグメンテーションを監督する。
さらに,「グループ」と「ローカル」の課題を弱教師付きセグメンテーションにおいて緩和するために,ポイント距離誘導とボックスマイニング戦略を導入する。
これらの戦略は、セグメンテーション全体のパフォーマンスをさらに向上させるのに役立つ。
Pascal VOCとCOCOの実験結果は、提案したSAPNetの有望な性能を示し、そのセマンティックマッチング機能と、ポイントプロンプトされたインスタンスセグメンテーションを前進させる可能性を強調した。
コードは公開される予定だ。
関連論文リスト
- PosSAM: Panoptic Open-vocabulary Segment Anything [58.72494640363136]
PosSAMはオープン・ボキャブラリ・パノプティ・セグメンテーション・モデルであり、Segment Anything Model(SAM)の強みを、エンドツーエンドのフレームワークで視覚ネイティブのCLIPモデルと統合する。
本稿では,マスクの質を適応的に向上し,各画像の推論中にオープン語彙分類の性能を高めるマスク対応選択組立アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-03-14T17:55:03Z) - Customizing Segmentation Foundation Model via Prompt Learning for Instance Segmentation [7.6136466242670435]
Segment Anything Model (SAM)は、画像セグメンテーションタスクの一般化性と柔軟性の顕著な進歩で際立っている。
そこで本研究では,SAMに適応した即時学習によるインスタンスセグメンテーションをカスタマイズする手法を提案する。
提案手法は,ユーザ意図に合うように入力プロンプトを埋め込み空間に調整するプロンプト学習モジュール (PLM) を備える。
論文 参考訳(メタデータ) (2024-03-14T09:13:51Z) - VRP-SAM: SAM with Visual Reference Prompt [75.80412480849276]
そこで我々は,Segment Anything Model (SAM) を利用した新しいVisual Reference Prompt (VRP) エンコーダを提案する。
本質的には、VRP-SAMは注釈付き参照画像を使用して特定のオブジェクトを理解し、ターゲット画像内の特定のオブジェクトのセグメンテーションを実行することができる。
論文 参考訳(メタデータ) (2024-02-27T17:58:09Z) - Boosting Segment Anything Model Towards Open-Vocabulary Learning [69.42565443181017]
Segment Anything Model (SAM)は、新しいパラダイムビジョン基盤モデルとして登場した。
SAMは様々な領域で応用や適応を発見できるが、その主な制限はオブジェクトの意味を把握できないことである。
我々は,SAMとオープン語彙オブジェクト検出器をエンドツーエンドフレームワークでシームレスに統合するSamborを提案する。
論文 参考訳(メタデータ) (2023-12-06T17:19:00Z) - Weakly-Supervised Concealed Object Segmentation with SAM-based Pseudo
Labeling and Multi-scale Feature Grouping [40.07070188661184]
Wakly-Supervised Concealed Object (WSCOS) は、周囲の環境とうまく融合したオブジェクトを分割することを目的としている。
内在的な類似性のため、背景から隠された物体を区別することは困難である。
これら2つの課題に対処する新しいWSCOS手法を提案する。
論文 参考訳(メタデータ) (2023-05-18T14:31:34Z) - Active Pointly-Supervised Instance Segmentation [106.38955769817747]
アクティブポイント制御型インスタンスセグメンテーション(APIS)という,経済的なアクティブな学習環境を提案する。
APISはボックスレベルのアノテーションから始まり、ボックス内のポイントを反復的にサンプリングし、オブジェクトに落ちているかどうかを問う。
これらの戦略で開発されたモデルは、挑戦的なMS-COCOデータセットに対して一貫したパフォーマンス向上をもたらす。
論文 参考訳(メタデータ) (2022-07-23T11:25:24Z) - Semantic Attention and Scale Complementary Network for Instance
Segmentation in Remote Sensing Images [54.08240004593062]
本稿では,セマンティックアテンション(SEA)モジュールとスケール補完マスクブランチ(SCMB)で構成される,エンドツーエンドのマルチカテゴリインスタンスセグメンテーションモデルを提案する。
SEAモジュールは、機能マップ上の興味あるインスタンスのアクティベーションを強化するために、追加の監督を備えた、単純な完全な畳み込みセマンティックセマンティックセマンティクスブランチを含んでいる。
SCMBは、元のシングルマスクブランチをトリデントマスクブランチに拡張し、異なるスケールで補完マスクの監視を導入する。
論文 参考訳(メタデータ) (2021-07-25T08:53:59Z) - SegGroup: Seg-Level Supervision for 3D Instance and Semantic
Segmentation [88.22349093672975]
アノテーションの場所を示すためにインスタンス毎に1つのポイントをクリックするだけでよい、弱い教師付きポイントクラウドセグメンテーションアルゴリズムを設計します。
事前処理のオーバーセグメンテーションにより、これらの位置アノテーションをセグレベルのラベルとしてセグメントに拡張する。
seg-level supervised method (SegGroup) は、完全注釈付きポイントレベルのsupervised method で比較結果が得られることを示した。
論文 参考訳(メタデータ) (2020-12-18T13:23:34Z) - SASO: Joint 3D Semantic-Instance Segmentation via Multi-scale Semantic
Association and Salient Point Clustering Optimization [8.519716460338518]
セグメンテーションタスクとインスタンスセグメンテーションタスクを共同で行う,SASOという新しい3Dポイントクラウドセグメンテーションフレームワークを提案する。
空間的文脈におけるオブジェクト間の固有相関から着想を得たセグメンテーションタスクに対して,マルチスケールセマンティックアソシエーション(MSA)モジュールを提案する。
例えば、推論手順のみでクラスタリングを利用する以前の作業とは異なるセグメンテーションタスクでは、Salient Point Clustering Optimization (SPCO) モジュールを提案する。
論文 参考訳(メタデータ) (2020-06-25T08:55:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。