Fugu-MT 論文翻訳(概要): Semantic-aware SAM for Point-Prompted Instance Segmentation

論文の概要: Semantic-aware SAM for Point-Prompted Instance Segmentation

arxiv url: http://arxiv.org/abs/2312.15895v2
Date: Sun, 26 May 2024 05:19:06 GMT
ステータス: 処理完了
システム内更新日: 2024-05-29 08:15:32.433188
Title: Semantic-aware SAM for Point-Prompted Instance Segmentation
Title（参考訳）: ポイントプロンプトインスタンスセグメンテーションのための意味認識SAM
Authors: Zhaoyang Wei, Pengfei Chen, Xuehui Yu, Guorong Li, Jianbin Jiao, Zhenjun Han,
Abstract要約: 本稿では,Segment Anything (SAM) を用いた費用対効果の高いカテゴリー別セグメンタを提案する。この課題に対処するために、複数のインスタンス学習(MIL)と整合性を備えたSAMとポイントプロンプトを備えたセマンティック・アウェア・インスタンスネットワーク(SAPNet)を開発した。 SAPNetはSAMによって生成される最も代表的なマスクの提案を戦略的に選択し、セグメンテーションを監督する。
参考スコア（独自算出の注目度）: 29.286913777078116
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Single-point annotation in visual tasks, with the goal of minimizing labelling costs, is becoming increasingly prominent in research. Recently, visual foundation models, such as Segment Anything (SAM), have gained widespread usage due to their robust zero-shot capabilities and exceptional annotation performance. However, SAM's class-agnostic output and high confidence in local segmentation introduce 'semantic ambiguity', posing a challenge for precise category-specific segmentation. In this paper, we introduce a cost-effective category-specific segmenter using SAM. To tackle this challenge, we have devised a Semantic-Aware Instance Segmentation Network (SAPNet) that integrates Multiple Instance Learning (MIL) with matching capability and SAM with point prompts. SAPNet strategically selects the most representative mask proposals generated by SAM to supervise segmentation, with a specific focus on object category information. Moreover, we introduce the Point Distance Guidance and Box Mining Strategy to mitigate inherent challenges: 'group' and 'local' issues in weakly supervised segmentation. These strategies serve to further enhance the overall segmentation performance. The experimental results on Pascal VOC and COCO demonstrate the promising performance of our proposed SAPNet, emphasizing its semantic matching capabilities and its potential to advance point-prompted instance segmentation. The code will be made publicly available.
Abstract（参考訳）: 視覚タスクにおける単一点アノテーションは、ラベル付けコストを最小限にすることを目的としており、研究で注目されている。最近、Segment Anything (SAM) のような視覚基盤モデルは、堅牢なゼロショット機能と例外的なアノテーション性能のために広く使われている。しかし、SAMのクラスに依存しない出力と局所的セグメンテーションへの高い信頼は「意味的あいまいさ」を導入し、正確なカテゴリー別セグメンテーションに挑戦する。本稿では,SAMを用いた費用対効果の高いカテゴリー別セグメンタを提案する。この課題に対処するために,複数インスタンス学習(MIL)と整合性を備えたSAMとポイントプロンプトを備えたセマンティック・アウェア・インスタンスセグメンテーション・ネットワーク(SAPNet)を開発した。 SAPNetはSAMによって生成される最も代表的なマスクの提案を戦略的に選択し、セグメンテーションを監督する。さらに,「グループ」と「ローカル」の課題を弱教師付きセグメンテーションにおいて緩和するために,ポイントディスタンスガイダンスとボックスマイニング戦略を導入する。これらの戦略は、セグメンテーション全体のパフォーマンスをさらに向上させるのに役立つ。 Pascal VOCとCOCOの実験結果は、提案したSAPNetの有望な性能を示し、そのセマンティックマッチング機能と、ポイントプロンプトされたインスタンスセグメンテーションを前進させる可能性を強調した。コードは公開されます。

関連論文リスト

Effective SAM Combination for Open-Vocabulary Semantic Segmentation [24.126307031048203]
Open-vocabulary semantic segmentationは、無制限のクラスにわたる画像にピクセルレベルのラベルを割り当てることを目的としている。 ESC-Netは、SAMデコーダブロックを利用してクラスに依存しないセグメンテーションを行う新しい1段オープン語彙セグメンテーションモデルである。 ESC-NetはADE20K、PASCAL-VOC、PASCAL-Contextなどの標準ベンチマークで優れたパフォーマンスを実現している。
論文参考訳（メタデータ） (2024-11-22T04:36:12Z)
Adapting Segment Anything Model for Unseen Object Instance Segmentation [70.60171342436092]
Unseen Object Instance(UOIS)は、非構造環境で動作する自律ロボットにとって不可欠である。 UOISタスクのためのデータ効率のよいソリューションであるUOIS-SAMを提案する。 UOIS-SAMは、(i)HeatmapベースのPrompt Generator(HPG)と(ii)SAMのマスクデコーダに適応する階層識別ネットワーク(HDNet)の2つの重要なコンポーネントを統合する。
論文参考訳（メタデータ） (2024-09-23T19:05:50Z)
Evaluation Study on SAM 2 for Class-agnostic Instance-level Segmentation [2.5524809198548137]
Segment Anything Model (SAM) は自然界において強力なゼロショットセグメンテーション性能を示した。最近リリースされたSegment Anything Model 2 (SAM2)は、画像セグメンテーション機能に対する研究者の期待をさらに高めた。この技術レポートはSAM2ベースのアダプタの出現を加速させ,クラスに依存しないインスタンスセグメンテーションタスクにおいて,大規模ビジョンモデルの性能向上を目的としている。
論文参考訳（メタデータ） (2024-09-04T09:35:09Z)
SAM-CP: Marrying SAM with Composable Prompts for Versatile Segmentation [88.80792308991867]
Segment Anything Model (SAM)は、イメージピクセルをパッチにグループ化する機能を示しているが、セグメンテーションにそれを適用することは依然として大きな課題に直面している。本稿では,SAM-CPを提案する。SAM-CPはSAM以外の2種類の構成可能なプロンプトを確立し,多目的セグメンテーションのために構成する単純な手法である。実験により、SAM-CPはオープンドメインとクローズドドメインの両方においてセマンティック、例、およびパノプティックセグメンテーションを達成することが示された。
論文参考訳（メタデータ） (2024-07-23T17:47:25Z)
PosSAM: Panoptic Open-vocabulary Segment Anything [58.72494640363136]
PosSAMはオープン・ボキャブラリ・パノプティ・セグメンテーション・モデルであり、Segment Anything Model(SAM)の強みを、エンドツーエンドのフレームワークで視覚ネイティブのCLIPモデルと統合する。本稿では,マスクの質を適応的に向上し,各画像の推論中にオープン語彙分類の性能を高めるマスク対応選択組立アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-03-14T17:55:03Z)
Weakly-Supervised Concealed Object Segmentation with SAM-based Pseudo Labeling and Multi-scale Feature Grouping [40.07070188661184]
Wakly-Supervised Concealed Object (WSCOS) は、周囲の環境とうまく融合したオブジェクトを分割することを目的としている。内在的な類似性のため、背景から隠された物体を区別することは困難である。これら2つの課題に対処する新しいWSCOS手法を提案する。
論文参考訳（メタデータ） (2023-05-18T14:31:34Z)
Active Pointly-Supervised Instance Segmentation [106.38955769817747]
アクティブポイント制御型インスタンスセグメンテーション(APIS)という,経済的なアクティブな学習環境を提案する。 APISはボックスレベルのアノテーションから始まり、ボックス内のポイントを反復的にサンプリングし、オブジェクトに落ちているかどうかを問う。これらの戦略で開発されたモデルは、挑戦的なMS-COCOデータセットに対して一貫したパフォーマンス向上をもたらす。
論文参考訳（メタデータ） (2022-07-23T11:25:24Z)
Semantic Attention and Scale Complementary Network for Instance Segmentation in Remote Sensing Images [54.08240004593062]
本稿では,セマンティックアテンション(SEA)モジュールとスケール補完マスクブランチ(SCMB)で構成される,エンドツーエンドのマルチカテゴリインスタンスセグメンテーションモデルを提案する。 SEAモジュールは、機能マップ上の興味あるインスタンスのアクティベーションを強化するために、追加の監督を備えた、単純な完全な畳み込みセマンティックセマンティックセマンティクスブランチを含んでいる。 SCMBは、元のシングルマスクブランチをトリデントマスクブランチに拡張し、異なるスケールで補完マスクの監視を導入する。
論文参考訳（メタデータ） (2021-07-25T08:53:59Z)
SegGroup: Seg-Level Supervision for 3D Instance and Semantic Segmentation [88.22349093672975]
アノテーションの場所を示すためにインスタンス毎に1つのポイントをクリックするだけでよい、弱い教師付きポイントクラウドセグメンテーションアルゴリズムを設計します。事前処理のオーバーセグメンテーションにより、これらの位置アノテーションをセグレベルのラベルとしてセグメントに拡張する。 seg-level supervised method (SegGroup) は、完全注釈付きポイントレベルのsupervised method で比較結果が得られることを示した。
論文参考訳（メタデータ） (2020-12-18T13:23:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。