論文の概要: Weakly-Supervised Concealed Object Segmentation with SAM-based Pseudo
Labeling and Multi-scale Feature Grouping
- arxiv url: http://arxiv.org/abs/2305.11003v1
- Date: Thu, 18 May 2023 14:31:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-19 14:47:22.334481
- Title: Weakly-Supervised Concealed Object Segmentation with SAM-based Pseudo
Labeling and Multi-scale Feature Grouping
- Title(参考訳): SAM-based Pseudo Labeling と Multi-scale Feature Grouping を用いた弱教師付き物体分割
- Authors: Chunming He and Kai Li and Yachao Zhang and Guoxia Xu and Longxiang
Tang and Yulun Zhang and Zhenhua Guo and Xiu Li
- Abstract要約: Wakly-Supervised Concealed Object (WSCOS) は、周囲の環境とうまく融合したオブジェクトを分割することを目的としている。
内在的な類似性のため、背景から隠された物体を区別することは困難である。
これら2つの課題に対処する新しいWSCOS手法を提案する。
- 参考スコア(独自算出の注目度): 40.07070188661184
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Weakly-Supervised Concealed Object Segmentation (WSCOS) aims to segment
objects well blended with surrounding environments using sparsely-annotated
data for model training. It remains a challenging task since (1) it is hard to
distinguish concealed objects from the background due to the intrinsic
similarity and (2) the sparsely-annotated training data only provide weak
supervision for model learning. In this paper, we propose a new WSCOS method to
address these two challenges. To tackle the intrinsic similarity challenge, we
design a multi-scale feature grouping module that first groups features at
different granularities and then aggregates these grouping results. By grouping
similar features together, it encourages segmentation coherence, helping obtain
complete segmentation results for both single and multiple-object images. For
the weak supervision challenge, we utilize the recently-proposed vision
foundation model, Segment Anything Model (SAM), and use the provided sparse
annotations as prompts to generate segmentation masks, which are used to train
the model. To alleviate the impact of low-quality segmentation masks, we
further propose a series of strategies, including multi-augmentation result
ensemble, entropy-based pixel-level weighting, and entropy-based image-level
selection. These strategies help provide more reliable supervision to train the
segmentation model. We verify the effectiveness of our method on various WSCOS
tasks, and experiments demonstrate that our method achieves state-of-the-art
performance on these tasks.
- Abstract(参考訳): Wakly-Supervised Concealed Object Segmentation (WSCOS) は、オブジェクトを周囲の環境とよく混ざり合うように分割することを目的としている。
本研究は,(1)本質的な類似性から隠蔽対象を背景から区別することは困難であり,(2)微少に注釈付けされたトレーニングデータは,モデル学習の弱さにのみ寄与する。
本稿では,この2つの課題に対処する新しいWSCOS手法を提案する。
固有類似性問題に対処するために、まず異なる粒度で特徴をグループ化し、その結果を集約するマルチスケール機能グループ化モジュールを設計する。
同様の機能をグループ化することで、セグメンテーションコヒーレンスを促進し、単一および複数オブジェクトイメージの完全なセグメンテーション結果を得るのに役立つ。
近年提案されているビジョンファウンデーションモデルであるSegment Anything Model(SAM)を活用し,提案したスパースアノテーションをモデルのトレーニングに用いるセグメンテーションマスクを生成するプロンプトとして利用する。
低品質セグメンテーションマスクの影響を軽減するため,マルチ強化結果アンサンブル,エントロピーに基づく画素レベルの重み付け,エントロピーに基づく画像レベルの選択など,一連の戦略を提案する。
これらの戦略は、セグメンテーションモデルをトレーニングするためのより信頼性の高い監視を提供するのに役立つ。
提案手法が様々なwscosタスクにおいて有効であることを検証し,その効果を実証する実験を行った。
関連論文リスト
- Customizing Segmentation Foundation Model via Prompt Learning for Instance Segmentation [7.6136466242670435]
Segment Anything Model (SAM)は、画像セグメンテーションタスクの一般化性と柔軟性の顕著な進歩で際立っている。
そこで本研究では,SAMに適応した即時学習によるインスタンスセグメンテーションをカスタマイズする手法を提案する。
提案手法は,ユーザ意図に合うように入力プロンプトを埋め込み空間に調整するプロンプト学習モジュール (PLM) を備える。
論文 参考訳(メタデータ) (2024-03-14T09:13:51Z) - SAM-Assisted Remote Sensing Imagery Semantic Segmentation with Object
and Boundary Constraints [9.238103649037951]
本稿では,SAM生成オブジェクト(SGO)とSAM生成境界(SGB)という2つの新しい概念を活用することにより,SAMの生出力を活用するフレームワークを提案する。
本稿では,SGOのコンテンツ特性を考慮し,セマンティックな情報を持たないセグメンテーション領域を活用するために,オブジェクト整合性の概念を導入する。
境界損失は、モデルが対象の境界情報に注意を向けることによって、SGBの特徴的な特徴に重きを置いている。
論文 参考訳(メタデータ) (2023-12-05T03:33:47Z) - Masked Momentum Contrastive Learning for Zero-shot Semantic
Understanding [39.424931953675994]
自己教師付き事前学習(SSP)は、ラベル付きデータなしで有意義な特徴表現を抽出できる機械学習の一般的な手法として登場した。
本研究は、コンピュータビジョンタスクにおける純粋な自己教師付き学習(SSL)技術の有効性を評価する。
論文 参考訳(メタデータ) (2023-08-22T13:55:57Z) - Semantic-SAM: Segment and Recognize Anything at Any Granularity [83.64686655044765]
本稿では,任意の粒度でセグメンテーションと認識を可能にする汎用画像セグメンテーションモデルであるSemantic-SAMを紹介する。
複数のデータセットを3つの粒度に集約し、オブジェクトとパーツの分離した分類を導入する。
マルチグラニュラリティ機能を実現するために,各クリックで複数のレベルのマスクを生成できるマルチ選択学習方式を提案する。
論文 参考訳(メタデータ) (2023-07-10T17:59:40Z) - USER: Unified Semantic Enhancement with Momentum Contrast for Image-Text
Retrieval [115.28586222748478]
Image-Text Retrieval (ITR) は、与えられたクエリに意味のあるターゲットインスタンスを、他のモダリティから検索することを目的としている。
既存のアプローチは通常、2つの大きな制限に悩まされる。
論文 参考訳(メタデータ) (2023-01-17T12:42:58Z) - Semantic Attention and Scale Complementary Network for Instance
Segmentation in Remote Sensing Images [54.08240004593062]
本稿では,セマンティックアテンション(SEA)モジュールとスケール補完マスクブランチ(SCMB)で構成される,エンドツーエンドのマルチカテゴリインスタンスセグメンテーションモデルを提案する。
SEAモジュールは、機能マップ上の興味あるインスタンスのアクティベーションを強化するために、追加の監督を備えた、単純な完全な畳み込みセマンティックセマンティックセマンティクスブランチを含んでいる。
SCMBは、元のシングルマスクブランチをトリデントマスクブランチに拡張し、異なるスケールで補完マスクの監視を導入する。
論文 参考訳(メタデータ) (2021-07-25T08:53:59Z) - Clustering by Maximizing Mutual Information Across Views [62.21716612888669]
本稿では,共同表現学習とクラスタリングを組み合わせた画像クラスタリングのための新しいフレームワークを提案する。
提案手法は,様々な画像データセットにおける最先端の単一ステージクラスタリング手法よりも優れていた。
論文 参考訳(メタデータ) (2021-07-24T15:36:49Z) - CoADNet: Collaborative Aggregation-and-Distribution Networks for
Co-Salient Object Detection [91.91911418421086]
Co-Salient Object Detection (CoSOD)は、2つ以上の関連する画像を含む所定のクエリグループに繰り返し現れる健全なオブジェクトを発見することを目的としている。
課題の1つは、画像間の関係をモデリングし、活用することによって、コ・サリヤ・キューを効果的にキャプチャする方法である。
我々は,複数画像から有能かつ反復的な視覚パターンを捉えるために,エンドツーエンドの協調集約配信ネットワーク(CoADNet)を提案する。
論文 参考訳(メタデータ) (2020-11-10T04:28:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。