論文の概要: Contrastive learning of Class-agnostic Activation Map for Weakly
Supervised Object Localization and Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2203.13505v1
- Date: Fri, 25 Mar 2022 08:46:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-28 13:28:30.417066
- Title: Contrastive learning of Class-agnostic Activation Map for Weakly
Supervised Object Localization and Semantic Segmentation
- Title（参考訳）: 弱教師付き物体定位と意味セグメンテーションのためのクラス非依存活性化マップの対比学習
- Authors: Jinheng Xie, Jianfeng Xiang, Junliang Chen, Xianxu Hou, Xiaodong Zhao,
Linlin Shen
- Abstract要約: ラベルなし画像データを用いたクラス非依存型活性化マップ(C$2$AM)生成のためのコントラスト学習を提案する。
我々は上記の関係に基づいて正対と負の対を形成し、ネットワークを前景と背景を乱すように強制する。
ネットワークは画像前景を識別するために誘導されるため,本手法で学習したクラス非依存のアクティベーションマップは,より完全なオブジェクト領域を生成する。
- 参考スコア（独自算出の注目度）: 32.76127086403596
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While class activation map (CAM) generated by image classification network
has been widely used for weakly supervised object localization (WSOL) and
semantic segmentation (WSSS), such classifiers usually focus on discriminative
object regions. In this paper, we propose Contrastive learning for
Class-agnostic Activation Map (C$^2$AM) generation only using unlabeled image
data, without the involvement of image-level supervision. The core idea comes
from the observation that i) semantic information of foreground objects usually
differs from their backgrounds; ii) foreground objects with similar appearance
or background with similar color/texture have similar representations in the
feature space. We form the positive and negative pairs based on the above
relations and force the network to disentangle foreground and background with a
class-agnostic activation map using a novel contrastive loss. As the network is
guided to discriminate cross-image foreground-background, the class-agnostic
activation maps learned by our approach generate more complete object regions.
We successfully extracted from C$^2$AM class-agnostic object bounding boxes for
object localization and background cues to refine CAM generated by
classification network for semantic segmentation. Extensive experiments on
CUB-200-2011, ImageNet-1K, and PASCAL VOC2012 datasets show that both WSOL and
WSSS can benefit from the proposed C$^2$AM.
- Abstract（参考訳）: 画像分類ネットワークによって生成されるクラスアクティベーションマップ(CAM)は、弱い教師付きオブジェクトローカライゼーション(WSOL)と意味的セグメンテーション(WSSS)に広く使われているが、そのような分類器は通常、識別対象領域に焦点を当てている。
本稿では,画像レベルの監視を伴わずに,ラベル付き画像データのみを用いたクラス非依存型活性化マップ(C$^2$AM)生成のためのコントラスト学習を提案する。
中心となる考え方は、観察から来ている。
一 前景物の意味情報は、通常、その背景と異なるもの
二 類似した外観又は類似した色/テクスチャを有する背景オブジェクトは、特徴空間に類似した表現を有すること。
上記の関係に基づいて正のペアと負のペアを形成し、新しいコントラスト損失を用いたクラス非依存のアクティベーションマップを用いて、ネットワークを前景と背景を分離させる。
ネットワークは画像前景を識別するために誘導されるため,本手法で学習したクラス非依存のアクティベーションマップは,より完全なオブジェクト領域を生成する。
C$^2$AMクラスに依存しないオブジェクト境界ボックスからオブジェクトローカライゼーションとバックグラウンドキューを抽出し,セマンティックセグメンテーションのための分類ネットワークによって生成されたCAMを改良した。
CUB-200-2011、ImageNet-1K、PASCAL VOC2012データセットの大規模な実験は、WSOLとWSSSの両方が提案されたC$2$AMの恩恵を受けることを示した。
関連論文リスト
- Question-Answer Cross Language Image Matching for Weakly Supervised
Semantic Segmentation [37.15828464616587]
クラスアクティベーションマップ(CAM)は、弱教師付きセマンティックセグメンテーションの一般的なツールとして登場した。
我々はWSSS(QA-CLIMS)のための質問応答クロスランゲージ画像マッチングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-18T10:55:13Z) - Saliency Guided Inter- and Intra-Class Relation Constraints for Weakly
Supervised Semantic Segmentation [66.87777732230884]
本稿では,活性化対象領域の拡大を支援するために,Salliency Guided Inter-およびIntra-Class Relation Constrained (I$2$CRC) フレームワークを提案する。
また,オブジェクトガイド付きラベルリファインメントモジュールを導入し,セグメンテーション予測と初期ラベルをフル活用し,優れた擬似ラベルを得る。
論文 参考訳（メタデータ） (2022-06-20T03:40:56Z) - Cross Language Image Matching for Weakly Supervised Semantic
Segmentation [26.04918485403939]
本稿では,CLIP(Contrastive Language- Image Pre-training)モデルに基づく,CLIMS(Cross Language Image Matching)フレームワークを提案する。
我々のフレームワークの中核となる考え方は、より完全なオブジェクト領域を活性化し、密接に関連するオープンバックグラウンド領域を抑えるために自然言語の監督を導入することである。
さらに、モデルが密接に関連する背景領域を活性化しないように、共起した背景抑圧損失を設計する。
論文 参考訳（メタデータ） (2022-03-05T06:39:48Z) - Background-aware Classification Activation Map for Weakly Supervised
Object Localization [14.646874544729426]
対象と背景の両方のローカライズスコアを同時に学習するための背景認識型分類活性化マップ(B-CAM)を提案する。
我々のB-CAMは、提案したスタガー分類損失に基づいてエンドツーエンドで訓練することができる。
実験の結果,我々のB-CAMはCUB-200,OpenImages,VOC2012データセット上で一段階WSOL法より優れていた。
論文 参考訳（メタデータ） (2021-12-29T03:12:09Z) - Cross-Image Region Mining with Region Prototypical Network for Weakly
Supervised Segmentation [45.39679291105364]
トレーニングセットのクロスイメージオブジェクトの多様性を探索する領域ネットワークRPNetを提案する。
画像にまたがる類似の物体は、地域特徴比較によって識別される。
実験の結果,提案手法はより完全で正確な擬似物体マスクを生成することがわかった。
論文 参考訳（メタデータ） (2021-08-17T02:51:02Z) - Rectifying the Shortcut Learning of Background: Shared Object
Concentration for Few-Shot Image Recognition [101.59989523028264]
Few-Shot画像分類は、大規模なデータセットから学んだ事前学習された知識を利用して、一連の下流分類タスクに取り組むことを目的としている。
本研究では,Few-Shot LearningフレームワークであるCOSOCを提案する。
論文 参考訳（メタデータ） (2021-07-16T07:46:41Z) - Locate then Segment: A Strong Pipeline for Referring Image Segmentation [73.19139431806853]
参照画像セグメンテーションは、自然言語表現によって参照されるオブジェクトをセグメンテーションすることを目的とする。
従来の方法は、視覚言語機能を融合させ、最終的なセグメンテーションマスクを直接生成するための暗黙的および反復的な相互作用メカニズムの設計に焦点を当てています。
これらの問題に取り組むための「Then-Then-Segment」スキームを紹介します。
私たちのフレームワークはシンプルですが驚くほど効果的です。
論文 参考訳（メタデータ） (2021-03-30T12:25:27Z) - TS-CAM: Token Semantic Coupled Attention Map for Weakly Supervised
Object Localization [112.46381729542658]
弱監督オブジェクトローカリゼーション(WSOL)は、画像カテゴリラベルを与えられたときに難しい問題です。
長距離依存抽出のための視覚変換器における自己注意機構をフル活用するために,トークン意味結合注意マップ(TS-CAM)を導入する。
論文 参考訳（メタデータ） (2021-03-27T09:43:16Z) - Weakly-Supervised Semantic Segmentation via Sub-category Exploration [73.03956876752868]
我々は、オブジェクトの他の部分に注意を払うために、ネットワークを強制する単純で効果的なアプローチを提案する。
具体的には、画像の特徴をクラスタリングして、アノテーション付き親クラスごとに擬似サブカテゴリラベルを生成する。
提案手法の有効性を検証し,提案手法が最先端手法に対して良好に機能することを示す。
論文 参考訳（メタデータ） (2020-08-03T20:48:31Z) - Mining Cross-Image Semantics for Weakly Supervised Semantic Segmentation [128.03739769844736]
2つのニューラルコアテンションを分類器に組み込んで、画像間のセマンティックな類似点と相違点をキャプチャする。
オブジェクトパターン学習の強化に加えて、コアテンションは他の関連する画像からのコンテキストを活用して、ローカライズマップの推論を改善することができる。
提案アルゴリズムは,これらすべての設定に対して新たな最先端性を設定し,その有効性と一般化性を示す。
論文 参考訳（メタデータ） (2020-07-03T21:53:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。