論文の概要: USAGE: A Unified Seed Area Generation Paradigm for Weakly Supervised
Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2303.07806v2
- Date: Thu, 31 Aug 2023 13:00:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-01 20:37:41.297856
- Title: USAGE: A Unified Seed Area Generation Paradigm for Weakly Supervised
Semantic Segmentation
- Title（参考訳）: UAGE: 弱監視セマンティックセマンティックセグメンテーションのための統一シードエリア生成パラダイム
- Authors: Zelin Peng, Guanchun Wang, Lingxi Xie, Dongsheng Jiang, Wei Shen, Qi
Tian
- Abstract要約: 両タイプのネットワークに対して,シードエリアジェネレーション(USAGE)のための統一最適化パラダイムを提案する。
実験の結果,UAGEはCNNとトランスフォーマーの両方のシード領域生成を一貫して改善することがわかった。
- 参考スコア（独自算出の注目度）: 90.08744714206233
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Seed area generation is usually the starting point of weakly supervised
semantic segmentation (WSSS). Computing the Class Activation Map (CAM) from a
multi-label classification network is the de facto paradigm for seed area
generation, but CAMs generated from Convolutional Neural Networks (CNNs) and
Transformers are prone to be under- and over-activated, respectively, which
makes the strategies to refine CAMs for CNNs usually inappropriate for
Transformers, and vice versa. In this paper, we propose a Unified optimization
paradigm for Seed Area GEneration (USAGE) for both types of networks, in which
the objective function to be optimized consists of two terms: One is a
generation loss, which controls the shape of seed areas by a temperature
parameter following a deterministic principle for different types of networks;
The other is a regularization loss, which ensures the consistency between the
seed areas that are generated by self-adaptive network adjustment from
different views, to overturn false activation in seed areas. Experimental
results show that USAGE consistently improves seed area generation for both
CNNs and Transformers by large margins, e.g., outperforming state-of-the-art
methods by a mIoU of 4.1% on PASCAL VOC. Moreover, based on the USAGE-generated
seed areas on Transformers, we achieve state-of-the-art WSSS results on both
PASCAL VOC and MS COCO.
- Abstract（参考訳）: 種子領域の生成は通常、弱教師付きセマンティックセグメンテーション(WSSS)の出発点である。
マルチラベル分類ネットワークからクラスアクティベーションマップ(cam)を計算することは、シード領域生成のデファクトパラダイムであるが、畳み込みニューラルネットワーク(cnns)とトランスフォーマーから生成されるcamは、それぞれ過度に活性化されやすいため、通常はトランスフォーマーに不適当であるcnn用のcamを洗練する戦略と、その逆の方法である。
In this paper, we propose a Unified optimization paradigm for Seed Area GEneration (USAGE) for both types of networks, in which the objective function to be optimized consists of two terms: One is a generation loss, which controls the shape of seed areas by a temperature parameter following a deterministic principle for different types of networks; The other is a regularization loss, which ensures the consistency between the seed areas that are generated by self-adaptive network adjustment from different views, to overturn false activation in seed areas.
実験結果から,UAGEはCNNとトランスフォーマーの両方のシード領域の生成を,PASCAL VOCで4.1%のmIoUで,大きなマージンで一貫して改善していることがわかった。
さらに, トランスフォーマーのUSAGE生成種面積に基づいて, PASCAL VOCとMS COCOの2種類のWSSS結果を得た。
関連論文リスト
- Dual-Augmented Transformer Network for Weakly Supervised Semantic
Segmentation [4.02487511510606]
弱教師付きセマンティックセグメンテーション(WSSS)は、クラスレベルのラベルのみにオブジェクトを分割することを目的とした、基本的なコンピュータビジョンタスクである。
従来の手法では、CNNベースのネットワークを採用し、クラスアクティベーションマップ(CAM)戦略を用いて対象領域を発見する。
別の方法は、視覚変換器(ViT)を探索して画像を符号化し、グローバルな意味情報を取得することである。
相互補完学習のためのCNNベースネットワークとトランスフォーマーネットワークを併用したデュアルネットワークを提案する。
論文 参考訳（メタデータ） (2023-09-30T08:41:11Z) - Semantic-Constraint Matching Transformer for Weakly Supervised Object
Localization [31.039698757869974]
弱教師付きオブジェクトローカライゼーション(WSOL)は、イメージレベルの監督のみでオブジェクトをローカライズすることを学ぶ。
従来のCNNベースのメソッドは、エンティティのスコープ全体ではなく、オブジェクトの識別部分に集中して、部分的なアクティベーションの問題に悩まされていた。
本稿では,変圧器を用いたセマンティック・制約マッチングネットワーク(SCMN)を提案する。
論文 参考訳（メタデータ） (2023-09-04T03:20:31Z) - Generalized One-shot Domain Adaption of Generative Adversarial Networks [72.84435077616135]
GAN(Generative Adversarial Network)の適応は、事前訓練されたGANを、限られたトレーニングデータを持つ特定のドメインに転送することを目的としている。
我々は、ソースドメインからターゲットドメインへの適応を、テクスチャや色といったグローバルなスタイルの移行と、ソースドメインに属さない新しいエンティティの出現の2つの部分に分離できると考えている。
我々の中核的な目的は、参照と合成の内部分布のギャップをワッサーシュタイン距離によって制限することである。
論文 参考訳（メタデータ） (2022-09-08T09:24:44Z) - UniDAformer: Unified Domain Adaptive Panoptic Segmentation Transformer
via Hierarchical Mask Calibration [49.16591283724376]
単一ネットワーク内でのドメイン適応型インスタンス分割とセマンティックセマンティックセマンティックセマンティクスを同時に実現可能な,シンプルで統一されたドメイン適応型パン光学セマンティクスセマンティクス変換器UniDAformerを設計する。
UniDAformerは階層型マスク(Hierarchical Mask, HMC)を導入し、オンザフライでのオンラインセルフトレーニングを通じて、領域、スーパーピクセル、注釈付きピクセルのレベルで不正確な予測を修正した。
1) 統合されたドメイン適応型パン光学適応を可能にする; 2) 誤った予測を緩和し、ドメイン適応型パン光学セグメンテーションを効果的に改善する; 3) より単純なトレーニングと推論パイプラインでエンドツーエンドのトレーニングを可能にする。
論文 参考訳（メタデータ） (2022-06-30T07:32:23Z) - A Unified Architecture of Semantic Segmentation and Hierarchical
Generative Adversarial Networks for Expression Manipulation [52.911307452212256]
セマンティックセグメンテーションと階層的GANの統一アーキテクチャを開発する。
我々のフレームワークのユニークな利点は、将来的なセマンティックセグメンテーションネットワーク条件を生成モデルに渡すことである。
我々は,AffectNetとRaFDの2つの難解な表情翻訳ベンチマークとセマンティックセグメンテーションベンチマークであるCelebAMask-HQについて評価を行った。
論文 参考訳（メタデータ） (2021-12-08T22:06:31Z) - Domain Adaptive Semantic Segmentation with Regional Contrastive
Consistency Regularization [19.279884432843822]
本稿では,領域適応型セマンティックセマンティックセグメンテーションのための局所コントラスト整合正規化(RCCR)と呼ばれる,新しいエンドツーエンドのトレーニング可能なアプローチを提案する。
私たちの中核となる考え方は、異なる画像の同じ位置から抽出された類似の地域的特徴を取り除き、その一方、2つの画像の異なる位置から特徴を分離することです。
論文 参考訳（メタデータ） (2021-10-11T11:45:00Z) - HSVA: Hierarchical Semantic-Visual Adaptation for Zero-Shot Learning [74.76431541169342]
ゼロショット学習(ZSL)は、目に見えないクラス認識の問題に取り組み、目に見えないクラスから目に見えないクラスに意味的な知識を移す。
本稿では,意味領域と視覚領域を協調させる新しい階層型意味視覚適応(HSVA)フレームワークを提案する。
4つのベンチマークデータセットの実験では、HSVAは従来のZSLと一般的なZSLの両方で優れた性能を示す。
論文 参考訳（メタデータ） (2021-09-30T14:27:50Z) - Gated Path Selection Network for Semantic Segmentation [72.44994579325822]
我々は,適応的な受容場を学習することを目的とした,GPSNetという新しいネットワークを開発した。
GPSNetにおいて、我々はまず2次元のマルチスケールネットワーク、SuperNetを設計する。
望ましいセマンティックコンテキストを動的に選択するために、ゲート予測モジュールがさらに導入される。
論文 参考訳（メタデータ） (2020-01-19T12:32:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。