論文の概要: SemFormer: Semantic Guided Activation Transformer for Weakly Supervised Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2210.14618v1
• Date: Wed, 26 Oct 2022 10:51:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 14:57:53.595135
• Title: SemFormer: Semantic Guided Activation Transformer for Weakly Supervised Semantic Segmentation
• Title（参考訳）: semformer:弱教師付き意味セグメンテーションのための意味誘導活性化トランスフォーマ
• Authors: Junliang Chen, Xiaodong Zhao, Cheng Luo, Linlin Shen
• Abstract要約: 本稿では,WSSS用Semantic Guided Activation Transformer(Semantic Guided Activation Transformer)(SemFormer)というトランスフォーマーベースのフレームワークを提案する。 我々は、入力画像のクラス埋め込みを抽出し、データセットの全クラスのクラスセマンティクスを学習するために、トランスフォーマーベースのクラス認識オートエンコーダ(CAAE)を設計する。 当社のSemFormerは textbf74.3% mIoU を達成し、PASCAL VOC 2012 データセットで多くの主要な WSSS アプローチをはるかに上回っている。
• 参考スコア（独自算出の注目度）: 36.80638177024504
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent mainstream weakly supervised semantic segmentation (WSSS) approaches are mainly based on Class Activation Map (CAM) generated by a CNN (Convolutional Neural Network) based image classifier. In this paper, we propose a novel transformer-based framework, named Semantic Guided Activation Transformer (SemFormer), for WSSS. We design a transformer-based Class-Aware AutoEncoder (CAAE) to extract the class embeddings for the input image and learn class semantics for all classes of the dataset. The class embeddings and learned class semantics are then used to guide the generation of activation maps with four losses, i.e., class-foreground, class-background, activation suppression, and activation complementation loss. Experimental results show that our SemFormer achieves \textbf{74.3}\% mIoU and surpasses many recent mainstream WSSS approaches by a large margin on PASCAL VOC 2012 dataset. Code will be available at \url{https://github.com/JLChen-C/SemFormer}.
• Abstract（参考訳）: 最近の主流のweakly supervised semantic segmentation(wsss)アプローチは、主にcnn(convolutional neural network)ベースの画像分類器によって生成されたクラスアクティベーションマップ(cam)に基づいている。 本稿では,WSSS用セマンティックガイド・アクティベーション・トランス(Semantic Guided Activation Transformer,Semantic Guided Activation Transformer)を提案する。 我々は、入力画像のクラス埋め込みを抽出し、データセットの全クラスのクラスセマンティクスを学習するトランスフォーマーベースのクラス認識オートエンコーダ(CAAE)を設計する。 次に、クラス埋め込みと学習されたクラスセマンティクスは、4つの損失、すなわち、クラスフォアグラウンド、クラスバックグラウンド、アクティベーション抑制、アクティベーション補完損失を含むアクティベーションマップの生成を導くために使用される。 実験の結果,SemFormer は textbf{74.3}\% mIoU を達成し,PASCAL VOC 2012 データセットにおいて多くの主要な WSSS アプローチをはるかに上回っていることがわかった。 コードは \url{https://github.com/JLChen-C/SemFormer} で入手できる。

関連論文リスト

• CoBra: Complementary Branch Fusing Class and Semantic Knowledge for Robust Weakly Supervised Semantic Segmentation [3.4248731707266264]
  本稿では,クラス(CNN)とセマンティック(ViT)の相補的知識を提供する2つの異なるアーキテクチャからなる新しい2つの分岐フレームワークを提案する。 我々のモデルはCoBraを通じてCNNとViTの補完的な出力を融合し、クラス情報とセマンティック情報の両方を効果的に統合する堅牢な擬似マスクを生成する。
  論文  参考訳（メタデータ） (2024-02-05T12:33:37Z)
• Boosting Semantic Segmentation from the Perspective of Explicit Class Embeddings [19.997929884477628]
  クラス埋め込みのメカニズムを探求し、クラスマスクに基づいてより明示的で意味のあるクラス埋め込みを生成することができるという知見を得る。 マルチステージ画像特徴との相互作用において,クラス埋め込みを明示的に獲得・拡張する新たなセグメンテーションパラダイムであるECENetを提案する。 ECENetはADE20Kデータセットよりもはるかに少ない計算コストでパフォーマンスを向上し、PASCAL-Contextデータセット上で新たな最先端結果を達成する。
  論文  参考訳（メタデータ） (2023-08-24T16:16:10Z)
• MCTformer+: Multi-Class Token Transformer for Weakly Supervised Semantic Segmentation [90.73815426893034]
  弱教師付きセマンティックセグメンテーションの強化を目的としたトランスフォーマーベースのフレームワークを提案する。 複数のクラストークンを組み込んだマルチクラストークン変換器を導入し,パッチトークンとのクラス認識インタラクションを実現する。 識別型クラストークンの学習を促進するために,Contrastive-Class-Token (CCT)モジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-06T03:30:20Z)
• Advancing Incremental Few-shot Semantic Segmentation via Semantic-guided Relation Alignment and Adaptation [98.51938442785179]
  増分的な数ショットセマンティックセマンティックセマンティクスは、セマンティクスセマンティクスモデルを新しいクラスに漸進的に拡張することを目的としている。 このタスクは、データ不均衡のため、ベースクラスと新しいクラスの間で深刻な意味認識の問題に直面します。 本稿では,従来の意味情報のガイダンスを完全に考慮した意味誘導型関係調整適応法を提案する。
  論文  参考訳（メタデータ） (2023-05-18T10:40:52Z)
• SLAM: Semantic Learning based Activation Map for Weakly Supervised Semantic Segmentation [34.996841532954925]
  SLAM(Semantic Learning based Activation Map)と呼ばれるWSSSのための新しい意味学習ベースのフレームワークを提案する。 まず、各オブジェクトカテゴリのセマンティックスを学習し、入力画像からカテゴリ固有のセマンティック埋め込みを抽出する意味エンコーダを設計する。 アクティベーションマップの正確性、完全性、コンパクト性、整合性を保証するため、4つの損失関数、すなわち、カテゴリ地上、カテゴリ背景、アクティベーション正規化、一貫性損失が提案される。
  論文  参考訳（メタデータ） (2022-10-22T11:17:30Z)
• Multi-class Token Transformer for Weakly Supervised Semantic Segmentation [94.78965643354285]
  弱教師付きセマンティックセグメンテーション(WSSS)のための擬似ラベルとしてクラス固有のオブジェクトローカライゼーションマップを学習するトランスフォーマーベースのフレームワークを提案する。 標準視覚変換器の1クラストークンの付随領域を利用してクラス非依存のローカライゼーションマップを作成できることに着想を得て、トランスフォーマーモデルがより識別的なオブジェクトローカライゼーションのためにクラス固有の注意を効果的に捉えることができるかどうかを検討する。 提案手法は, PASCAL VOCおよびMS COCOデータセットにおいて, クラス活性化マッピング(CAM)法を完全に補完するものである。
  論文  参考訳（メタデータ） (2022-03-06T07:18:23Z)
• Segmenter: Transformer for Semantic Segmentation [79.9887988699159]
  セマンティックセグメンテーションのためのトランスフォーマーモデルであるSegmenterを紹介します。 最近のViT(Vision Transformer)上に構築し,セマンティックセグメンテーションに拡張する。 これは、挑戦的なADE20Kデータセット上でのアートの状態を上回り、Pascal ContextとCityscapesでオンパーを実行する。
  論文  参考訳（メタデータ） (2021-05-12T13:01:44Z)
• Half-Real Half-Fake Distillation for Class-Incremental Semantic Segmentation [84.1985497426083]
  畳み込みニューラルネットワークは漸進的な学習に不適である。 新しいクラスは利用できるが、初期トレーニングデータは保持されない。 訓練されたセグメンテーションネットワークを「反転」して、ランダムノイズから始まる入力画像の合成を試みる。
  論文  参考訳（メタデータ） (2021-04-02T03:47:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。