論文の概要: GETAM: Gradient-weighted Element-wise Transformer Attention Map for Weakly-supervised Semantic segmentation

• arxiv url: http://arxiv.org/abs/2112.02841v1
• Date: Mon, 6 Dec 2021 08:02:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-08 04:05:21.019531
• Title: GETAM: Gradient-weighted Element-wise Transformer Attention Map for Weakly-supervised Semantic segmentation
• Title（参考訳）: getam:弱教師付きセマンティクスセグメンテーションのための勾配重み付け要素方向トランスフォーマーアテンションマップ
• Authors: Weixuan Sun, Jing Zhang, Zheyuan Liu, Yiran Zhong, Nick Barnes
• Abstract要約: CAM(Class Activation Map)は通常、ピクセルレベルの擬似ラベルを提供するために生成される。 トランスフォーマーに基づく手法は、長距離依存性モデリングを用いたグローバルコンテキストの探索に非常に効果的である。 GETAMはすべてのフィーチャーマップ要素に対して微細なアクティベーションを示し、トランスフォーマー層にまたがるオブジェクトの異なる部分を明らかにする。
• 参考スコア（独自算出の注目度）: 29.184608129848105
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Weakly Supervised Semantic Segmentation (WSSS) is challenging, particularly when image-level labels are used to supervise pixel level prediction. To bridge their gap, a Class Activation Map (CAM) is usually generated to provide pixel level pseudo labels. CAMs in Convolutional Neural Networks suffer from partial activation ie, only the most discriminative regions are activated. Transformer based methods, on the other hand, are highly effective at exploring global context with long range dependency modeling, potentially alleviating the "partial activation" issue. In this paper, we propose the first transformer based WSSS approach, and introduce the Gradient weighted Element wise Transformer Attention Map (GETAM). GETAM shows fine scale activation for all feature map elements, revealing different parts of the object across transformer layers. Further, we propose an activation aware label completion module to generate high quality pseudo labels. Finally, we incorporate our methods into an end to end framework for WSSS using double backward propagation. Extensive experiments on PASCAL VOC and COCO demonstrate that our results beat the state-of-the-art end-to-end approaches by a significant margin, and outperform most multi-stage methods.m most multi-stage methods.
• Abstract（参考訳）: 特に画像レベルのラベルを用いてピクセルレベルの予測を監督する場合、WSSS(Weakly Supervised Semantic Segmentation)は困難である。 ギャップを埋めるために、クラスアクティベーションマップ(CAM)は通常、ピクセルレベルの擬似ラベルを提供するために生成される。 畳み込みニューラルネットワークのCAMは部分活性化に悩まされ、最も識別性の高い領域のみが活性化される。 一方、トランスフォーマティブベースのメソッドは、長距離依存性モデリングによるグローバルコンテキストの探索に非常に効果的であり、"部分的アクティベーション"の問題を軽減する可能性がある。 本稿では、最初の変換器に基づくWSSSアプローチを提案し、グラディエント重み付き要素ワイドトランスフォーマー注意マップ(GETAM)を提案する。 GETAMはすべてのフィーチャーマップ要素に対して微細なアクティベーションを示し、トランスフォーマー層にまたがるオブジェクトの異なる部分を明らかにする。 さらに,高品質な擬似ラベルを生成するためのアクティベーション認識ラベル補完モジュールを提案する。 最後に、二重後方伝播を用いたwsssのエンド・ツー・エンドのフレームワークにメソッドを組み込む。 PASCAL VOCとCOCOの大規模な実験により、我々の研究結果は最先端のエンドツーエンドアプローチをかなり上回り、ほとんどのマルチステージ手法よりも優れています。

関連論文リスト

• Background Activation Suppression for Weakly Supervised Object Localization and Semantic Segmentation [84.62067728093358]
  弱教師付きオブジェクトローカライゼーションとセマンティックセグメンテーションは、画像レベルのラベルのみを使用してオブジェクトをローカライズすることを目的としている。 画素レベルのローカライゼーションを実現するために,フォアグラウンド予測マップを生成することで,新たなパラダイムが誕生した。 本稿では,物体の局在化学習過程に関する2つの驚くべき実験結果を示す。
  論文  参考訳（メタデータ） (2023-09-22T15:44:10Z)
• All-pairs Consistency Learning for Weakly Supervised Semantic Segmentation [42.66269050864235]
  Weakly supervised semantic segmentation (WSSS) のためのオブジェクトのローカライズに適したトランスフォーマーベース正規化を提案する。 我々は、ペアワイズ親和性を自然に埋め込む自己注意機構として、視覚変換器を採用する。 本手法は, PASCAL VOC列車のクラスローカライゼーションマップ(67.3% mIoU)を顕著に向上させる。
  論文  参考訳（メタデータ） (2023-08-08T15:14:23Z)
• UM-CAM: Uncertainty-weighted Multi-resolution Class Activation Maps for Weakly-supervised Fetal Brain Segmentation [15.333308330432176]
  本稿では,意味的特徴と文脈情報探索に基づく画像レベルのラベル付き弱教師付き手法を提案する。 提案手法は,画像レベルラベルを用いた最先端の弱教師付き手法よりも優れている。
  論文  参考訳（メタデータ） (2023-06-20T12:21:13Z)
• Multi-Granularity Denoising and Bidirectional Alignment for Weakly Supervised Semantic Segmentation [75.32213865436442]
  本稿では,雑音ラベルと多クラス一般化問題を緩和するために,MDBAモデルを提案する。 MDBAモデルはPASCAL VOC 2012データセットの検証とテストセットにおいて69.5%と70.2%のmIoUに達することができる。
  論文  参考訳（メタデータ） (2023-05-09T03:33:43Z)
• Attention-based Class Activation Diffusion for Weakly-Supervised Semantic Segmentation [98.306533433627]
  クラスアクティベーションマップの抽出(CAM)は、弱教師付きセマンティックセグメンテーション(WSSS)の重要なステップである 本稿では,CAMとアテンション行列を確率的拡散法で結合する新しい手法を提案し,それをAD-CAMとダブする。 擬似ラベルとしてのAD-CAMは、最先端のCAMよりも強力なWSSSモデルが得られることを示す実験である。
  論文  参考訳（メタデータ） (2022-11-20T10:06:32Z)
• Saliency Guided Inter- and Intra-Class Relation Constraints for Weakly Supervised Semantic Segmentation [66.87777732230884]
  本稿では,活性化対象領域の拡大を支援するために,Salliency Guided Inter-およびIntra-Class Relation Constrained (I$2$CRC) フレームワークを提案する。 また,オブジェクトガイド付きラベルリファインメントモジュールを導入し,セグメンテーション予測と初期ラベルをフル活用し,優れた擬似ラベルを得る。
  論文  参考訳（メタデータ） (2022-06-20T03:40:56Z)
• Self-supervised Image-specific Prototype Exploration for Weakly Supervised Semantic Segmentation [72.33139350241044]
  画像レベルのラベルをベースとしたWSSS(Weakly Supervised Semantic COCO)は,アノテーションコストの低さから注目されている。 本稿では,画像特異的なプロトタイプ探索 (IPE) と汎用一貫性 (GSC) の喪失からなる画像固有プロトタイプ探索 (SIPE) を提案する。 SIPEは,画像レベルラベルのみを用いて,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-03-06T09:01:03Z)
• Learning Affinity from Attention: End-to-End Weakly-Supervised Semantic Segmentation with Transformers [44.757309147148035]
  グローバル情報を自然に統合したTransformerを導入し、エンドツーエンドWSSSのためのより統合された初期擬似ラベルを生成する。 本稿では,トランスフォーマーにおける自己意識と意味親和性の間に固有の一貫性を動機として,アフィニティ・オブ・アフィニティ(AFA)モジュールを提案する。 また,Pixel-Adaptive Refinementモジュールを設計し,低レベル画像の外観情報を組み込んで擬似ラベルを精査する。
  論文  参考訳（メタデータ） (2022-03-05T06:07:17Z)
• Semi-Supervised Domain Adaptation with Prototypical Alignment and Consistency Learning [86.6929930921905]
  本稿では,いくつかの対象サンプルがラベル付けされていれば,ドメインシフトに対処するのにどの程度役立つか検討する。 ランドマークの可能性を最大限に追求するために、ランドマークから各クラスのターゲットプロトタイプを計算するプロトタイプアライメント(PA)モジュールを組み込んでいます。 具体的には,ラベル付き画像に深刻な摂動を生じさせ,PAを非自明にし,モデル一般化性を促進する。
  論文  参考訳（メタデータ） (2021-04-19T08:46:08Z)
• Puzzle-CAM: Improved localization via matching partial and full features [0.5482532589225552]
  弱教師付きセマンティックセマンティックセマンティクス(WSSS)を導入し、セマンティクス性能のギャップを画素レベルの監視から画像レベルの監視へと狭める。 ほとんどの高度なアプローチは、セグメンテーションネットワークをトレーニングするために擬似ラベルを生成するクラスアクティベーションマップ(CAM)に基づいている。 本稿では,個々のパッチと画像全体の違いを最小限に抑えるプロセスであるPuzzle-CAMを提案する。 実験では、Puzzle-CAMはPASCAL VOC 2012データセットの監視のために同じラベルを使用した従来の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-01-27T08:19:38Z)
• Zoom-CAM: Generating Fine-grained Pixel Annotations from Image Labels [15.664293530106637]
  Zoom-CAMは、様々な識別クラスのインスタンスに対して、きめ細かい小さなオブジェクトをキャプチャする。 クラスラベルからピクセルレベルの擬似ラベルを生成することに注力する。 弱い教師付きセマンティックセグメンテーションのために、生成した擬似ラベルは、アートモデルの状態を1.1%改善する。
  論文  参考訳（メタデータ） (2020-10-16T22:06:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。