論文の概要: Learning Affinity from Attention: End-to-End Weakly-Supervised Semantic Segmentation with Transformers

• arxiv url: http://arxiv.org/abs/2203.02664v1
• Date: Sat, 5 Mar 2022 06:07:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-10 07:34:01.987273
• Title: Learning Affinity from Attention: End-to-End Weakly-Supervised Semantic Segmentation with Transformers
• Title（参考訳）: 注意から親和性を学ぶ:トランスフォーマーを用いたエンドツーエンドの弱教師付き意味セグメンテーション
• Authors: Lixiang Ru and Yibing Zhan and Baosheng Yu and Bo Du
• Abstract要約: グローバル情報を自然に統合したTransformerを導入し、エンドツーエンドWSSSのためのより統合された初期擬似ラベルを生成する。 本稿では,トランスフォーマーにおける自己意識と意味親和性の間に固有の一貫性を動機として,アフィニティ・オブ・アフィニティ(AFA)モジュールを提案する。 また,Pixel-Adaptive Refinementモジュールを設計し,低レベル画像の外観情報を組み込んで擬似ラベルを精査する。
• 参考スコア（独自算出の注目度）: 44.757309147148035
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Weakly-supervised semantic segmentation (WSSS) with image-level labels is an important and challenging task. Due to the high training efficiency, end-to-end solutions for WSSS have received increasing attention from the community. However, current methods are mainly based on convolutional neural networks and fail to explore the global information properly, thus usually resulting in incomplete object regions. In this paper, to address the aforementioned problem, we introduce Transformers, which naturally integrate global information, to generate more integral initial pseudo labels for end-to-end WSSS. Motivated by the inherent consistency between the self-attention in Transformers and the semantic affinity, we propose an Affinity from Attention (AFA) module to learn semantic affinity from the multi-head self-attention (MHSA) in Transformers. The learned affinity is then leveraged to refine the initial pseudo labels for segmentation. In addition, to efficiently derive reliable affinity labels for supervising AFA and ensure the local consistency of pseudo labels, we devise a Pixel-Adaptive Refinement module that incorporates low-level image appearance information to refine the pseudo labels. We perform extensive experiments and our method achieves 66.0% and 38.9% mIoU on the PASCAL VOC 2012 and MS COCO 2014 datasets, respectively, significantly outperforming recent end-to-end methods and several multi-stage competitors. Code is available at https://github.com/rulixiang/afa.
• Abstract（参考訳）: 画像レベルのラベルを持つ弱教師付きセマンティックセグメンテーション(WSSS)は重要かつ困難な課題である。 高いトレーニング効率のため、WSSSのエンドツーエンドソリューションはコミュニティから注目を集めている。 しかし、現在の手法は主に畳み込みニューラルネットワークに基づいており、グローバル情報を適切に探索できないため、通常は不完全な対象領域となる。 本稿では、上記の問題に対処するため、グローバル情報を自然に統合したトランスフォーマーを導入し、エンド・ツー・エンドWSSSのためのより統合された初期擬似ラベルを生成する。 トランスフォーマにおける自己愛着と意味的親和性との固有の一貫性を動機とし,多頭自己愛着(multi-head self-attention, mhsa)から意味親和性を学ぶための注意からの親和性(afa)モジュールを提案する。 学習された親和性は、セグメンテーションのための初期擬似ラベルを洗練するために利用される。 また、afaを監督するための信頼性の高いアフィニティラベルを効率的に導出し、擬似ラベルの局所的一貫性を確保するために、低レベルの画像出現情報を組み込んだ画素適応リファインメントモジュールを考案し、擬似ラベルを洗練する。 我々は広範な実験を行い,pascal voc 2012 と ms coco 2014 のデータセット上で 66.0% と 38.9% の miou をそれぞれ達成した。 コードはhttps://github.com/rulixiang/afaで入手できる。

関連論文リスト

• FedAnchor: Enhancing Federated Semi-Supervised Learning with Label Contrastive Loss for Unlabeled Clients [19.3885479917635]
  Federated Learning(FL)は、デバイス間で共有されたグローバルモデルの協調トレーニングを促進する分散学習パラダイムである。 本稿では,サーバ上のラベル付きアンカーデータにのみ訓練された分類ヘッドと組み合わせて,アンカーヘッドと呼ばれるユニークな二重ヘッド構造を導入する,革新的なFSSL手法であるFedAnchorを提案する。 提案手法は, 高信頼度モデル予測サンプルに基づいて, 疑似ラベル技術に係わる検証バイアスと過度に適合する問題を緩和する。
  論文  参考訳（メタデータ） (2024-02-15T18:48:21Z)
• Progressive Feature Self-reinforcement for Weakly Supervised Semantic Segmentation [55.69128107473125]
  Weakly Supervised Semantic (WSSS) のイメージレベルラベルを用いたシングルステージアプローチを提案する。 我々は、画像内容が決定論的領域(例えば、自信ある前景と背景)と不確実領域(例えば、オブジェクト境界と誤分類されたカテゴリ)に適応的に分割して、別々の処理を行う。 そこで我々は,これらの自信のある領域と同一のクラスラベルを持つ拡張画像とのセマンティック一貫性を制約する補完的な自己強調手法を提案する。
  論文  参考訳（メタデータ） (2023-12-14T13:21:52Z)
• Semantic Connectivity-Driven Pseudo-labeling for Cross-domain Segmentation [89.41179071022121]
  自己学習はドメイン間セマンティックセグメンテーションにおいて一般的なアプローチである。 本稿ではセマンティック・コネクティビティ駆動の擬似ラベル方式を提案する。 このアプローチは、接続レベルにおいて擬似ラベルを定式化し、構造的および低雑音のセマンティクスの学習を容易にする。
  論文  参考訳（メタデータ） (2023-12-11T12:29:51Z)
• STRAP: Structured Object Affordance Segmentation with Point Supervision [20.56373848741831]
  本研究では,探索されていない二重親和性-空間親和性とラベル親和性を相乗的に受け継いだ,点監督による割当セグメンテーションについて検討する。 新しいドメインのラベルを効果的にデジタイズすることで、ラベル関係を強化する高密度な予測ネットワークを考案する。 実験では,本手法をCAD120データセット上でベンチマークし,従来の手法に比べて大きな性能向上を示した。
  論文  参考訳（メタデータ） (2023-04-17T17:59:49Z)
• Self Correspondence Distillation for End-to-End Weakly-Supervised Semantic Segmentation [13.623713806739271]
  本稿では, 外部監視を導入することなく, 擬似ラベルを精製するための新しい自己対応蒸留法を提案する。 さらに,擬似ラベルの局所的一貫性を高めるために,変分対応リファインモジュールを設計する。 我々の手法は、他の最先端手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-02-27T13:46:40Z)
• Continual Coarse-to-Fine Domain Adaptation in Semantic Segmentation [22.366638308792734]
  ディープニューラルネットワークは通常、特定のタスクとデータ分散のために、単一のショットでトレーニングされる。 実際の環境では、タスクとアプリケーションドメインの両方が変更される可能性がある。 本稿では,ドメインシフトが存在する場合のセマンティックセグメンテーションアーキテクチャの粗大な学習という新たな課題を紹介する。
  論文  参考訳（メタデータ） (2022-01-18T13:31:19Z)
• GETAM: Gradient-weighted Element-wise Transformer Attention Map for Weakly-supervised Semantic segmentation [29.184608129848105]
  CAM(Class Activation Map)は通常、ピクセルレベルの擬似ラベルを提供するために生成される。 トランスフォーマーに基づく手法は、長距離依存性モデリングを用いたグローバルコンテキストの探索に非常に効果的である。 GETAMはすべてのフィーチャーマップ要素に対して微細なアクティベーションを示し、トランスフォーマー層にまたがるオブジェクトの異なる部分を明らかにする。
  論文  参考訳（メタデータ） (2021-12-06T08:02:32Z)
• Semi-Supervised Domain Adaptation with Prototypical Alignment and Consistency Learning [86.6929930921905]
  本稿では,いくつかの対象サンプルがラベル付けされていれば,ドメインシフトに対処するのにどの程度役立つか検討する。 ランドマークの可能性を最大限に追求するために、ランドマークから各クラスのターゲットプロトタイプを計算するプロトタイプアライメント(PA)モジュールを組み込んでいます。 具体的には,ラベル付き画像に深刻な摂動を生じさせ,PAを非自明にし,モデル一般化性を促進する。
  論文  参考訳（メタデータ） (2021-04-19T08:46:08Z)
• Dual-Refinement: Joint Label and Feature Refinement for Unsupervised Domain Adaptive Person Re-Identification [51.98150752331922]
  Unsupervised Domain Adaptive (UDA) Person Re-identification (再ID) は、ターゲットドメインデータのラベルが欠落しているため、難しい作業です。 オフラインクラスタリングフェーズにおける擬似ラベルとオンライントレーニングフェーズにおける特徴を共同で改良する,デュアルリファインメントと呼ばれる新しいアプローチを提案する。 本手法は最先端手法を大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2020-12-26T07:35:35Z)
• PseudoSeg: Designing Pseudo Labels for Semantic Segmentation [78.35515004654553]
  ラベルなしまたは弱いラベル付きデータを用いたトレーニングのための構造化された擬似ラベルを生成するための擬似ラベルの再設計を提案する。 提案手法の有効性を,低データと高データの両方において示す。
  論文  参考訳（メタデータ） (2020-10-19T17:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。