論文の概要: Auxiliary Tasks Enhanced Dual-affinity Learning for Weakly Supervised Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2403.01156v1
• Date: Sat, 2 Mar 2024 10:03:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 14:57:40.666628
• Title: Auxiliary Tasks Enhanced Dual-affinity Learning for Weakly Supervised Semantic Segmentation
• Title（参考訳）: 弱教師付きセマンティクスセグメンテーションのためのデュアルアフィニティ学習の補助課題
• Authors: Lian Xu, Mohammed Bennamoun, Farid Boussaid, Wanli Ouyang, Ferdous Sohel, Dan Xu
• Abstract要約: AuxSegNet+は、サリエンシマップから豊富な情報を探索する弱教師付き補助学習フレームワークである。 また,サリエンシとセグメンテーションの特徴マップから画素レベルの親和性を学習するためのクロスタスク親和性学習機構を提案する。
• 参考スコア（独自算出の注目度）: 79.05949524349005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most existing weakly supervised semantic segmentation (WSSS) methods rely on Class Activation Mapping (CAM) to extract coarse class-specific localization maps using image-level labels. Prior works have commonly used an off-line heuristic thresholding process that combines the CAM maps with off-the-shelf saliency maps produced by a general pre-trained saliency model to produce more accurate pseudo-segmentation labels. We propose AuxSegNet+, a weakly supervised auxiliary learning framework to explore the rich information from these saliency maps and the significant inter-task correlation between saliency detection and semantic segmentation. In the proposed AuxSegNet+, saliency detection and multi-label image classification are used as auxiliary tasks to improve the primary task of semantic segmentation with only image-level ground-truth labels. We also propose a cross-task affinity learning mechanism to learn pixel-level affinities from the saliency and segmentation feature maps. In particular, we propose a cross-task dual-affinity learning module to learn both pairwise and unary affinities, which are used to enhance the task-specific features and predictions by aggregating both query-dependent and query-independent global context for both saliency detection and semantic segmentation. The learned cross-task pairwise affinity can also be used to refine and propagate CAM maps to provide better pseudo labels for both tasks. Iterative improvement of segmentation performance is enabled by cross-task affinity learning and pseudo-label updating. Extensive experiments demonstrate the effectiveness of the proposed approach with new state-of-the-art WSSS results on the challenging PASCAL VOC and MS COCO benchmarks.
• Abstract（参考訳）: 既存の弱い教師付きセマンティックセマンティックセグメンテーション (WSSS) 手法は、画像レベルラベルを用いて、粗いクラス固有のローカライゼーションマップを抽出するためにクラスアクティベーションマッピング (CAM) に依存している。 従来の研究では、CAMマップと一般の訓練済みサリエンシモデルによって作成された市販のサリエンシマップを組み合わせて、より正確な擬似セグメンテーションラベルを生成する、オフラインのヒューリスティックしきい値付けプロセスが一般的であった。 auxsegnet+は,これらのサリエンシーマップからリッチな情報を探索するための補助学習フレームワークであり,サリエンシー検出と意味セグメンテーションとの間に有意なタスク間相関がある。 提案する auxsegnet+ では, 画像レベルの接地ラベルのみを用いて意味セグメンテーションのタスクを改善する補助タスクとして, 塩分検出とマルチラベル画像分類が用いられている。 また,Saliency and segmentation feature mapから画素レベルの親和性を学習するためのクロスタスク親和性学習機構を提案する。 特に,問合せ依存と問合せ非依存の両方のグローバルコンテキストをサリエンシ検出とセマンティクスセグメンテーションの両方に集約することにより,タスク固有の特徴と予測を強化するために使用される,ペアワイズとユニリーアフィニティの両方を学ぶクロスタスク・アフィニティ学習モジュールを提案する。 学習されたクロスタスクのペアワイズ親和性は、CAMマップを洗練・伝播させ、両方のタスクにより良い擬似ラベルを提供するためにも使用できる。 セグメンテーション性能の反復的改善は、クロスタスク親和性学習と擬似ラベル更新によって実現される。 PASCAL VOCとMS COCOのベンチマークにおいて,最新のWSSSによる提案手法の有効性を実証した。

関連論文リスト

• Enhancing Self-Supervised Learning for Remote Sensing with Elevation Data: A Case Study with Scarce And High Level Semantic Labels [1.534667887016089]
  本研究は、地球観測下流タスクに適用された事前学習モデルに対する、教師なしと教師なしのハイブリッド学習手法を提案する。 我々は、事前訓練モデルに対する対照的なアプローチと画素単位の回帰事前テキストタスクを組み合わせることで、粗い標高マップを予測する。
  論文  参考訳（メタデータ） (2023-04-13T23:01:11Z)
• SLAM: Semantic Learning based Activation Map for Weakly Supervised Semantic Segmentation [34.996841532954925]
  SLAM(Semantic Learning based Activation Map)と呼ばれるWSSSのための新しい意味学習ベースのフレームワークを提案する。 まず、各オブジェクトカテゴリのセマンティックスを学習し、入力画像からカテゴリ固有のセマンティック埋め込みを抽出する意味エンコーダを設計する。 アクティベーションマップの正確性、完全性、コンパクト性、整合性を保証するため、4つの損失関数、すなわち、カテゴリ地上、カテゴリ背景、アクティベーション正規化、一貫性損失が提案される。
  論文  参考訳（メタデータ） (2022-10-22T11:17:30Z)
• Saliency Guided Inter- and Intra-Class Relation Constraints for Weakly Supervised Semantic Segmentation [66.87777732230884]
  本稿では,活性化対象領域の拡大を支援するために,Salliency Guided Inter-およびIntra-Class Relation Constrained (I$2$CRC) フレームワークを提案する。 また,オブジェクトガイド付きラベルリファインメントモジュールを導入し,セグメンテーション予測と初期ラベルをフル活用し,優れた擬似ラベルを得る。
  論文  参考訳（メタデータ） (2022-06-20T03:40:56Z)
• Leveraging Auxiliary Tasks with Affinity Learning for Weakly Supervised Semantic Segmentation [88.49669148290306]
  そこで我々はAuxSegNetと呼ばれる弱教師付きマルチタスク・フレームワークを提案し,サリエンシ検出とマルチラベル画像分類を補助タスクとして活用する。 同様の構造的セマンティクスに着想を得て,サリエンシとセグメンテーションの表現から,クロスタスクなグローバル画素レベルの親和性マップを学習することを提案する。 学習されたクロスタスク親和性は、両方のタスクに対して改善された擬似ラベルを提供するために、唾液度予測を洗練し、CAMマップを伝播するために使用することができる。
  論文  参考訳（メタデータ） (2021-07-25T11:39:58Z)
• Learning to Relate Depth and Semantics for Unsupervised Domain Adaptation [87.1188556802942]
  教師なしドメイン適応(UDA)設定において,視覚的タスク関係を符号化してモデル性能を向上させる手法を提案する。 本稿では,意味的および深さ的予測のタスク依存性を符号化する新しいクロスタスク関係層(ctrl)を提案する。 さらに、セマンティック擬似ラベルを利用してターゲットドメインを監督する反復自己学習(ISL)トレーニングスキームを提案する。
  論文  参考訳（メタデータ） (2021-05-17T13:42:09Z)
• Mining Cross-Image Semantics for Weakly Supervised Semantic Segmentation [128.03739769844736]
  2つのニューラルコアテンションを分類器に組み込んで、画像間のセマンティックな類似点と相違点をキャプチャする。 オブジェクトパターン学習の強化に加えて、コアテンションは他の関連する画像からのコンテキストを活用して、ローカライズマップの推論を改善することができる。 提案アルゴリズムは,これらすべての設定に対して新たな最先端性を設定し,その有効性と一般化性を示す。
  論文  参考訳（メタデータ） (2020-07-03T21:53:46Z)
• Weakly-Supervised Semantic Segmentation by Iterative Affinity Learning [86.45526827323954]
  弱教師付きセマンティックセグメンテーションは、トレーニングのためにピクセル単位のラベル情報が提供されないため、難しい課題である。 このようなペア関係を学習するための反復アルゴリズムを提案する。 本稿では,提案アルゴリズムが最先端手法に対して好適に動作することを示す。
  論文  参考訳（メタデータ） (2020-02-19T10:32:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。