論文の概要: Leveraging Auxiliary Tasks with Affinity Learning for Weakly Supervised Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2107.11787v2
• Date: Tue, 27 Jul 2021 02:15:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-28 11:26:20.640653
• Title: Leveraging Auxiliary Tasks with Affinity Learning for Weakly Supervised Semantic Segmentation
• Title（参考訳）: 弱教師付き意味セグメンテーションのための親和性学習による補助タスクの活用
• Authors: Lian Xu, Wanli Ouyang, Mohammed Bennamoun, Farid Boussaid, Ferdous Sohel, Dan Xu
• Abstract要約: そこで我々はAuxSegNetと呼ばれる弱教師付きマルチタスク・フレームワークを提案し,サリエンシ検出とマルチラベル画像分類を補助タスクとして活用する。 同様の構造的セマンティクスに着想を得て,サリエンシとセグメンテーションの表現から,クロスタスクなグローバル画素レベルの親和性マップを学習することを提案する。 学習されたクロスタスク親和性は、両方のタスクに対して改善された擬似ラベルを提供するために、唾液度予測を洗練し、CAMマップを伝播するために使用することができる。
• 参考スコア（独自算出の注目度）: 88.49669148290306
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semantic segmentation is a challenging task in the absence of densely labelled data. Only relying on class activation maps (CAM) with image-level labels provides deficient segmentation supervision. Prior works thus consider pre-trained models to produce coarse saliency maps to guide the generation of pseudo segmentation labels. However, the commonly used off-line heuristic generation process cannot fully exploit the benefits of these coarse saliency maps. Motivated by the significant inter-task correlation, we propose a novel weakly supervised multi-task framework termed as AuxSegNet, to leverage saliency detection and multi-label image classification as auxiliary tasks to improve the primary task of semantic segmentation using only image-level ground-truth labels. Inspired by their similar structured semantics, we also propose to learn a cross-task global pixel-level affinity map from the saliency and segmentation representations. The learned cross-task affinity can be used to refine saliency predictions and propagate CAM maps to provide improved pseudo labels for both tasks. The mutual boost between pseudo label updating and cross-task affinity learning enables iterative improvements on segmentation performance. Extensive experiments demonstrate the effectiveness of the proposed auxiliary learning network structure and the cross-task affinity learning method. The proposed approach achieves state-of-the-art weakly supervised segmentation performance on the challenging PASCAL VOC 2012 and MS COCO benchmarks.
• Abstract（参考訳）: セマンティックセグメンテーションは、密にラベル付けされたデータがない場合に難しいタスクである。 画像レベルのラベルを持つクラスアクティベーションマップ(CAM)のみに依存すると、セグメンテーションの監督が不十分になる。 したがって、事前訓練されたモデルを用いて、擬似セグメンテーションラベルの生成を誘導する粗いサリエンシマップを作成する。 しかし、一般的に使われるオフラインヒューリスティック生成プロセスは、これらの粗いサリエンシマップの利点を完全に活用することはできない。 そこで本研究では,auxsegnetと呼ばれる弱教師付きマルチタスクフレームワークを提案する。サリエンシー検出とマルチラベル画像分類を補助タスクとして活用し,画像レベルの接地ラベルのみを用いた意味セグメンテーションの一次タスクを改善する。 同様の構造的セマンティクスに着想を得て,サリエンシとセグメンテーション表現から,クロスタスクなグローバル画素レベルの親和性マップを学習することを提案する。 学習されたクロスタスクアフィニティは、給与予測を洗練し、カムマップを伝播させ、両方のタスクに擬似ラベルを改善するために使用できる。 擬似ラベル更新とクロスタスクアフィニティ学習の相互強化により、セグメンテーション性能が反復的に向上する。 提案する補助学習ネットワーク構造とクロスタスク親和性学習手法の有効性を示す。 提案手法は,PASCAL VOC 2012とMS COCOベンチマークを用いて,最先端の教師付きセグメンテーション性能を実現する。

関連論文リスト

• iSeg: An Iterative Refinement-based Framework for Training-free Segmentation [85.58324416386375]
  本稿では,自己注意マップを用いた横断注意マップの繰り返し精錬に関する実験的検討を行った。 トレーニング不要セグメンテーションのための効果的な反復改良フレームワークiSegを提案する。 提案したiSegは,mIoUの3.8%の絶対ゲインを達成している。
  論文  参考訳（メタデータ） (2024-09-05T03:07:26Z)
• Auxiliary Tasks Enhanced Dual-affinity Learning for Weakly Supervised Semantic Segmentation [79.05949524349005]
  AuxSegNet+は、サリエンシマップから豊富な情報を探索する弱教師付き補助学習フレームワークである。 また,サリエンシとセグメンテーションの特徴マップから画素レベルの親和性を学習するためのクロスタスク親和性学習機構を提案する。
  論文  参考訳（メタデータ） (2024-03-02T10:03:21Z)
• Semantic Connectivity-Driven Pseudo-labeling for Cross-domain Segmentation [89.41179071022121]
  自己学習はドメイン間セマンティックセグメンテーションにおいて一般的なアプローチである。 本稿ではセマンティック・コネクティビティ駆動の擬似ラベル方式を提案する。 このアプローチは、接続レベルにおいて擬似ラベルを定式化し、構造的および低雑音のセマンティクスの学習を容易にする。
  論文  参考訳（メタデータ） (2023-12-11T12:29:51Z)
• Label-efficient Segmentation via Affinity Propagation [27.016747627689288]
  ラベル効率のよいスパースアノテーションを用いた弱教師付きセグメンテーションは、手間のかかるピクセルワイドラベリングプロセスのコストを削減するために研究の注目を集めている。 親和性モデリングを親和性伝播過程として定式化し、局所的および大域的親和性項を提案して、正確な擬似ラベルを生成する。 計算コストを大幅に削減する効率的なアルゴリズムも開発されている。
  論文  参考訳（メタデータ） (2023-10-16T15:54:09Z)
• Semantic Contrastive Bootstrapping for Single-positive Multi-label Recognition [36.3636416735057]
  本研究では,意味的コントラスト型ブートストラップ法(Scob)を用いて,オブジェクト間の関係を徐々に回復する手法を提案する。 次に、アイコン的オブジェクトレベルの表現を抽出する再帰的セマンティックマスク変換器を提案する。 大規模な実験結果から,提案手法が最先端のモデルを超えていることが示唆された。
  論文  参考訳（メタデータ） (2023-07-15T01:59:53Z)
• Learning to Relate Depth and Semantics for Unsupervised Domain Adaptation [87.1188556802942]
  教師なしドメイン適応(UDA)設定において,視覚的タスク関係を符号化してモデル性能を向上させる手法を提案する。 本稿では,意味的および深さ的予測のタスク依存性を符号化する新しいクロスタスク関係層(ctrl)を提案する。 さらに、セマンティック擬似ラベルを利用してターゲットドメインを監督する反復自己学習(ISL)トレーニングスキームを提案する。
  論文  参考訳（メタデータ） (2021-05-17T13:42:09Z)
• Weakly-Supervised Semantic Segmentation by Iterative Affinity Learning [86.45526827323954]
  弱教師付きセマンティックセグメンテーションは、トレーニングのためにピクセル単位のラベル情報が提供されないため、難しい課題である。 このようなペア関係を学習するための反復アルゴリズムを提案する。 本稿では,提案アルゴリズムが最先端手法に対して好適に動作することを示す。
  論文  参考訳（メタデータ） (2020-02-19T10:32:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。