論文の概要: Multi-Granularity Denoising and Bidirectional Alignment for Weakly Supervised Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2305.05154v1
• Date: Tue, 9 May 2023 03:33:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-10 13:54:30.843296
• Title: Multi-Granularity Denoising and Bidirectional Alignment for Weakly Supervised Semantic Segmentation
• Title（参考訳）: 弱教師付きセマンティックセグメンテーションのためのマルチグラニュリティデノジングと双方向アライメント
• Authors: Tao Chen, Yazhou Yao and Jinhui Tang
• Abstract要約: 本稿では,雑音ラベルと多クラス一般化問題を緩和するために,MDBAモデルを提案する。 MDBAモデルはPASCAL VOC 2012データセットの検証とテストセットにおいて69.5%と70.2%のmIoUに達することができる。
• 参考スコア（独自算出の注目度）: 75.32213865436442
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Weakly supervised semantic segmentation (WSSS) models relying on class activation maps (CAMs) have achieved desirable performance comparing to the non-CAMs-based counterparts. However, to guarantee WSSS task feasible, we need to generate pseudo labels by expanding the seeds from CAMs which is complex and time-consuming, thus hindering the design of efficient end-to-end (single-stage) WSSS approaches. To tackle the above dilemma, we resort to the off-the-shelf and readily accessible saliency maps for directly obtaining pseudo labels given the image-level class labels. Nevertheless, the salient regions may contain noisy labels and cannot seamlessly fit the target objects, and saliency maps can only be approximated as pseudo labels for simple images containing single-class objects. As such, the achieved segmentation model with these simple images cannot generalize well to the complex images containing multi-class objects. To this end, we propose an end-to-end multi-granularity denoising and bidirectional alignment (MDBA) model, to alleviate the noisy label and multi-class generalization issues. Specifically, we propose the online noise filtering and progressive noise detection modules to tackle image-level and pixel-level noise, respectively. Moreover, a bidirectional alignment mechanism is proposed to reduce the data distribution gap at both input and output space with simple-to-complex image synthesis and complex-to-simple adversarial learning. MDBA can reach the mIoU of 69.5\% and 70.2\% on validation and test sets for the PASCAL VOC 2012 dataset. The source codes and models have been made available at \url{https://github.com/NUST-Machine-Intelligence-Laboratory/MDBA}.
• Abstract（参考訳）: クラスアクティベーションマップ(CAM)に依存した弱教師付きセマンティックセグメンテーション(WSSS)モデルは、非CAMのセマンティックセグメンテーションと比較して望ましい性能を達成した。 しかし、WSSSタスクを確実にするためには、複雑で時間を要するCAMから種を拡張して擬似ラベルを生成する必要があるため、効率的なエンドツーエンド(単一段階)WSSSアプローチの設計を妨げる。 以上のジレンマに対処するために、画像レベルのクラスラベルを付与した擬似ラベルを直接取得するために、既成でアクセスしやすいサリエンシマップを利用する。 それでも、健全な領域はノイズのあるラベルを含んでいて、対象のオブジェクトにシームレスに適合できないため、単一クラスオブジェクトを含む単純な画像に対して、サリエンシマップを擬似ラベルとして近似することができる。 したがって、これらの単純な画像で達成されたセグメンテーションモデルは、多クラスオブジェクトを含む複雑な画像に対してうまく一般化できない。 この目的のために,雑音ラベルと多クラス一般化問題を緩和するために,エンド・ツー・エンドのマルチグラニュラリティ・デノナイズと双方向アライメント(MDBA)モデルを提案する。 具体的には,画像レベルおよび画素レベルノイズに対応するオンラインノイズフィルタリングとプログレッシブノイズ検出モジュールを提案する。 さらに, 画像合成と複雑な対向学習を用いて, 入力空間と出力空間の双方におけるデータ分布ギャップを低減するための双方向アライメント機構を提案する。 MDBAはPASCAL VOC 2012データセットの検証とテストセットにおいて69.5\%と70.2\%のmIoUに達することができる。 ソースコードとモデルは \url{https://github.com/NUST-Machine-Intelligence-Laboratory/MDBA} で公開されている。

関連論文リスト

• Enhancing Weakly Supervised Semantic Segmentation with Multi-modal Foundation Models: An End-to-End Approach [7.012760526318993]
  Weakly-Supervised Semantic (WSSS)は、広範囲なラベリングに対してコスト効率のよい回避手段を提供する。 既存のWSSSメソッドは、セグメンテーション結果の低さにつながるオブジェクトの境界を理解するのに苦労しています。 本稿では,境界ボックス内の視覚的基盤モデルを活用することにより,これらの問題に対処する,新しい効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-10T16:42:25Z)
• Auxiliary Tasks Enhanced Dual-affinity Learning for Weakly Supervised Semantic Segmentation [79.05949524349005]
  AuxSegNet+は、サリエンシマップから豊富な情報を探索する弱教師付き補助学習フレームワークである。 また,サリエンシとセグメンテーションの特徴マップから画素レベルの親和性を学習するためのクロスタスク親和性学習機構を提案する。
  論文  参考訳（メタデータ） (2024-03-02T10:03:21Z)
• Segment Anything Model (SAM) Enhanced Pseudo Labels for Weakly Supervised Semantic Segmentation [30.812323329239614]
  弱教師付きセマンティックセマンティックセグメンテーション(WSSS)は、画像レベルのアノテーションのみを使用することで、精細なピクセルレベルのアノテーションの必要性を回避することを目的としている。 既存のほとんどのメソッドは、ピクセルレベルの擬似ラベルを導出するためにクラスアクティベーションマップ(CAM)に依存している。 オブジェクト,部品,サブパートのきめ細かいインスタンスマスクを生成できるクラスに依存しない基礎モデルであるSegment Anything Model (SAM) を利用した,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2023-05-09T23:24:09Z)
• Boosting Few-shot Fine-grained Recognition with Background Suppression and Foreground Alignment [53.401889855278704]
  FS-FGR (Few-shot Fine-fine Recognition) は、限られたサンプルの助けを借りて、新しいきめ細かなカテゴリを認識することを目的としている。 本研究では,背景アクティベーション抑制 (BAS) モジュール,フォアグラウンドオブジェクトアライメント (FOA) モジュール,および局所的局所的(L2L) 類似度測定器からなる2段階の背景アライメントとフォアグラウンドアライメントフレームワークを提案する。 複数のベンチマークで行った実験により,提案手法は既存の最先端技術よりも大きなマージンで優れていることが示された。
  論文  参考訳（メタデータ） (2022-10-04T07:54:40Z)
• Saliency Guided Inter- and Intra-Class Relation Constraints for Weakly Supervised Semantic Segmentation [66.87777732230884]
  本稿では,活性化対象領域の拡大を支援するために,Salliency Guided Inter-およびIntra-Class Relation Constrained (I$2$CRC) フレームワークを提案する。 また,オブジェクトガイド付きラベルリファインメントモジュールを導入し,セグメンテーション予測と初期ラベルをフル活用し,優れた擬似ラベルを得る。
  論文  参考訳（メタデータ） (2022-06-20T03:40:56Z)
• One Weird Trick to Improve Your Semi-Weakly Supervised Semantic Segmentation Model [8.388356030608886]
  半弱教師付きセマンティックセマンティックセグメンテーション(SWSSS)は、ピクセルレベルのラベルを持つ少数の画像と、画像レベルのラベルのみを持つ多くの画像に基づいて、画像内のオブジェクトを識別するモデルを訓練することを目的としている。 既存のほとんどのSWSSSアルゴリズムは、画像分類器からピクセルレベルの擬似ラベルを抽出する。 本稿では,擬似ラベルを抽出する代わりに,その分類器を分類器として利用する予測フィルタリング法を提案する。 この単純な後処理メソッドをベースラインに追加すると、従来のSWSSSアルゴリズムと競合する結果が得られる。
  論文  参考訳（メタデータ） (2022-05-02T21:46:41Z)
• Learning Self-Supervised Low-Rank Network for Single-Stage Weakly and Semi-Supervised Semantic Segmentation [119.009033745244]
  本稿では,単一段階弱教師付きセマンティックセマンティックセマンティックセマンティクス(WSSS)と半教師付きセマンティクスセマンティクスセマンティクス(SSSS)のための自己教師付き低ランクネットワーク(SLRNet)を提案する。 SLRNetは、画像の異なるビューから複数の注意深いLR表現を同時に予測し、正確な擬似ラベルを学習する。 Pascal VOC 2012、COCO、L2IDデータセットの実験では、SLRNetは最先端のWSSSメソッドとSSSSメソッドの両方で、さまざまな設定で優れています。
  論文  参考訳（メタデータ） (2022-03-19T09:19:55Z)
• Semi-Supervised Domain Adaptation with Prototypical Alignment and Consistency Learning [86.6929930921905]
  本稿では,いくつかの対象サンプルがラベル付けされていれば,ドメインシフトに対処するのにどの程度役立つか検討する。 ランドマークの可能性を最大限に追求するために、ランドマークから各クラスのターゲットプロトタイプを計算するプロトタイプアライメント(PA)モジュールを組み込んでいます。 具体的には,ラベル付き画像に深刻な摂動を生じさせ,PAを非自明にし,モデル一般化性を促進する。
  論文  参考訳（メタデータ） (2021-04-19T08:46:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。