論文の概要: Leveraging Hidden Positives for Unsupervised Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2303.15014v1
• Date: Mon, 27 Mar 2023 08:57:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-28 16:18:10.475614
• Title: Leveraging Hidden Positives for Unsupervised Semantic Segmentation
• Title（参考訳）: 非教師なしセマンティクスセグメンテーションにおける隠れ正の活用
• Authors: Hyun Seok Seong, WonJun Moon, SuBeen Lee, Jae-Pil Heo
• Abstract要約: 隠れ陽性を抽出することで、コントラスト学習を活用して、豊かな意味関係を学習する。 隣接パッチ間のセマンティック一貫性を学習するための勾配伝搬戦略を導入する。 提案手法は,COCO-stuff,Cityscapes,Potsdam-3データセットにおけるSOTA(State-of-the-art)の新たな結果を実現する。
• 参考スコア（独自算出の注目度）: 5.937673383513695
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dramatic demand for manpower to label pixel-level annotations triggered the advent of unsupervised semantic segmentation. Although the recent work employing the vision transformer (ViT) backbone shows exceptional performance, there is still a lack of consideration for task-specific training guidance and local semantic consistency. To tackle these issues, we leverage contrastive learning by excavating hidden positives to learn rich semantic relationships and ensure semantic consistency in local regions. Specifically, we first discover two types of global hidden positives, task-agnostic and task-specific ones for each anchor based on the feature similarities defined by a fixed pre-trained backbone and a segmentation head-in-training, respectively. A gradual increase in the contribution of the latter induces the model to capture task-specific semantic features. In addition, we introduce a gradient propagation strategy to learn semantic consistency between adjacent patches, under the inherent premise that nearby patches are highly likely to possess the same semantics. Specifically, we add the loss propagating to local hidden positives, semantically similar nearby patches, in proportion to the predefined similarity scores. With these training schemes, our proposed method achieves new state-of-the-art (SOTA) results in COCO-stuff, Cityscapes, and Potsdam-3 datasets. Our code is available at: https://github.com/hynnsk/HP.
• Abstract（参考訳）: ピクセルレベルのアノテーションをラベル付けするマンパワーの劇的な需要は、教師なしセマンティックセグメンテーションの出現を引き起こした。 視覚変換器(ViT)のバックボーンを用いた最近の研究は、例外的な性能を示しているが、タスク固有のトレーニングガイダンスや局所的な意味的一貫性については考慮されていない。 これらの問題に取り組むために,隠れた肯定を抽出し,豊かな意味関係を学習し,地域における意味的一貫性を確保することで,コントラスト学習を活用する。 具体的には,固定トレーニングバックボーンとセグメンテーション・ヘッド・イン・トレーニングによって定義された特徴的類似性に基づいて,各アンカーに対してタスク非依存とタスク特化の2種類のグローバルな隠蔽陽性を最初に発見する。 後者のコントリビューションの段階的な増加は、タスク固有のセマンティックな特徴をキャプチャするモデルを誘導する。 さらに,隣接パッチ間の意味的一貫性を学習するための勾配伝播戦略を導入する。 具体的には、予め定義された類似度スコアに比例して、局所的な隠蔽陽性(セマンティックに類似した近傍パッチ)に損失伝播を加える。 提案手法は,ココスタフ,都市景観,ポツダム-3データセットの新たな最先端(sota)結果を実現する。 私たちのコードは、https://github.com/hynnsk/HP.comで利用可能です。

関連論文リスト

• Auxiliary Tasks Enhanced Dual-affinity Learning for Weakly Supervised Semantic Segmentation [79.05949524349005]
  AuxSegNet+は、サリエンシマップから豊富な情報を探索する弱教師付き補助学習フレームワークである。 また,サリエンシとセグメンテーションの特徴マップから画素レベルの親和性を学習するためのクロスタスク親和性学習機構を提案する。
  論文  参考訳（メタデータ） (2024-03-02T10:03:21Z)
• Semantic Connectivity-Driven Pseudo-labeling for Cross-domain Segmentation [89.41179071022121]
  自己学習はドメイン間セマンティックセグメンテーションにおいて一般的なアプローチである。 本稿ではセマンティック・コネクティビティ駆動の擬似ラベル方式を提案する。 このアプローチは、接続レベルにおいて擬似ラベルを定式化し、構造的および低雑音のセマンティクスの学習を容易にする。
  論文  参考訳（メタデータ） (2023-12-11T12:29:51Z)
• SmooSeg: Smoothness Prior for Unsupervised Semantic Segmentation [27.367986520072147]
  教師なしセマンティックセグメンテーションは、手動のアノテーションなしでイメージをセマンティックグループに分割する難しいタスクである。 本研究では,SmooSegという手法を提案する。SmooSegは,観察中の近接性関係をスムーズな信号としてモデル化する自己教師付き学習手法である。 SmooSegは3つのデータセットのピクセル精度でSTEGOを著しく上回っている。
  論文  参考訳（メタデータ） (2023-10-27T03:29:25Z)
• Semantics Meets Temporal Correspondence: Self-supervised Object-centric Learning in Videos [63.94040814459116]
  自己教師付き手法は、高レベルの意味論と低レベルの時間対応の学習において顕著な進歩を見せている。 融合した意味特徴と対応地図の上に,意味認識型マスキングスロットアテンションを提案する。 我々は、時間的コヒーレントなオブジェクト中心表現を促進するために、セマンティックおよびインスタンスレベルの時間的一貫性を自己スーパービジョンとして採用する。
  論文  参考訳（メタデータ） (2023-08-19T09:12:13Z)
• Location-Aware Self-Supervised Transformers [74.76585889813207]
  画像部品の相対的な位置を予測し,セマンティックセグメンテーションのためのネットワークを事前訓練する。 参照パッチのサブセットを問合せのサブセットにマスキングすることで,タスクの難しさを制御します。 実験により,この位置認識事前学習が,いくつかの難解なセマンティックセグメンテーションベンチマークに競合する表現をもたらすことが示された。
  論文  参考訳（メタデータ） (2022-12-05T16:24:29Z)
• Regional Semantic Contrast and Aggregation for Weakly Supervised Semantic Segmentation [25.231470587575238]
  本稿では,意味的セグメンテーションを学習するための地域意味的コントラストとアグリゲーション(RCA)を提案する。 RCAは、訓練データに現れる多種多様なオブジェクトパターンを格納する地域記憶バンクを備えている。 RCAは、きめ細かいセマンティック理解の強い能力を獲得し、最終的には2つの人気のあるベンチマークで新しい最先端の結果を確立する。
  論文  参考訳（メタデータ） (2022-03-17T23:29:03Z)
• Leveraging Auxiliary Tasks with Affinity Learning for Weakly Supervised Semantic Segmentation [88.49669148290306]
  そこで我々はAuxSegNetと呼ばれる弱教師付きマルチタスク・フレームワークを提案し,サリエンシ検出とマルチラベル画像分類を補助タスクとして活用する。 同様の構造的セマンティクスに着想を得て,サリエンシとセグメンテーションの表現から,クロスタスクなグローバル画素レベルの親和性マップを学習することを提案する。 学習されたクロスタスク親和性は、両方のタスクに対して改善された擬似ラベルを提供するために、唾液度予測を洗練し、CAMマップを伝播するために使用することができる。
  論文  参考訳（メタデータ） (2021-07-25T11:39:58Z)
• Domain Adaptive Semantic Segmentation with Self-Supervised Depth Estimation [84.34227665232281]
  セマンティックセグメンテーションのためのドメイン適応は、ソースとターゲットドメイン間の分散シフトの存在下でモデルのパフォーマンスを向上させることを目的とする。 ドメイン間のギャップを埋めるために、両ドメインで利用可能な自己教師付き深さ推定からのガイダンスを活用します。 提案手法のベンチマークタスクSYNTHIA-to-CityscapesとGTA-to-Cityscapesの有効性を実証する。
  論文  参考訳（メタデータ） (2021-04-28T07:47:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。