論文の概要: Semantic Connectivity-Driven Pseudo-labeling for Cross-domain Segmentation

• arxiv url: http://arxiv.org/abs/2312.06331v1
• Date: Mon, 11 Dec 2023 12:29:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-12 15:40:31.010170
• Title: Semantic Connectivity-Driven Pseudo-labeling for Cross-domain Segmentation
• Title（参考訳）: セマンティクス接続によるクロスドメインセグメンテーションのための擬似ラベル
• Authors: Dong Zhao, Ruizhi Yang, Shuang Wang, Qi Zang, Yang Hu, Licheng Jiao, Nicu Sebe, Zhun Zhong
• Abstract要約: 自己学習はドメイン間セマンティックセグメンテーションにおいて一般的なアプローチである。 本稿ではセマンティック・コネクティビティ駆動の擬似ラベル方式を提案する。 このアプローチは、接続レベルにおいて擬似ラベルを定式化し、構造的および低雑音のセマンティクスの学習を容易にする。
• 参考スコア（独自算出の注目度）: 89.41179071022121
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Presently, self-training stands as a prevailing approach in cross-domain semantic segmentation, enhancing model efficacy by training with pixels assigned with reliable pseudo-labels. However, we find two critical limitations in this paradigm. (1) The majority of reliable pixels exhibit a speckle-shaped pattern and are primarily located in the central semantic region. This presents challenges for the model in accurately learning semantics. (2) Category noise in speckle pixels is difficult to locate and correct, leading to error accumulation in self-training. To address these limitations, we propose a novel approach called Semantic Connectivity-driven pseudo-labeling (SeCo). This approach formulates pseudo-labels at the connectivity level and thus can facilitate learning structured and low-noise semantics. Specifically, SeCo comprises two key components: Pixel Semantic Aggregation (PSA) and Semantic Connectivity Correction (SCC). Initially, PSA divides semantics into 'stuff' and 'things' categories and aggregates speckled pseudo-labels into semantic connectivity through efficient interaction with the Segment Anything Model (SAM). This enables us not only to obtain accurate boundaries but also simplifies noise localization. Subsequently, SCC introduces a simple connectivity classification task, which enables locating and correcting connectivity noise with the guidance of loss distribution. Extensive experiments demonstrate that SeCo can be flexibly applied to various cross-domain semantic segmentation tasks, including traditional unsupervised, source-free, and black-box domain adaptation, significantly improving the performance of existing state-of-the-art methods. The code is available at https://github.com/DZhaoXd/SeCo.
• Abstract（参考訳）: 現在、自己学習はドメイン間セマンティックセグメンテーションにおいて一般的なアプローチであり、信頼できる擬似ラベルを割り当てられた画素を用いたトレーニングによりモデルの有効性を高める。 しかし、このパラダイムには2つの限界がある。 1) 信頼性画素の大多数はスペックル形状のパターンを示し, 主に中心的な意味領域に位置する。 これは、モデルのセマンティクスを正確に学習する際の課題である。 2) スペックル画素のカテゴリーノイズの発見と補正は困難であり, 自己学習における誤りの蓄積につながる。 これらの制約に対処するため,セマンティックコネクティビティ駆動擬似ラベル (SeCo) と呼ばれる新しい手法を提案する。 このアプローチは接続レベルで擬似ラベルを定式化し、構造化された低雑音セマンティクスの学習を容易にする。 具体的には、SeCoは、Pixel Semantic Aggregation(PSA)とSemantic Connectivity Correction(SCC)の2つの重要なコンポーネントで構成される。 当初、PSAは意味論を"stuff"カテゴリと"things"カテゴリに分割し、Segment Anything Model (SAM)との効率的な相互作用を通じて、擬似ラベルをセマンティック接続に集約する。 これにより、正確な境界を得るだけでなく、ノイズの局所化も簡単になる。 その後、SCCは単純な接続分類タスクを導入し、損失分布の誘導による接続ノイズの特定と修正を可能にする。 広範な実験により、secoは従来の教師なし、ソースフリー、ブラックボックスのドメイン適応を含む様々なクロスドメインセグメンテーションタスクに柔軟に適用できることが示され、既存の最先端メソッドの性能が大幅に向上した。 コードはhttps://github.com/DZhaoXd/SeCoで入手できる。

関連論文リスト

• Auxiliary Tasks Enhanced Dual-affinity Learning for Weakly Supervised Semantic Segmentation [79.05949524349005]
  AuxSegNet+は、サリエンシマップから豊富な情報を探索する弱教師付き補助学習フレームワークである。 また,サリエンシとセグメンテーションの特徴マップから画素レベルの親和性を学習するためのクロスタスク親和性学習機構を提案する。
  論文  参考訳（メタデータ） (2024-03-02T10:03:21Z)
• Dual-level Interaction for Domain Adaptive Semantic Segmentation [0.0]
  セマンティックセグメンテーションにおけるドメイン適応(DIDA)のための二重レベル相互作用を提案する。 具体的には、同じピクセルの異なる拡張ビューが類似したクラス予測を持つように推奨する。 我々の手法は、特に混乱した長い尾のクラスにおいて、最先端の技術よりも顕著に優れている。
  論文  参考訳（メタデータ） (2023-07-16T07:51:18Z)
• Regularizing Self-training for Unsupervised Domain Adaptation via Structural Constraints [14.593782939242121]
  本稿では,従来の自己学習目標を正規化するために,奥行きなどの補助的モーダルから構造的手がかりを取り入れることを提案する。 具体的には、オブジェクトインスタンスの近い領域内でピクセル表現をプルする、対照的なピクセルレベルのオブジェクト性制約を導入する。 セマンティックセグメンテーションのための様々な UDA ベンチマークにおいて,正則化器は最上位の自己学習手法を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2023-04-29T00:12:26Z)
• SePiCo: Semantic-Guided Pixel Contrast for Domain Adaptive Semantic Segmentation [52.62441404064957]
  ドメイン適応セマンティックセグメンテーションは、ラベル付きソースドメインでトレーニングされたモデルを利用することで、ラベル付きターゲットドメイン上で満足のいく密度の予測を試みる。 多くの手法は、ノイズの多い擬似ラベルを緩和する傾向があるが、類似のセマンティックな概念を持つクロスドメインピクセル間の固有の接続を無視する。 本稿では,個々の画素のセマンティックな概念を強調する一段階適応フレームワークSePiCoを提案する。
  論文  参考訳（メタデータ） (2022-04-19T11:16:29Z)
• Exploiting Inter-pixel Correlations in Unsupervised Domain Adaptation for Semantic Segmentation [32.71144601174794]
  自己学習」は、教師なしドメイン適応(UDA)によるセマンティックセグメンテーションの主流となる。 本稿では,ソースドメインから自己アテンションモジュールを介して対象ドメインへの画素間相関を転送する方法を提案する。
  論文  参考訳（メタデータ） (2021-10-21T06:11:44Z)
• Leveraging Auxiliary Tasks with Affinity Learning for Weakly Supervised Semantic Segmentation [88.49669148290306]
  そこで我々はAuxSegNetと呼ばれる弱教師付きマルチタスク・フレームワークを提案し,サリエンシ検出とマルチラベル画像分類を補助タスクとして活用する。 同様の構造的セマンティクスに着想を得て,サリエンシとセグメンテーションの表現から,クロスタスクなグローバル画素レベルの親和性マップを学習することを提案する。 学習されたクロスタスク親和性は、両方のタスクに対して改善された擬似ラベルを提供するために、唾液度予測を洗練し、CAMマップを伝播するために使用することができる。
  論文  参考訳（メタデータ） (2021-07-25T11:39:58Z)
• More Separable and Easier to Segment: A Cluster Alignment Method for Cross-Domain Semantic Segmentation [41.81843755299211]
  上記の問題を緩和するために,ドメイン仮定の近接性に基づく新しいUDAセマンティックセマンティックセマンティクス手法を提案する。 具体的には、同じ意味を持つクラスタピクセルにプロトタイプクラスタリング戦略を適用し、ターゲットドメインピクセル間の関連付けをより良く維持します。 GTA5とSynthiaで行った実験は,本法の有効性を実証した。
  論文  参考訳（メタデータ） (2021-05-07T10:24:18Z)
• Contrastive Learning and Self-Training for Unsupervised Domain Adaptation in Semantic Segmentation [71.77083272602525]
  UDAはラベル付きソースドメインからラベルなしターゲットドメインへの効率的な知識伝達を試みている。 本稿では,領域にまたがるカテゴリ別センタロイドを適応させるコントラスト学習手法を提案する。 提案手法を自己学習で拡張し,メモリ効率の良い時間アンサンブルを用いて一貫性と信頼性の高い擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2021-05-05T11:55:53Z)
• Affinity Space Adaptation for Semantic Segmentation Across Domains [57.31113934195595]
  本稿では,意味的セグメンテーションにおける教師なしドメイン適応(UDA)の問題に対処する。 ソースドメインとターゲットドメインが不変なセマンティック構造を持つという事実に触発され、ドメイン間におけるそのような不変性を活用することを提案する。 親和性空間適応戦略として,親和性空間の洗浄と親和性空間アライメントという2つの方法を開発した。
  論文  参考訳（メタデータ） (2020-09-26T10:28:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。