論文の概要: Domain Adaptive Semantic Segmentation with Self-Supervised Depth Estimation

• arxiv url: http://arxiv.org/abs/2104.13613v1
• Date: Wed, 28 Apr 2021 07:47:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-29 12:48:46.497232
• Title: Domain Adaptive Semantic Segmentation with Self-Supervised Depth Estimation
• Title（参考訳）: 自己監督深度推定によるドメイン適応セマンティックセマンティックセグメンテーション
• Authors: Qin Wang, Dengxin Dai, Lukas Hoyer, Olga Fink, Luc Van Gool
• Abstract要約: セマンティックセグメンテーションのためのドメイン適応は、ソースとターゲットドメイン間の分散シフトの存在下でモデルのパフォーマンスを向上させることを目的とする。 ドメイン間のギャップを埋めるために、両ドメインで利用可能な自己教師付き深さ推定からのガイダンスを活用します。 提案手法のベンチマークタスクSYNTHIA-to-CityscapesとGTA-to-Cityscapesの有効性を実証する。
• 参考スコア（独自算出の注目度）: 84.34227665232281
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain adaptation for semantic segmentation aims to improve the model performance in the presence of a distribution shift between source and target domain. Leveraging the supervision from auxiliary tasks~(such as depth estimation) has the potential to heal this shift because many visual tasks are closely related to each other. However, such a supervision is not always available. In this work, we leverage the guidance from self-supervised depth estimation, which is available on both domains, to bridge the domain gap. On the one hand, we propose to explicitly learn the task feature correlation to strengthen the target semantic predictions with the help of target depth estimation. On the other hand, we use the depth prediction discrepancy from source and target depth decoders to approximate the pixel-wise adaptation difficulty. The adaptation difficulty, inferred from depth, is then used to refine the target semantic segmentation pseudo-labels. The proposed method can be easily implemented into existing segmentation frameworks. We demonstrate the effectiveness of our proposed approach on the benchmark tasks SYNTHIA-to-Cityscapes and GTA-to-Cityscapes, on which we achieve the new state-of-the-art performance of $55.0\%$ and $56.6\%$, respectively. Our code is available at \url{https://github.com/qinenergy/corda}.
• Abstract（参考訳）: セマンティックセグメンテーションのためのドメイン適応は、ソースとターゲットドメイン間の分散シフトの存在下でモデル性能を改善することを目的としている。 補助タスクからの監督(深度推定など)を活用することは、多くの視覚的タスクが互いに密接な関係にあるため、このシフトを癒す可能性がある。 しかし、そのような監督が常に可能であるとは限らない。 本研究では,ドメインギャップを埋めるために,両ドメインで利用可能な自己教師型深さ推定からのガイダンスを活用する。 一方,課題特徴相関を明示的に学習し,目標深度推定の助けを借りて,目的のセマンティック予測を強化することを提案する。 一方、ソースとターゲットの深度デコーダとの深度予測誤差を利用して、画素ワイド適応の難しさを近似する。 深度から推定される適応困難度は、ターゲットセマンティックセグメンテーションの擬似ラベルを洗練するために使用される。 提案手法は既存のセグメンテーションフレームワークに容易に実装できる。 提案手法は,都市間シンシア・ツー・シティスケープ (synthia-to-cityscapes) とgta-to-cityscape (gta-to-cityscapes) において,提案手法の有効性を示す。 私たちのコードは \url{https://github.com/qinenergy/corda} で利用可能です。

関連論文リスト

• MICDrop: Masking Image and Depth Features via Complementary Dropout for Domain-Adaptive Semantic Segmentation [155.0797148367653]
  Unsupervised Domain Adaptation (UDA)は、ラベル付きソースドメインとラベルなしターゲットドメインの間のドメインギャップを埋めるタスクである。 深度不連続性はしばしばセグメンテーション境界と一致するため、幾何学的情報、すなわち深度予測を活用することを提案する。 提案手法は, 様々な UDA 手法にプラグインし, 標準 UDA ベンチマークで連続的に結果を改善することができることを示す。
  論文  参考訳（メタデータ） (2024-08-29T12:15:10Z)
• SemHint-MD: Learning from Noisy Semantic Labels for Self-Supervised Monocular Depth Estimation [19.229255297016635]
  自己教師付き深度推定は、光度損失の勾配-局所性の問題により、局所的に最小限に抑えられる。 セマンティックセグメンテーションを活用して、ネットワークを局所的な最小限から切り離すための奥行きを高めるためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-31T17:20:27Z)
• Semantics-Depth-Symbiosis: Deeply Coupled Semi-Supervised Learning of Semantics and Depth [83.94528876742096]
  我々は,意味的セグメンテーションと深さ推定という2つの密なタスクのMTL問題に取り組み,クロスチャネル注意モジュール(CCAM)と呼ばれる新しいアテンションモジュールを提案する。 次に,AffineMixと呼ばれる予測深度を用いた意味分節タスクのための新しいデータ拡張と,ColorAugと呼ばれる予測セマンティクスを用いた単純な深度増分を定式化する。 最後に,提案手法の性能向上をCityscapesデータセットで検証し,深度と意味に基づく半教師付きジョイントモデルにおける最先端結果の実現を支援する。
  論文  参考訳（メタデータ） (2022-06-21T17:40:55Z)
• X-Distill: Improving Self-Supervised Monocular Depth via Cross-Task Distillation [69.9604394044652]
  そこで本研究では,クロスタスク知識蒸留による単眼深度の自己指導的訓練を改善する手法を提案する。 トレーニングでは,事前訓練されたセマンティックセグメンテーション教師ネットワークを使用し,そのセマンティック知識を深度ネットワークに転送する。 提案手法の有効性をKITTIベンチマークで評価し,最新技術と比較した。
  論文  参考訳（メタデータ） (2021-10-24T19:47:14Z)
• Learning to Relate Depth and Semantics for Unsupervised Domain Adaptation [87.1188556802942]
  教師なしドメイン適応(UDA)設定において,視覚的タスク関係を符号化してモデル性能を向上させる手法を提案する。 本稿では,意味的および深さ的予測のタスク依存性を符号化する新しいクロスタスク関係層(ctrl)を提案する。 さらに、セマンティック擬似ラベルを利用してターゲットドメインを監督する反復自己学習(ISL)トレーニングスキームを提案する。
  論文  参考訳（メタデータ） (2021-05-17T13:42:09Z)
• Latent Space Regularization for Unsupervised Domain Adaptation in Semantic Segmentation [14.050836886292869]
  セマンティックセグメンテーションにおけるドメインの不一致を減らすために、機能レベルの空間形成正規化戦略を紹介します。 このような手法の有効性を自律運転環境で検証する。
  論文  参考訳（メタデータ） (2021-04-06T16:07:22Z)
• Pixel-Level Cycle Association: A New Perspective for Domain Adaptive Semantic Segmentation [169.82760468633236]
  本稿では,ソースとターゲットの画素ペア間の画素レベルサイクルの関連性を構築することを提案する。 我々の手法は1段階のエンドツーエンドで訓練でき、追加のパラメータは導入しない。
  論文  参考訳（メタデータ） (2020-10-31T00:11:36Z)
• DESC: Domain Adaptation for Depth Estimation via Semantic Consistency [24.13837264978472]
  単眼深度推定モデルの訓練のための領域適応手法を提案する。 セマンティックな予測と低レベルのエッジ機能を活用することで、ドメインギャップを埋める。 本手法は,単眼深度推定のための標準領域適応ベンチマークを用いて評価する。
  論文  参考訳（メタデータ） (2020-09-03T10:54:05Z)
• Shape Consistent 2D Keypoint Estimation under Domain Shift [35.15266729401601]
  ドメインシフトの下でキーポイントを推定するための新しい深層適応フレームワークを提案する。 本手法は,機能アライメント,対人訓練,自己超越という3つの構成要素をシームレスに結合する。 提案手法は,2次元キーポイント予測タスクにおける最先端領域適応手法より優れている。
  論文  参考訳（メタデータ） (2020-08-04T14:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。