論文の概要: Transferring to Real-World Layouts: A Depth-aware Framework for Scene Adaptation

• arxiv url: http://arxiv.org/abs/2311.12682v2
• Date: Wed, 31 Jul 2024 10:37:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-01 20:35:03.607785
• Title: Transferring to Real-World Layouts: A Depth-aware Framework for Scene Adaptation
• Title（参考訳）: リアルタイムレイアウトへの移行 - シーン適応のための奥行き認識フレームワーク
• Authors: Mu Chen, Zhedong Zheng, Yi Yang,
• Abstract要約: 教師なしドメイン適応(UDA)によるシーンセグメンテーションは、ソース合成データから取得した知識を現実のターゲットデータに転送することを可能にする。 深度推定を明示的に活用してカテゴリを混合し,2つの補完的タスク,すなわちセグメンテーションと深度学習を促進するための奥行き認識フレームワークを提案する。 特に、このフレームワークには、DCF(Depth-guided Contextual Filter)フォーンデータ拡張と、コンテキスト学習のためのクロスタスクエンコーダが含まれている。
• 参考スコア（独自算出の注目度）: 34.786268652516355
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scene segmentation via unsupervised domain adaptation (UDA) enables the transfer of knowledge acquired from source synthetic data to real-world target data, which largely reduces the need for manual pixel-level annotations in the target domain. To facilitate domain-invariant feature learning, existing methods typically mix data from both the source domain and target domain by simply copying and pasting the pixels. Such vanilla methods are usually sub-optimal since they do not take into account how well the mixed layouts correspond to real-world scenarios. Real-world scenarios are with an inherent layout. We observe that semantic categories, such as sidewalks, buildings, and sky, display relatively consistent depth distributions, and could be clearly distinguished in a depth map. Based on such observation, we propose a depth-aware framework to explicitly leverage depth estimation to mix the categories and facilitate the two complementary tasks, i.e., segmentation and depth learning in an end-to-end manner. In particular, the framework contains a Depth-guided Contextual Filter (DCF) forndata augmentation and a cross-task encoder for contextual learning. DCF simulates the real-world layouts, while the cross-task encoder further adaptively fuses the complementing features between two tasks. Besides, it is worth noting that several public datasets do not provide depth annotation. Therefore, we leverage the off-the-shelf depth estimation network to generate the pseudo depth. Extensive experiments show that our proposed methods, even with pseudo depth, achieve competitive performance on two widely-used bench-marks, i.e. 77.7 mIoU on GTA to Cityscapes and 69.3 mIoU on Synthia to Cityscapes.
• Abstract（参考訳）: 教師なしドメイン適応(UDA)によるシーンセグメンテーションは、ソース合成データから取得した知識を現実のターゲットデータに転送することを可能にする。 ドメイン不変の機能学習を容易にするため、既存のメソッドは通常、ピクセルをコピー&ペーストするだけで、ソースドメインとターゲットドメインの両方からのデータを混合する。 このようなバニラ法は通常、混合レイアウトが現実世界のシナリオとどの程度うまく対応しているかを考慮していないため、準最適である。 現実世界のシナリオには固有のレイアウトがあります。 我々は,歩道,建物,空などの意味カテゴリーが比較的一貫した深度分布を示し,深度マップで明確に区別できることを示した。 このような観察に基づいて,深度推定を的確に活用してカテゴリを混合し,2つの補完的タスク,すなわちセグメント化と深度学習をエンドツーエンドで促進する,深度認識フレームワークを提案する。 特に、このフレームワークには、DCF(Depth-guided Contextual Filter)フォーンデータ拡張と、コンテキスト学習のためのクロスタスクエンコーダが含まれている。 DCFは現実世界のレイアウトをシミュレートし、クロスタスクエンコーダは2つのタスク間の補完機能を適応的に融合する。 さらに、いくつかの公開データセットが深さアノテーションを提供していない点にも注意が必要だ。 そこで本研究では,既設深度推定ネットワークを利用して擬似深度を生成する。 GTAからCityscapesへの77.7 mIoUとSynthiaからCityscapesへの69.3 mIoUの2つの広く使われているベンチマークに対して,提案手法が擬似深度でも競争性能を発揮することを示す。

関連論文リスト

• MICDrop: Masking Image and Depth Features via Complementary Dropout for Domain-Adaptive Semantic Segmentation [155.0797148367653]
  Unsupervised Domain Adaptation (UDA)は、ラベル付きソースドメインとラベルなしターゲットドメインの間のドメインギャップを埋めるタスクである。 深度不連続性はしばしばセグメンテーション境界と一致するため、幾何学的情報、すなわち深度予測を活用することを提案する。 提案手法は, 様々な UDA 手法にプラグインし, 標準 UDA ベンチマークで連続的に結果を改善することができることを示す。
  論文  参考訳（メタデータ） (2024-08-29T12:15:10Z)
• Progressive Depth Decoupling and Modulating for Flexible Depth Completion [28.693100885012008]
  画像誘導深度補正は、疎LiDARデータとRGB画像から高密度深度マップを生成することを目的としている。 近年の手法では,2つのサブタスク(深度離散化と確率予測)で分類問題として再検討し,有望な性能を示した。 本研究では, 深度範囲をビンに漸進的に分離し, マルチスケールの深度マップを適応的に生成するプログレッシブ・ディープ・デカップリング・変調ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-05-15T13:45:33Z)
• Depth-aware Volume Attention for Texture-less Stereo Matching [67.46404479356896]
  実用的な屋外シナリオにおけるテクスチャ劣化に対処する軽量なボリューム改善手法を提案する。 画像テクスチャの相対的階層を抽出し,地中深度マップによって教師される深度体積を導入する。 局所的な微細構造と文脈は、体積凝集時のあいまいさと冗長性を緩和するために強調される。
  論文  参考訳（メタデータ） (2024-02-14T04:07:44Z)
• BridgeNet: A Joint Learning Network of Depth Map Super-Resolution and Monocular Depth Estimation [60.34562823470874]
  本稿では,DSR(Deep Map Super- resolution)とMDE(Monocular depth Estimation)の併用学習ネットワークを提案する。 1つは特徴符号化プロセスのために設計された高周波アテンションブリッジ(HABdg)で、これはDSRタスクを誘導するMDEタスクの高周波情報を学ぶ。 もう一つは、深度マップ再構築プロセス用に設計されたコンテンツガイダンスブリッジ(CGBdg)であり、MDEタスクのためにDSRタスクから学んだコンテンツガイダンスを提供する。
  論文  参考訳（メタデータ） (2021-07-27T01:28:23Z)
• Domain Adaptive Semantic Segmentation with Self-Supervised Depth Estimation [84.34227665232281]
  セマンティックセグメンテーションのためのドメイン適応は、ソースとターゲットドメイン間の分散シフトの存在下でモデルのパフォーマンスを向上させることを目的とする。 ドメイン間のギャップを埋めるために、両ドメインで利用可能な自己教師付き深さ推定からのガイダンスを活用します。 提案手法のベンチマークタスクSYNTHIA-to-CityscapesとGTA-to-Cityscapesの有効性を実証する。
  論文  参考訳（メタデータ） (2021-04-28T07:47:36Z)
• S2R-DepthNet: Learning a Generalizable Depth-specific Structural Representation [63.58891781246175]
  人間はリアルなイメージではなくスケッチからシーンの3次元幾何学を推測することができ、空間構造がシーンの深さを理解する上で基本的な役割を果たすことを示す。 我々は,深度推定に不可欠な特徴を捉え,無関係なスタイル情報を無視する,深度特異的な構造表現の学習を初めて行う。 当社のS2R-DepthNetは、合成データでのみ訓練されているにもかかわらず、目に見えない実際のデータに直接一般化できます。
  論文  参考訳（メタデータ） (2021-04-02T03:55:41Z)
• Learning Depth via Leveraging Semantics: Self-supervised Monocular Depth Estimation with Both Implicit and Explicit Semantic Guidance [34.62415122883441]
  シーン認識深度推定のための暗黙的意味特徴と深度特徴とを一致させるセマンティック認識空間特徴アライメント方式を提案する。 また,推定深度マップを実シーンの文脈特性と整合性に明示的に制約する意味誘導型ランキング損失を提案する。 複雑なシーンや多様なセマンティックカテゴリで一貫して優れた、高品質な深度マップを作成します。
  論文  参考訳（メタデータ） (2021-02-11T14:29:51Z)
• Three Ways to Improve Semantic Segmentation with Self-Supervised Depth Estimation [90.87105131054419]
  ラベルなし画像列からの自己教師付き単眼深度推定により強化された半教師付きセマンティックセマンティックセマンティックセマンティクスのフレームワークを提案する。 提案されたモデルをCityscapesデータセット上で検証する。
  論文  参考訳（メタデータ） (2020-12-19T21:18:03Z)
• Semantic-Guided Representation Enhancement for Self-supervised Monocular Trained Depth Estimation [39.845944724079814]
  自己教師付き深度推定は,画像列のみを入力として,高品質の深度マップを作成する上で大きな効果を示した。 しかし、その性能は通常、限界深度表現能力のために境界領域や細い構造を持つ物体を推定する際に低下する。 局所的および大域的な深度特徴表現を促進する意味誘導深度表現拡張法を提案する。
  論文  参考訳（メタデータ） (2020-12-15T02:24:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。