論文の概要: S2R-DepthNet: Learning a Generalizable Depth-specific Structural Representation

• arxiv url: http://arxiv.org/abs/2104.00877v1
• Date: Fri, 2 Apr 2021 03:55:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-05 13:52:15.614529
• Title: S2R-DepthNet: Learning a Generalizable Depth-specific Structural Representation
• Title（参考訳）: S2R-DepthNet: 一般化可能な深さ固有構造表現の学習
• Authors: Xiaotian Chen, Yuwang Wang, Xuejin Chen, Wenjun Zeng
• Abstract要約: 人間はリアルなイメージではなくスケッチからシーンの3次元幾何学を推測することができ、空間構造がシーンの深さを理解する上で基本的な役割を果たすことを示す。 我々は,深度推定に不可欠な特徴を捉え,無関係なスタイル情報を無視する,深度特異的な構造表現の学習を初めて行う。 当社のS2R-DepthNetは、合成データでのみ訓練されているにもかかわらず、目に見えない実際のデータに直接一般化できます。
• 参考スコア（独自算出の注目度）: 63.58891781246175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human can infer the 3D geometry of a scene from a sketch instead of a realistic image, which indicates that the spatial structure plays a fundamental role in understanding the depth of scenes. We are the first to explore the learning of a depth-specific structural representation, which captures the essential feature for depth estimation and ignores irrelevant style information. Our S2R-DepthNet (Synthetic to Real DepthNet) can be well generalized to unseen real-world data directly even though it is only trained on synthetic data. S2R-DepthNet consists of: a) a Structure Extraction (STE) module which extracts a domaininvariant structural representation from an image by disentangling the image into domain-invariant structure and domain-specific style components, b) a Depth-specific Attention (DSA) module, which learns task-specific knowledge to suppress depth-irrelevant structures for better depth estimation and generalization, and c) a depth prediction module (DP) to predict depth from the depth-specific representation. Without access of any real-world images, our method even outperforms the state-of-the-art unsupervised domain adaptation methods which use real-world images of the target domain for training. In addition, when using a small amount of labeled real-world data, we achieve the state-ofthe-art performance under the semi-supervised setting.
• Abstract（参考訳）: 人間はリアルなイメージではなくスケッチからシーンの3次元幾何学を推測することができ、空間構造がシーンの深さを理解する上で基本的な役割を果たすことを示す。 我々は,深度推定に不可欠な特徴を捉え,無関係なスタイル情報を無視する,深度特異的な構造表現の学習を初めて行う。 我々のS2R-DepthNet(Synthetic to Real DepthNet)は、合成データでのみ訓練されているにもかかわらず、実世界のデータを直接見えないように適切に一般化することができる。 S2R-DepthNetは、画像からドメイン不変な構造表現を抽出する構造抽出(STE)モジュールと、画像をドメイン不変な構造とドメイン固有なスタイルコンポーネントに切り離すことにより、画像からドメイン不変な構造表現を抽出する構造抽出(STE)モジュールと、奥行き推定と一般化を改善するために、タスク固有知識を学習するDSAモジュールと、深度固有表現から深度を予測する深さ予測モジュール(DP)から構成される。 実世界の画像にアクセスできなければ、トレーニングにターゲットドメインの実世界イメージを使用する最先端の教師なしドメイン適応メソッドよりも優れています。 さらに,少量のラベル付き実世界のデータを使用する場合,半教師付き環境下での最先端の性能を実現する。

関連論文リスト

• Depth-guided Texture Diffusion for Image Semantic Segmentation [47.46257473475867]
  本稿では,この課題を効果的に解決するディープスガイド型テクスチャ拡散手法を提案する。 本手法は,テクスチャ画像を作成するために,エッジやテクスチャから低レベル特徴を抽出する。 この拡張深度マップを元のRGB画像と結合した特徴埋め込みに統合することにより,深度マップと画像との相違を効果的に橋渡しする。
  論文  参考訳（メタデータ） (2024-08-17T04:55:03Z)
• Depth-aware Volume Attention for Texture-less Stereo Matching [67.46404479356896]
  実用的な屋外シナリオにおけるテクスチャ劣化に対処する軽量なボリューム改善手法を提案する。 画像テクスチャの相対的階層を抽出し,地中深度マップによって教師される深度体積を導入する。 局所的な微細構造と文脈は、体積凝集時のあいまいさと冗長性を緩和するために強調される。
  論文  参考訳（メタデータ） (2024-02-14T04:07:44Z)
• Transferring to Real-World Layouts: A Depth-aware Framework for Scene Adaptation [34.786268652516355]
  教師なしドメイン適応(UDA)によるシーンセグメンテーションは、ソース合成データから取得した知識を現実のターゲットデータに転送することを可能にする。 深度推定を明示的に活用してカテゴリを混合し,2つの補完的タスク,すなわちセグメンテーションと深度学習を促進するための奥行き認識フレームワークを提案する。 特に、このフレームワークには、DCF(Depth-guided Contextual Filter)フォーンデータ拡張と、コンテキスト学習のためのクロスタスクエンコーダが含まれている。
  論文  参考訳（メタデータ） (2023-11-21T15:39:21Z)
• RigNet++: Semantic Assisted Repetitive Image Guided Network for Depth Completion [31.70022495622075]
  画像案内ネットワークにおける繰り返し設計を探索し、徐々に十分に深度を復元する。 前者では,複雑な環境の識別画像の特徴を抽出するために,高密度繰り返し時間ガラスネットワーク(DRHN)を設計する。 後者では,動的畳み込みに基づく反復誘導(RG)モジュールを提案する。 さらに,領域認識型空間伝搬ネットワーク(RASPN)を提案する。
  論文  参考訳（メタデータ） (2023-09-01T09:11:20Z)
• Source-free Depth for Object Pop-out [113.24407776545652]
  現代の学習に基づく手法は、野生での推論による有望な深度マップを提供する。 本研究では,オブジェクトの3次元前の「ポップアウト」を用いて,オブジェクトセグメンテーションの深度推定モデルを適用する。 8つのデータセットに対する我々の実験は、性能と一般化性の両方の観点から、我々の方法の利点を一貫して示している。
  論文  参考訳（メタデータ） (2022-12-10T21:57:11Z)
• Self-Guided Instance-Aware Network for Depth Completion and Enhancement [6.319531161477912]
  既存の手法では,画素ワイド画像の内容とそれに対応する近傍の深度値に基づいて,欠落した深度測定を直接補間する。 本稿では、自己誘導機構を利用して、深度復元に必要なインスタンスレベルの特徴を抽出する自己誘導型インスタンス認識ネットワーク(SG-IANet)を提案する。
  論文  参考訳（メタデータ） (2021-05-25T19:41:38Z)
• Learning Depth With Very Sparse Supervision [57.911425589947314]
  本稿では, 環境との相互作用を通じて, 知覚が世界の3次元特性と結合するという考えを考察する。 我々は、環境と対話するロボットが利用できるような、特殊なグローバルローカルネットワークアーキテクチャを訓練する。 いくつかのデータセットの実験では、画像ピクセルの1つでも基底真理が利用できる場合、提案されたネットワークは、最先端のアプローチよりも22.5%の精度でモノクロの深度推定を学習できることを示している。
  論文  参考訳（メタデータ） (2020-03-02T10:44:13Z)
• Shallow2Deep: Indoor Scene Modeling by Single Image Understanding [42.87957414916607]
  本稿では,ニューラルネットワークの深い特徴を用いた屋内シーンの自動モデリング手法を提案する。 一つのRGB画像が与えられた場合,本手法は同時に意味内容,3次元幾何学,オブジェクト関係を復元する。
  論文  参考訳（メタデータ） (2020-02-22T23:27:22Z)
• Single Image Depth Estimation Trained via Depth from Defocus Cues [105.67073923825842]
  単一のRGB画像から深度を推定することはコンピュータビジョンの基本的な課題である。 この作業では、異なる視点ではなく、フォーカスキューからの奥行きに依存しています。 我々は,KITTIとMake3Dデータセットの教師あり手法と同等な結果を提示し,教師なし学習手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-01-14T20:22:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。