論文の概要: DepthGAN: GAN-based Depth Generation of Indoor Scenes from Semantic Layouts

• arxiv url: http://arxiv.org/abs/2203.11453v1
• Date: Tue, 22 Mar 2022 04:18:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-24 05:38:30.179521
• Title: DepthGAN: GAN-based Depth Generation of Indoor Scenes from Semantic Layouts
• Title（参考訳）: DepthGAN: セマンティックレイアウトからのGANを用いた屋内シーンの深さ生成
• Authors: Yidi Li, Yiqun Wang, Zhengda Lu, and Jun Xiao
• Abstract要約: 入力としての意味的レイアウトのみを持つ深度マップを生成する新しい方法であるDepthGANを提案する。 本稿では,DepthGANが,深度生成タスクにおける定量的結果と視覚効果の両方において優れた性能を発揮することを示す。 また,3次元屋内シーンを,合理的な構造と空間的整合性を持った深度マップによって再構成できることも示した。
• 参考スコア（独自算出の注目度）: 8.760217259912231
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Limited by the computational efficiency and accuracy, generating complex 3D scenes remains a challenging problem for existing generation networks. In this work, we propose DepthGAN, a novel method of generating depth maps with only semantic layouts as input. First, we introduce a well-designed cascade of transformer blocks as our generator to capture the structural correlations in depth maps, which makes a balance between global feature aggregation and local attention. Meanwhile, we propose a cross-attention fusion module to guide edge preservation efficiently in depth generation, which exploits additional appearance supervision information. Finally, we conduct extensive experiments on the perspective views of the Structured3d panorama dataset and demonstrate that our DepthGAN achieves superior performance both on quantitative results and visual effects in the depth generation task.Furthermore, 3D indoor scenes can be reconstructed by our generated depth maps with reasonable structure and spatial coherency.
• Abstract（参考訳）: 計算効率と精度に制限された複雑な3Dシーンを生成することは、既存の世代ネットワークにとって難しい問題である。 本研究では,意味的レイアウトのみを入力として深層マップを生成する新しい手法であるdeepganを提案する。 まず,高度に設計された変圧器ブロックのカスケードを生成器として導入し,奥行きマップの構造相関を把握し,大域的特徴の集約と局所的注意のバランスをとる。 一方,エッジ保存を効率よく深度生成に導出するクロスアテンション融合モジュールを提案する。 最後に、Structured3d Panorama データセットの視点から広範囲にわたる実験を行い、深度生成作業における定量的結果と視覚効果の両方において、私たちの深度GANが優れた性能を発揮することを示す。

関連論文リスト

• Refinement of Monocular Depth Maps via Multi-View Differentiable Rendering [4.717325308876748]
  本稿では,複数の画像から一貫した詳細な深度マップを生成するための新しい手法を提案する。 我々は、位相的に完全だが計量的に不正確な深度マップを生成する単眼深度推定の進歩を活用する。 提案手法は,高密度で詳細で高品質な深度マップを作成でき,また屋内シナリオの挑戦も可能であり,最先端の深度復元手法よりも優れている。
  論文  参考訳（メタデータ） (2024-10-04T18:50:28Z)
• GEOcc: Geometrically Enhanced 3D Occupancy Network with Implicit-Explicit Depth Fusion and Contextual Self-Supervision [49.839374549646884]
  本稿では,視覚のみのサラウンドビュー知覚に適したジオメトリ強化OccupancyネットワークであるGEOccについて述べる。 提案手法は,Occ3D-nuScenesデータセット上で,画像解像度が最小で,画像バックボーンが最大である状態-Of-The-Art性能を実現する。
  論文  参考訳（メタデータ） (2024-05-17T07:31:20Z)
• Self-Supervised Depth Completion Guided by 3D Perception and Geometry Consistency [17.68427514090938]
  本稿では,3次元の知覚的特徴と多視点幾何整合性を利用して,高精度な自己監督深度補完法を提案する。 NYU-Depthv2 と VOID のベンチマークデータセットを用いた実験により,提案モデルが最先端の深度補完性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-12-23T14:19:56Z)
• RigNet++: Semantic Assisted Repetitive Image Guided Network for Depth Completion [31.70022495622075]
  画像案内ネットワークにおける繰り返し設計を探索し、徐々に十分に深度を復元する。 前者では,複雑な環境の識別画像の特徴を抽出するために,高密度繰り返し時間ガラスネットワーク(DRHN)を設計する。 後者では,動的畳み込みに基づく反復誘導(RG)モジュールを提案する。 さらに,領域認識型空間伝搬ネットワーク(RASPN)を提案する。
  論文  参考訳（メタデータ） (2023-09-01T09:11:20Z)
• SwinDepth: Unsupervised Depth Estimation using Monocular Sequences via Swin Transformer and Densely Cascaded Network [29.798579906253696]
  教師付きトレーニングのための深層地下深度ラベルの取得は困難であり,単分子配列を用いた教師なし深度推定が有望な代替手段として出現する。 本稿では,画像特徴抽出器としてコンボリューションフリーのSwin Transformerを用い,局所的幾何学的特徴と大域的意味的特徴の両方を網羅して深度推定を行う。 また,Densely Cascaded Multi-scale Network (DCMNet)を提案する。
  論文  参考訳（メタデータ） (2023-01-17T06:01:46Z)
• HiMODE: A Hybrid Monocular Omnidirectional Depth Estimation Model [3.5290359800552946]
  HiMODE は CNN+ Transformer アーキテクチャに基づく新しい単分子全方位深度推定モデルである。 360deg単分子深度推定において,HiMODEは最先端の性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-04-11T11:11:43Z)
• VolumeFusion: Deep Depth Fusion for 3D Scene Reconstruction [71.83308989022635]
  本稿では、ディープニューラルネットワークを用いた従来の2段階フレームワークの複製により、解釈可能性と結果の精度が向上することを提唱する。 ネットワークは,1)深部MVS技術を用いた局所深度マップの局所計算,2)深部マップと画像の特徴を融合させて単一のTSDFボリュームを構築する。 異なる視点から取得した画像間のマッチング性能を改善するために,PosedConvと呼ばれる回転不変な3D畳み込みカーネルを導入する。
  論文  参考訳（メタデータ） (2021-08-19T11:33:58Z)
• A Real-Time Online Learning Framework for Joint 3D Reconstruction and Semantic Segmentation of Indoor Scenes [87.74952229507096]
  本稿では,屋内シーンの3次元構造とセマンティックラベルを協調的に復元するリアルタイムオンライン視覚フレームワークを提案する。 列車時、ノイズの多い深度マップ、カメラ軌跡、および2Dセマンティックラベルを与えられたニューラルネットワークは、シーン空間に適切なセマンティックラベルでフレームの奥行きを融合させることを学習する。
  論文  参考訳（メタデータ） (2021-08-11T14:29:01Z)
• S2R-DepthNet: Learning a Generalizable Depth-specific Structural Representation [63.58891781246175]
  人間はリアルなイメージではなくスケッチからシーンの3次元幾何学を推測することができ、空間構造がシーンの深さを理解する上で基本的な役割を果たすことを示す。 我々は,深度推定に不可欠な特徴を捉え,無関係なスタイル情報を無視する,深度特異的な構造表現の学習を初めて行う。 当社のS2R-DepthNetは、合成データでのみ訓練されているにもかかわらず、目に見えない実際のデータに直接一般化できます。
  論文  参考訳（メタデータ） (2021-04-02T03:55:41Z)
• SelfDeco: Self-Supervised Monocular Depth Completion in Challenging Indoor Environments [50.761917113239996]
  自己教師付き単分子深度補完のための新しいアルゴリズムを提案する。 提案手法は,深度ラベルを含まない疎深度測定とそれに対応する単眼ビデオシーケンスのみを必要とするニューラルネットワークのトレーニングに基づく。 我々の自己監督アルゴリズムは、テクスチャのない領域、光沢のない透明な表面、非ランバートの表面、動く人々、より長く多様な深度範囲、複雑なエゴモーションによって捉えられたシーンを含む屋内環境に挑戦するために設計されている。
  論文  参考訳（メタデータ） (2020-11-10T08:55:07Z)
• OmniSLAM: Omnidirectional Localization and Dense Mapping for Wide-baseline Multi-camera Systems [88.41004332322788]
  超広視野魚眼カメラ(FOV)を用いた広視野多視点ステレオ構成のための全方向位置決めと高密度マッピングシステムを提案する。 より実用的で正確な再構築のために、全方向深度推定のための改良された軽量のディープニューラルネットワークを導入する。 我々は全方位深度推定をビジュアル・オドメトリー(VO)に統合し,大域的整合性のためのループ閉鎖モジュールを付加する。
  論文  参考訳（メタデータ） (2020-03-18T05:52:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。