論文の概要: RDFC-GAN: RGB-Depth Fusion CycleGAN for Indoor Depth Completion

• arxiv url: http://arxiv.org/abs/2306.03584v1
• Date: Tue, 6 Jun 2023 11:03:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 15:55:06.441400
• Title: RDFC-GAN: RGB-Depth Fusion CycleGAN for Indoor Depth Completion
• Title（参考訳）: RDFC-GAN:RGB-Depth Fusion CycleGAN
• Authors: Haowen Wang, Zhengping Che, Mingyuan Wang, Zhiyuan Xu, Xiuquan Qiao, Mengshi Qi, Feifei Feng, Jian Tang
• Abstract要約: 本稿では,RDFC-GANという2分岐のエンドツーエンド核融合ネットワークを提案する。 RGBと不完全な深度画像のペアを入力として、密集した深度マップを予測する。 提案手法は, 室内環境のより現実的な設定において, ディープコンプリート性能を向上する。
• 参考スコア（独自算出の注目度）: 29.938869342958125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The raw depth image captured by indoor depth sensors usually has an extensive range of missing depth values due to inherent limitations such as the inability to perceive transparent objects and the limited distance range. The incomplete depth map with missing values burdens many downstream vision tasks, and a rising number of depth completion methods have been proposed to alleviate this issue. While most existing methods can generate accurate dense depth maps from sparse and uniformly sampled depth maps, they are not suitable for complementing large contiguous regions of missing depth values, which is common and critical in images captured in indoor environments. To overcome these challenges, we design a novel two-branch end-to-end fusion network named RDFC-GAN, which takes a pair of RGB and incomplete depth images as input to predict a dense and completed depth map. The first branch employs an encoder-decoder structure, by adhering to the Manhattan world assumption and utilizing normal maps from RGB-D information as guidance, to regress the local dense depth values from the raw depth map. In the other branch, we propose an RGB-depth fusion CycleGAN to transfer the RGB image to the fine-grained textured depth map. We adopt adaptive fusion modules named W-AdaIN to propagate the features across the two branches, and we append a confidence fusion head to fuse the two outputs of the branches for the final depth map. Extensive experiments on NYU-Depth V2 and SUN RGB-D demonstrate that our proposed method clearly improves the depth completion performance, especially in a more realistic setting of indoor environments, with the help of our proposed pseudo depth maps in training.
• Abstract（参考訳）: 屋内の奥行きセンサーが捉えた生の奥行き画像は、通常、透明な物体を知覚できないことや距離範囲が限られるなど、固有の制限により、奥行き値が不足している範囲が広い。 不完全な深度マップは、多くの下流視覚課題を負担し、この問題を軽減するために多くの深度補完法が提案されている。 既存の方法のほとんどは、疎さと均一にサンプリングされた深度マップから正確な濃密な深さマップを生成することができるが、屋内環境で撮影される画像において一般的かつ重要な深さ値の欠落した大きな連続した領域を補完するのには適していない。 これらの課題を克服するため、RDFC-GANと呼ばれる新しい2分岐のエンドツーエンド核融合ネットワークを設計し、RGBと不完全深度画像のペアを入力として、密度と完成深度マップを予測する。 第1分枝は、マンハッタン世界の仮定に固執し、RGB-D情報からの正規写像をガイダンスとして利用して、生の深度マップから局所的な密度深度値を回帰することにより、エンコーダ・デコーダ構造を用いる。 他方のブランチでは、RGB画像を微細なテクスチャ化深度マップに転送するRGB深度融合CycleGANを提案する。 w-adain と呼ばれる適応型核融合モジュールを採用して2つの枝にまたがる特徴を伝播させ、最終深度マップのために枝の2つの出力を融合する信頼度核融合ヘッドを付加する。 nyu-depth v2 と sun rgb-d の広範な実験により,提案手法が,特に室内環境のより現実的な環境での奥行き完了性能を,トレーニングにおける擬似奥行きマップの助けを借りて明らかに改善できることが証明された。

関連論文リスト

• SteeredMarigold: Steering Diffusion Towards Depth Completion of Largely Incomplete Depth Maps [3.399289369740637]
  SteeredMarigold は訓練なし、ゼロショット深度補完法である。 これは、大半不完全深度写像であっても、メートル法的な密度深度を生成する。 私たちのコードは公開されます。
  論文  参考訳（メタデータ） (2024-09-16T11:52:13Z)
• AGG-Net: Attention Guided Gated-convolutional Network for Depth Image Completion [1.8820731605557168]
  注意誘導ゲート畳み込みネットワーク(AGG-Net)に基づく深度画像補完のための新しいモデルを提案する。 符号化段階では、異なるスケールでの深度と色の特徴の融合を実現するために、AG-GConvモジュールが提案されている。 復号段階では、アテンションガイドスキップ接続(AG-SC)モジュールが提示され、再構成にあまりにも多くの深度に関係のない特徴を導入することを避ける。
  論文  参考訳（メタデータ） (2023-09-04T14:16:08Z)
• Symmetric Uncertainty-Aware Feature Transmission for Depth Super-Resolution [52.582632746409665]
  カラー誘導DSRのためのSymmetric Uncertainty-aware Feature Transmission (SUFT)を提案する。 本手法は最先端の手法と比較して優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-06-01T06:35:59Z)
• RGB-Depth Fusion GAN for Indoor Depth Completion [29.938869342958125]
  本稿では,RGBと不完全深度画像のペアを入力として,高密度で完成度の高い深度マップを推定する,新しい2分岐エンドツーエンド融合ネットワークを設計する。 あるブランチでは、RGB画像を微細なテクスチャ化深度マップに転送するRGB深度融合GANを提案する。 他方のブランチでは、W-AdaINという名前の適応核融合モジュールを採用し、2つのブランチにまたがる特徴を伝播させます。
  論文  参考訳（メタデータ） (2022-03-21T10:26:38Z)
• Joint Learning of Salient Object Detection, Depth Estimation and Contour Extraction [91.43066633305662]
  RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。 具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。 実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
  論文  参考訳（メタデータ） (2022-03-09T17:20:18Z)
• Consistent Depth Prediction under Various Illuminations using Dilated Cross Attention [1.332560004325655]
  我々は,インターネット3D屋内シーンを用いて照明を手動で調整し,写真リアルなRGB写真とその対応する深度とBRDFマップを作成することを提案する。 異なる照明条件下での深度予測の整合性を維持するため,これらの拡張された特徴に横断的な注意を払っている。 提案手法は,Variデータセットの最先端手法との比較により評価され,実験で有意な改善が見られた。
  論文  参考訳（メタデータ） (2021-12-15T10:02:46Z)
• BridgeNet: A Joint Learning Network of Depth Map Super-Resolution and Monocular Depth Estimation [60.34562823470874]
  本稿では,DSR(Deep Map Super- resolution)とMDE(Monocular depth Estimation)の併用学習ネットワークを提案する。 1つは特徴符号化プロセスのために設計された高周波アテンションブリッジ(HABdg)で、これはDSRタスクを誘導するMDEタスクの高周波情報を学ぶ。 もう一つは、深度マップ再構築プロセス用に設計されたコンテンツガイダンスブリッジ(CGBdg)であり、MDEタスクのためにDSRタスクから学んだコンテンツガイダンスを提供する。
  論文  参考訳（メタデータ） (2021-07-27T01:28:23Z)
• Towards Fast and Accurate Real-World Depth Super-Resolution: Benchmark Dataset and Baseline [48.69396457721544]
  深度写像スーパーリゾリューション(SR)の研究を促進するために,RGB-D-Dという大規模データセットを構築した。 本稿では、RGB画像から高周波成分を適応的に分解して深度マップSRを導出する高速深度マップ超解像(FDSR)ベースラインを提供する。 実世界のLR深度マップでは、より明確な境界を持つより正確なHR深度マップを作成でき、ある程度の精度で深度値誤差を補正できる。
  論文  参考訳（メタデータ） (2021-04-13T13:27:26Z)
• Sparse Auxiliary Networks for Unified Monocular Depth Prediction and Completion [56.85837052421469]
  コスト効率のよいセンサで得られたデータからシーン形状を推定することは、ロボットや自動運転車にとって鍵となる。 本稿では,1枚のRGB画像から,低コストな能動深度センサによるスパース計測により,深度を推定する問題について検討する。 sparse networks (sans) は,深さ予測と完了という2つのタスクをmonodepthネットワークで実行可能にする,新しいモジュールである。
  論文  参考訳（メタデータ） (2021-03-30T21:22:26Z)
• Efficient Depth Completion Using Learned Bases [94.0808155168311]
  深度補正のための新しい大域的幾何制約を提案する。 低次元部分空間上によく配置される深さ写像を仮定することにより、高密度深度写像は全解像度の主深度基底の重み付け和で近似することができる。
  論文  参考訳（メタデータ） (2020-12-02T11:57:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。