論文の概要: RGB-Depth Fusion GAN for Indoor Depth Completion
- arxiv url: http://arxiv.org/abs/2203.10856v1
- Date: Mon, 21 Mar 2022 10:26:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-22 14:12:12.197314
- Title: RGB-Depth Fusion GAN for Indoor Depth Completion
- Title(参考訳): 室内深部補修のためのRGB深部核融合GAN
- Authors: Haowen Wang, Mingyuan Wang, Zhengping Che, Zhiyuan Xu, Xiuquan Qiao,
Mengshi Qi, Feifei Feng, Jian Tang
- Abstract要約: 本稿では,RGBと不完全深度画像のペアを入力として,高密度で完成度の高い深度マップを推定する,新しい2分岐エンドツーエンド融合ネットワークを設計する。
あるブランチでは、RGB画像を微細なテクスチャ化深度マップに転送するRGB深度融合GANを提案する。
他方のブランチでは、W-AdaINという名前の適応核融合モジュールを採用し、2つのブランチにまたがる特徴を伝播させます。
- 参考スコア(独自算出の注目度): 29.938869342958125
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The raw depth image captured by the indoor depth sensor usually has an
extensive range of missing depth values due to inherent limitations such as the
inability to perceive transparent objects and limited distance range. The
incomplete depth map burdens many downstream vision tasks, and a rising number
of depth completion methods have been proposed to alleviate this issue. While
most existing methods can generate accurate dense depth maps from sparse and
uniformly sampled depth maps, they are not suitable for complementing the large
contiguous regions of missing depth values, which is common and critical. In
this paper, we design a novel two-branch end-to-end fusion network, which takes
a pair of RGB and incomplete depth images as input to predict a dense and
completed depth map. The first branch employs an encoder-decoder structure to
regress the local dense depth values from the raw depth map, with the help of
local guidance information extracted from the RGB image. In the other branch,
we propose an RGB-depth fusion GAN to transfer the RGB image to the
fine-grained textured depth map. We adopt adaptive fusion modules named W-AdaIN
to propagate the features across the two branches, and we append a confidence
fusion head to fuse the two outputs of the branches for the final depth map.
Extensive experiments on NYU-Depth V2 and SUN RGB-D demonstrate that our
proposed method clearly improves the depth completion performance, especially
in a more realistic setting of indoor environments with the help of the pseudo
depth map.
- Abstract(参考訳): 屋内深度センサが捉えた原深度画像は、通常、透明な物体を知覚できないことや距離範囲が限られるなど、固有の制限により、被写界深度値の範囲が広い。
不完全な深度マップは多くの下流視覚課題を負担し、この問題を軽減するために多くの深度補完法が提案されている。
多くの既存手法はスパース深度マップと一様にサンプリングされた深度マップから正確な深度マップを生成することができるが、共通かつ臨界である深度値の欠如した大きな連続した領域を補うには適していない。
本稿では,RGBと不完全深度画像のペアを入力として,高密度で完成度の高い深度マップを推定する,新しい2分岐エンドツーエンド融合ネットワークを設計する。
第1分岐部は、RGB画像から抽出した局所誘導情報を用いて、生深度マップから局所密度深度値を回帰するためにエンコーダデコーダ構造を用いる。
他方のブランチでは、RGB画像を微細なテクスチャ化深度マップに転送するRGB深度融合GANを提案する。
w-adain と呼ばれる適応型核融合モジュールを採用して2つの枝にまたがる特徴を伝播させ、最終深度マップのために枝の2つの出力を融合する信頼度核融合ヘッドを付加する。
nyu-depth v2 と sun rgb-d に関する広範囲な実験により,提案手法が,特に擬似深度マップを用いて室内環境のより現実的な設定において,深度補完性能を明らかに改善できることが証明された。
関連論文リスト
- SteeredMarigold: Steering Diffusion Towards Depth Completion of Largely Incomplete Depth Maps [3.399289369740637]
SteeredMarigold は訓練なし、ゼロショット深度補完法である。
これは、大半不完全深度写像であっても、メートル法的な密度深度を生成する。
私たちのコードは公開されます。
論文 参考訳(メタデータ) (2024-09-16T11:52:13Z) - RDFC-GAN: RGB-Depth Fusion CycleGAN for Indoor Depth Completion [28.634851863097953]
本稿では,RDFC-GANという2分岐のエンドツーエンド核融合ネットワークを提案する。
RGBと不完全な深度画像のペアを入力として、密集した深度マップを予測する。
第1分枝は、マンハッタン世界の仮定に固執することにより、エンコーダ・デコーダ構造を用いる。
もう一方のブランチでは、RGBイメージを詳細なテクスチャ化された深度マップに変換するのに適したRGB深度融合CycleGANが適用されている。
論文 参考訳(メタデータ) (2023-06-06T11:03:05Z) - Symmetric Uncertainty-Aware Feature Transmission for Depth
Super-Resolution [52.582632746409665]
カラー誘導DSRのためのSymmetric Uncertainty-aware Feature Transmission (SUFT)を提案する。
本手法は最先端の手法と比較して優れた性能を実現する。
論文 参考訳(メタデータ) (2023-06-01T06:35:59Z) - SemAttNet: Towards Attention-based Semantic Aware Guided Depth
Completion [12.724769241831396]
そこで本研究では,色誘導,意味誘導,奥行き誘導からなる新しい3枝バックボーンを提案する。
カラー誘導枝の予測深度マップとセマンティックイメージとスパース深度マップをセマンティック誘導枝への入力として渡す。
深度誘導枝は疎度、色、意味的な深度を取り、深度マップを生成する。
論文 参考訳(メタデータ) (2022-04-28T16:53:25Z) - Joint Learning of Salient Object Detection, Depth Estimation and Contour
Extraction [91.43066633305662]
RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。
具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。
実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
論文 参考訳(メタデータ) (2022-03-09T17:20:18Z) - BridgeNet: A Joint Learning Network of Depth Map Super-Resolution and
Monocular Depth Estimation [60.34562823470874]
本稿では,DSR(Deep Map Super- resolution)とMDE(Monocular depth Estimation)の併用学習ネットワークを提案する。
1つは特徴符号化プロセスのために設計された高周波アテンションブリッジ(HABdg)で、これはDSRタスクを誘導するMDEタスクの高周波情報を学ぶ。
もう一つは、深度マップ再構築プロセス用に設計されたコンテンツガイダンスブリッジ(CGBdg)であり、MDEタスクのためにDSRタスクから学んだコンテンツガイダンスを提供する。
論文 参考訳(メタデータ) (2021-07-27T01:28:23Z) - SGTBN: Generating Dense Depth Maps from Single-Line LiDAR [13.58227120045849]
現在の深度補完法は、非常に高価な64ラインのLiDARを用いてスパース深度マップを得る。
64ラインのLiDARと比較すると、シングルラインのLiDARはずっと安く、より堅牢である。
既存の64行の深度補完データセットに基づいて, 単行深度補完データセットを提案する。
論文 参考訳(メタデータ) (2021-06-24T13:08:35Z) - Towards Fast and Accurate Real-World Depth Super-Resolution: Benchmark
Dataset and Baseline [48.69396457721544]
深度写像スーパーリゾリューション(SR)の研究を促進するために,RGB-D-Dという大規模データセットを構築した。
本稿では、RGB画像から高周波成分を適応的に分解して深度マップSRを導出する高速深度マップ超解像(FDSR)ベースラインを提供する。
実世界のLR深度マップでは、より明確な境界を持つより正確なHR深度マップを作成でき、ある程度の精度で深度値誤差を補正できる。
論文 参考訳(メタデータ) (2021-04-13T13:27:26Z) - Sparse Auxiliary Networks for Unified Monocular Depth Prediction and
Completion [56.85837052421469]
コスト効率のよいセンサで得られたデータからシーン形状を推定することは、ロボットや自動運転車にとって鍵となる。
本稿では,1枚のRGB画像から,低コストな能動深度センサによるスパース計測により,深度を推定する問題について検討する。
sparse networks (sans) は,深さ予測と完了という2つのタスクをmonodepthネットワークで実行可能にする,新しいモジュールである。
論文 参考訳(メタデータ) (2021-03-30T21:22:26Z) - Adaptive Illumination based Depth Sensing using Deep Learning [18.72398843488572]
RGB画像とスパース深度マップ計測を融合した高密度深度マップを推定する様々な手法が提案されている。
ハードウェアの最近の進歩により、適応的な深度測定が可能となり、深度マップ推定がさらに改善された。
このような適応的なサンプリングマスクは,様々なサンプリング率で多くのrgbおよびスパース深度融合アルゴリズムにうまく一般化できることを示す。
論文 参考訳(メタデータ) (2021-03-23T04:21:07Z) - Efficient Depth Completion Using Learned Bases [94.0808155168311]
深度補正のための新しい大域的幾何制約を提案する。
低次元部分空間上によく配置される深さ写像を仮定することにより、高密度深度写像は全解像度の主深度基底の重み付け和で近似することができる。
論文 参考訳(メタデータ) (2020-12-02T11:57:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。