論文の概要: DenseLiDAR: A Real-Time Pseudo Dense Depth Guided Depth Completion
Network
- arxiv url: http://arxiv.org/abs/2108.12655v1
- Date: Sat, 28 Aug 2021 14:18:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-01 07:23:04.036332
- Title: DenseLiDAR: A Real-Time Pseudo Dense Depth Guided Depth Completion
Network
- Title(参考訳): denselidar: real-time pseudo dense depth guided depth completion network
- Authors: Jiaqi Gu, Zhiyu Xiang, Yuwen Ye, Lingxuan Wang
- Abstract要約: 本稿では,DenseLiDARを提案する。
単純な形態的操作から得られた高密度な擬似深度マップを利用してネットワークを誘導する。
我々のモデルは50Hzのフレームレートで最先端の性能を達成することができる。
- 参考スコア(独自算出の注目度): 3.1447111126464997
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Depth Completion can produce a dense depth map from a sparse input and
provide a more complete 3D description of the environment. Despite great
progress made in depth completion, the sparsity of the input and low density of
the ground truth still make this problem challenging. In this work, we propose
DenseLiDAR, a novel real-time pseudo-depth guided depth completion neural
network. We exploit dense pseudo-depth map obtained from simple morphological
operations to guide the network in three aspects: (1) Constructing a residual
structure for the output; (2) Rectifying the sparse input data; (3) Providing
dense structural loss for training the network. Thanks to these novel designs,
higher performance of the output could be achieved. In addition, two new
metrics for better evaluating the quality of the predicted depth map are also
presented. Extensive experiments on KITTI depth completion benchmark suggest
that our model is able to achieve the state-of-the-art performance at the
highest frame rate of 50Hz. The predicted dense depth is further evaluated by
several downstream robotic perception or positioning tasks. For the task of 3D
object detection, 3~5 percent performance gains on small objects categories are
achieved on KITTI 3D object detection dataset. For RGB-D SLAM, higher accuracy
on vehicle's trajectory is also obtained in KITTI Odometry dataset. These
promising results not only verify the high quality of our depth prediction, but
also demonstrate the potential of improving the related downstream tasks by
using depth completion results.
- Abstract(参考訳): Depth Completionはスパース入力から深度マップを生成し、環境のより完全な3D記述を提供する。
深さの完成に大きな進歩があったにもかかわらず、入力の空間性や基底の真理密度の低さがこの問題を難しくしている。
本研究では,実時間擬似奥行きガイド付きニューラルネットワークであるdeeplidarを提案する。
我々は,(1)出力の残差構造の構築,(2)スパース入力データの修正,(3)ネットワークのトレーニングのための構造的損失の密集という3つの側面において,単純な形態素演算から得られた密集した擬似深層マップを用いてネットワークを導出する。
これらの新しい設計のおかげで、出力のより高い性能が達成できた。
また,予測深度マップの品質を評価するための2つの新しい指標も提示した。
KITTI深度補完ベンチマークの大規模な実験により,50Hzのフレームレートで最先端の性能を達成できることが示唆された。
予測された深度は、下流のロボット知覚や位置決めタスクによってさらに評価される。
3Dオブジェクト検出のタスクでは、KITTI 3Dオブジェクト検出データセット上で、小さなオブジェクトカテゴリのパフォーマンスが3~5%向上する。
RGB-D SLAMでは、KITTIオドメトリーデータセットでも車両軌道の精度が向上している。
これらの有望な結果は、深度予測の高品質性を検証するだけでなく、深度完了結果を用いて下流タスクの改善の可能性も示している。
関連論文リスト
- DepthSplat: Connecting Gaussian Splatting and Depth [90.06180236292866]
ガウススプラッティングと深さ推定を結合するDepthSplatを提案する。
まず,事前学習した単眼深度特徴を生かして,頑健な多眼深度モデルを提案する。
また,ガウス的スプラッティングは教師なし事前学習の目的として機能することを示す。
論文 参考訳(メタデータ) (2024-10-17T17:59:58Z) - Self-Supervised Depth Completion Guided by 3D Perception and Geometry
Consistency [17.68427514090938]
本稿では,3次元の知覚的特徴と多視点幾何整合性を利用して,高精度な自己監督深度補完法を提案する。
NYU-Depthv2 と VOID のベンチマークデータセットを用いた実験により,提案モデルが最先端の深度補完性能を実現することを示す。
論文 参考訳(メタデータ) (2023-12-23T14:19:56Z) - Boosting Monocular 3D Object Detection with Object-Centric Auxiliary
Depth Supervision [13.593246617391266]
本稿では,RGB画像に基づく3D検出器を,深度推定タスクに類似した深度予測損失で共同でトレーニングすることにより,RGB画像に基づく3D検出器の強化手法を提案する。
新たな物体中心深度予測損失は,3次元物体検出において重要な前景物体周辺の深度に焦点をあてる。
我々の深度回帰モデルは、物体の3次元信頼度を表すために、深度の不確かさを予測するためにさらに訓練される。
論文 参考訳(メタデータ) (2022-10-29T11:32:28Z) - Joint Learning of Salient Object Detection, Depth Estimation and Contour
Extraction [91.43066633305662]
RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。
具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。
実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
論文 参考訳(メタデータ) (2022-03-09T17:20:18Z) - Sparse Depth Completion with Semantic Mesh Deformation Optimization [4.03103540543081]
本稿では、RGB画像とスパース深度サンプルを入力とし、完全な深度マップを予測し、最適化後のニューラルネットワークを提案する。
評価結果は,屋内および屋外両方のデータセットにおいて,既存の成果を一貫して上回る結果となった。
論文 参考訳(メタデータ) (2021-12-10T13:01:06Z) - 3DVNet: Multi-View Depth Prediction and Volumetric Refinement [68.68537312256144]
3DVNetは、新しいマルチビューステレオ(MVS)深度予測法である。
私たちのキーとなるアイデアは、粗い深度予測を反復的に更新する3Dシーンモデリングネットワークを使用することです。
本手法は, 深度予測と3次元再構成の両指標において, 最先端の精度を超えることを示す。
論文 参考訳(メタデータ) (2021-12-01T00:52:42Z) - VR3Dense: Voxel Representation Learning for 3D Object Detection and
Monocular Dense Depth Reconstruction [0.951828574518325]
3次元物体検出と単眼深層再構成ニューラルネットワークを共同トレーニングする方法を紹介します。
推論中に入力、LiDARポイントクラウド、単一のRGBイメージとして取得し、オブジェクトポーズ予測と密に再構築された深度マップを生成します。
物体検出は教師付き方式で訓練されるが,自己教師型と教師型の両方の損失関数を用いて深度予測ネットワークを訓練する。
論文 参考訳(メタデータ) (2021-04-13T04:25:54Z) - Sparse Auxiliary Networks for Unified Monocular Depth Prediction and
Completion [56.85837052421469]
コスト効率のよいセンサで得られたデータからシーン形状を推定することは、ロボットや自動運転車にとって鍵となる。
本稿では,1枚のRGB画像から,低コストな能動深度センサによるスパース計測により,深度を推定する問題について検討する。
sparse networks (sans) は,深さ予測と完了という2つのタスクをmonodepthネットワークで実行可能にする,新しいモジュールである。
論文 参考訳(メタデータ) (2021-03-30T21:22:26Z) - PLADE-Net: Towards Pixel-Level Accuracy for Self-Supervised Single-View
Depth Estimation with Neural Positional Encoding and Distilled Matting Loss [49.66736599668501]
PLADE-Netと呼ばれる自己監視型単視点画素レベルの高精度深度推定ネットワークを提案する。
提案手法は,KITTIデータセットの$delta1$測定値の95%を超え,前例のない精度を示す。
論文 参考訳(メタデータ) (2021-03-12T15:54:46Z) - Virtual Normal: Enforcing Geometric Constraints for Accurate and Robust
Depth Prediction [87.08227378010874]
深度予測における高次3次元幾何学的制約の重要性を示す。
単純な幾何学的制約を強制する損失項を設計することにより、単眼深度推定の精度とロバスト性を大幅に改善する。
The-of-the-art results of learning metric depth on NYU Depth-V2 and KITTI。
論文 参考訳(メタデータ) (2021-03-07T00:08:21Z) - DELTAS: Depth Estimation by Learning Triangulation And densification of
Sparse points [14.254472131009653]
多視点ステレオ (MVS) は, 能動深度センシングの精度と単眼深度推定の実用性の間の黄金平均値である。
3次元畳み込みニューラルネットワーク(CNN)を用いたコストボリュームベースのアプローチにより、MVSシステムの精度が大幅に向上した。
まず、(a)興味点の記述子を検出して評価し、次に(b)興味点の小さな集合をマッチングして三角測量し、最後に(c)CNNを用いてこのスパースな3D点の集合を密度化することで、効率的な深さ推定手法を提案する。
論文 参考訳(メタデータ) (2020-03-19T17:56:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。