論文の概要: VR3Dense: Voxel Representation Learning for 3D Object Detection and
Monocular Dense Depth Reconstruction
- arxiv url: http://arxiv.org/abs/2104.05932v1
- Date: Tue, 13 Apr 2021 04:25:54 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-14 13:48:55.172641
- Title: VR3Dense: Voxel Representation Learning for 3D Object Detection and
Monocular Dense Depth Reconstruction
- Title（参考訳）: VR3Dense:Voxel Representation Learning for 3D Object Detection and Monocular Dense Depth Reconstruction
- Authors: Shubham Shrivastava
- Abstract要約: 3次元物体検出と単眼深層再構成ニューラルネットワークを共同トレーニングする方法を紹介します。
推論中に入力、LiDARポイントクラウド、単一のRGBイメージとして取得し、オブジェクトポーズ予測と密に再構築された深度マップを生成します。
物体検出は教師付き方式で訓練されるが,自己教師型と教師型の両方の損失関数を用いて深度予測ネットワークを訓練する。
- 参考スコア（独自算出の注目度）: 0.951828574518325
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D object detection and dense depth estimation are one of the most vital
tasks in autonomous driving. Multiple sensor modalities can jointly attribute
towards better robot perception, and to that end, we introduce a method for
jointly training 3D object detection and monocular dense depth reconstruction
neural networks. It takes as inputs, a LiDAR point-cloud, and a single RGB
image during inference and produces object pose predictions as well as a
densely reconstructed depth map. LiDAR point-cloud is converted into a set of
voxels, and its features are extracted using 3D convolution layers, from which
we regress object pose parameters. Corresponding RGB image features are
extracted using another 2D convolutional neural network. We further use these
combined features to predict a dense depth map. While our object detection is
trained in a supervised manner, the depth prediction network is trained with
both self-supervised and supervised loss functions. We also introduce a loss
function, edge-preserving smooth loss, and show that this results in better
depth estimation compared to the edge-aware smooth loss function, frequently
used in depth prediction works.
- Abstract（参考訳）: 3Dオブジェクトの検出と深度推定は、自動運転において最も重要なタスクの1つである。
複数のセンサモダリティが協調してロボットの知覚を改善することが可能であり,そのために,3次元物体検出と単眼高密度深層再構成ニューラルネットワークを共同で訓練する手法を提案する。
インプット、LiDARポイントクラウド、単一のRGBイメージを推論し、オブジェクトのポーズ予測と密に再構成された深度マップを生成する。
LiDARポイントクラウドは一連のボクセルに変換され、その特徴は3D畳み込み層を用いて抽出される。
対応するrgb画像特徴を別の2次元畳み込みニューラルネットワークを用いて抽出する。
さらに,これらの複合機能を用いて,深い深さマップの予測を行う。
物体検出は教師付き方式で訓練されるが,自己教師型と教師型の両方の損失関数を用いて深度予測ネットワークを訓練する。
また, 損失関数, エッジ保存スムーズロスを導入することにより, エッジ認識スムーズロス関数と比較して, 深度予測作業で頻繁に使用される深度推定がより優れていることを示す。
関連論文リスト
- NeRF-Det++: Incorporating Semantic Cues and Perspective-aware Depth
Supervision for Indoor Multi-View 3D Detection [72.0098999512727]
NeRF-Detは、NeRFを用いた屋内マルチビュー3次元検出において、表現学習の強化による優れた性能を実現している。
セマンティックエンハンスメント(セマンティックエンハンスメント)、パースペクティブ・アウェア・サンプリング(パースペクティブ・アウェア・サンプリング)、および順序深度監視を含む3つのソリューションを提案する。
結果として得られたアルゴリズムであるNeRF-Det++は、ScanNetV2とAR KITScenesデータセットで魅力的なパフォーマンスを示している。
論文 参考訳（メタデータ） (2024-02-22T11:48:06Z) - Perspective-aware Convolution for Monocular 3D Object Detection [2.33877878310217]
画像の長距離依存性をキャプチャする新しい視点対応畳み込み層を提案する。
画像画素ごとの深度軸に沿った特徴を抽出するために畳み込みカーネルを強制することにより、パースペクティブ情報をネットワークアーキテクチャに組み込む。
我々は、KITTI3Dデータセットの性能向上を実証し、簡単なベンチマークで平均23.9%の精度を達成した。
論文 参考訳（メタデータ） (2023-08-24T17:25:36Z) - Boosting Monocular 3D Object Detection with Object-Centric Auxiliary
Depth Supervision [13.593246617391266]
本稿では,RGB画像に基づく3D検出器を,深度推定タスクに類似した深度予測損失で共同でトレーニングすることにより,RGB画像に基づく3D検出器の強化手法を提案する。
新たな物体中心深度予測損失は,3次元物体検出において重要な前景物体周辺の深度に焦点をあてる。
我々の深度回帰モデルは、物体の3次元信頼度を表すために、深度の不確かさを予測するためにさらに訓練される。
論文 参考訳（メタデータ） (2022-10-29T11:32:28Z) - MonoJSG: Joint Semantic and Geometric Cost Volume for Monocular 3D
Object Detection [10.377424252002792]
モノクル3D物体検出は正確な深度回復能力に欠ける。
ディープニューラルネットワーク(DNN)は、高レベルの学習機能からモノクルディープセンシングを可能にする。
深度誤差をモデル化するための共同意味量と幾何学的コスト容積を提案する。
論文 参考訳（メタデータ） (2022-03-16T11:54:10Z) - Sparse Depth Completion with Semantic Mesh Deformation Optimization [4.03103540543081]
本稿では、RGB画像とスパース深度サンプルを入力とし、完全な深度マップを予測し、最適化後のニューラルネットワークを提案する。
評価結果は,屋内および屋外両方のデータセットにおいて,既存の成果を一貫して上回る結果となった。
論文 参考訳（メタデータ） (2021-12-10T13:01:06Z) - Virtual Normal: Enforcing Geometric Constraints for Accurate and Robust
Depth Prediction [87.08227378010874]
深度予測における高次3次元幾何学的制約の重要性を示す。
単純な幾何学的制約を強制する損失項を設計することにより、単眼深度推定の精度とロバスト性を大幅に改善する。
The-of-the-art results of learning metric depth on NYU Depth-V2 and KITTI。
論文 参考訳（メタデータ） (2021-03-07T00:08:21Z) - Ground-aware Monocular 3D Object Detection for Autonomous Driving [6.5702792909006735]
1台のRGBカメラで環境中の物体の位置と向きを推定することは、低コストの都市自動運転と移動ロボットにとって難しい課題である。
既存のアルゴリズムのほとんどは、2D-3D対応における幾何学的制約に基づいており、これは一般的な6Dオブジェクトのポーズ推定に由来する。
深層学習の枠組みにおいて、そのようなアプリケーション固有の事前知識を完全に活用するための新しいニューラルネットワークモジュールを導入する。
論文 参考訳（メタデータ） (2021-02-01T08:18:24Z) - Learning to Recover 3D Scene Shape from a Single Image [98.20106822614392]
まず,未知のスケールまで深さを予測し,単一の単眼画像からシフトする2段階フレームワークを提案する。
そして、3dポイントクラウドエンコーダを使って深度シフトと焦点距離を予測し、リアルな3dシーンの形状を復元します。
論文 参考訳（メタデータ） (2020-12-17T02:35:13Z) - Expandable YOLO: 3D Object Detection from RGB-D Images [64.14512458954344]
本稿では,ステレオカメラから深度とカラー画像を入力する軽量物体検出器の構築を目的とする。
YOLOv3のネットワークアーキテクチャを中央から3Dに拡張することにより、深さ方向の出力が可能となる。
領域抽出結果の精度を確認するため、3次元空間におけるユニノン(IoU)の切断を導入する。
論文 参考訳（メタデータ） (2020-06-26T07:32:30Z) - D3Feat: Joint Learning of Dense Detection and Description of 3D Local
Features [51.04841465193678]
私たちは3Dポイントクラウドに3D完全畳み込みネットワークを活用しています。
本稿では,3次元点ごとに検出スコアと記述特徴の両方を密に予測する,新しい,実践的な学習機構を提案する。
本手法は,屋内と屋外の両方のシナリオで最先端の手法を実現する。
論文 参考訳（メタデータ） (2020-03-06T12:51:09Z) - Implicit Functions in Feature Space for 3D Shape Reconstruction and
Completion [53.885984328273686]
Implicit Feature Networks (IF-Nets) は連続的な出力を提供し、複数のトポロジを扱える。
IF-NetsはShapeNetにおける3次元オブジェクト再構成における先行作業よりも明らかに優れており、より正確な3次元人間の再構成が得られる。
論文 参考訳（メタデータ） (2020-03-03T11:14:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。