Fugu-MT 論文翻訳(概要): Advancing Self-supervised Monocular Depth Learning with Sparse LiDAR

論文の概要: Advancing Self-supervised Monocular Depth Learning with Sparse LiDAR

arxiv url: http://arxiv.org/abs/2109.09628v2
Date: Tue, 21 Sep 2021 16:37:15 GMT
ステータス: 処理完了
システム内更新日: 2021-09-22 10:53:45.831416
Title: Advancing Self-supervised Monocular Depth Learning with Sparse LiDAR
Title（参考訳）: スパースLiDARによる自己教師付き単眼深度学習の促進
Authors: Ziyue Feng, Longlong Jing, Peng Yin, Yingli Tian, Bing Li
Abstract要約: 本稿では,自己教師付き単分子深度学習を推進するための2段階ネットワークを提案する。本モデルでは,単色画像特徴と疎LiDAR特徴を融合させて初期深度マップを推定する。我々のモデルは、下流タスクのモノクロ3Dオブジェクト検出において、最先端のスパース-LiDAR法(Pseudo-LiDAR++)を68%以上向上させる。
参考スコア（独自算出の注目度）: 22.202192422883122
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Self-supervised monocular depth prediction provides a cost-effective solution to obtain the 3D location of each pixel. However, the existing approaches usually lead to unsatisfactory accuracy, which is critical for autonomous robots. In this paper, we propose a novel two-stage network to advance the self-supervised monocular dense depth learning by leveraging low-cost sparse (e.g. 4-beam) LiDAR. Unlike the existing methods that use sparse LiDAR mainly in a manner of time-consuming iterative post-processing, our model fuses monocular image features and sparse LiDAR features to predict initial depth maps. Then, an efficient feed-forward refine network is further designed to correct the errors in these initial depth maps in pseudo-3D space with real-time performance. Extensive experiments show that our proposed model significantly outperforms all the state-of-the-art self-supervised methods, as well as the sparse-LiDAR-based methods on both self-supervised monocular depth prediction and completion tasks. With the accurate dense depth prediction, our model outperforms the state-of-the-art sparse-LiDAR-based method (Pseudo-LiDAR++) by more than 68% for the downstream task monocular 3D object detection on the KITTI Leaderboard.
Abstract（参考訳）: 自己教師付き単眼深度予測は、各ピクセルの3D位置を求めるためのコスト効率の良いソリューションを提供する。しかし、既存のアプローチは一般的には不十分な精度につながり、自律ロボットにとって重要である。本稿では,低コストスパース(例えば4ビーム)LiDARを利用して,自己教師付き単分子深度学習を進めるための2段階ネットワークを提案する。スパースLiDARを主に時間を要する反復的後処理で使用する既存の手法とは異なり,本モデルは単眼画像特徴とスパースLiDAR特徴を融合させて初期深度マップを推定する。さらに, 擬似3次元空間における初期深度マップの誤りをリアルタイムに補正するために, 効率的なフィードフォワード精細ネットワークを設計する。大規模実験により,提案手法は, 自己教師付き単分子深度予測および完了タスクにおけるスパース-LiDAR法と同様に, 最先端の自己教師付き手法を著しく上回ることがわかった。精度の高い深度予測を行うことで,KITTIリーダボード上の下流タスク単眼3Dオブジェクト検出において,最先端のスパース-LiDAR法(Pseudo-LiDAR++)を68%以上向上させる。

関連論文リスト

Binocular-Guided 3D Gaussian Splatting with View Consistency for Sparse View Synthesis [53.702118455883095]
本稿では,ガウススプラッティングを用いたスパースビューから新しいビューを合成する新しい手法を提案する。私たちのキーとなるアイデアは、両眼画像間の両眼立体的一貫性に固有の自己超越を探索することにあります。我々の手法は最先端の手法よりも優れています。
論文参考訳（メタデータ） (2024-10-24T15:10:27Z)
OccNeRF: Advancing 3D Occupancy Prediction in LiDAR-Free Environments [77.0399450848749]
本稿では,OccNeRF法を用いて,3次元監視なしで占有ネットワークを訓練する手法を提案する。我々は、再構成された占有領域をパラメータ化し、サンプリング戦略を再編成し、カメラの無限知覚範囲に合わせる。意味的占有予測のために,事前学習した開語彙2Dセグメンテーションモデルの出力をフィルタリングし,プロンプトを洗練するためのいくつかの戦略を設計する。
論文参考訳（メタデータ） (2023-12-14T18:58:52Z)
ODM3D: Alleviating Foreground Sparsity for Semi-Supervised Monocular 3D Object Detection [15.204935788297226]
ODM3Dフレームワークは、トレーニング中にLiDARドメインの知識を単分子検出器に注入するために、様々なレベルでのクロスモーダルな知識蒸留を必要とする。既存手法の準最適トレーニングの主要因として,前景の空間空間を同定することにより,LiDAR点に埋め込まれた正確な位置化情報を活用する。 KITTI検証とテストベンチマークの両方で1位にランクインし、教師付きまたは半教師付きである既存のモノクラー手法をはるかに上回っている。
論文参考訳（メタデータ） (2023-10-28T07:12:09Z)
MAELi: Masked Autoencoder for Large-Scale LiDAR Point Clouds [13.426810473131642]
Masked AutoEncoder for LiDAR Point clouds (MAELi) は、復元中にエンコーダとデコーダの両方でLiDARポイントクラウドの空間性を直感的に活用する。新たな再構築アプローチでは、MAELiは空空間と隠された空間を区別する。これにより、MAELiは基礎となる3次元シーンの幾何学と意味論の理解を得る。
論文参考訳（メタデータ） (2022-12-14T13:10:27Z)
Self-supervised 3D Object Detection from Monocular Pseudo-LiDAR [9.361704310981196]
単眼画像のみを用いた絶対深度予測と3次元物体検出手法を提案する。その結果,提案手法は,KITTI 3Dデータセット上での他の既存手法を上回る性能を示した。
論文参考訳（メタデータ） (2022-09-20T05:55:49Z)
Boosting 3D Object Detection by Simulating Multimodality on Point Clouds [51.87740119160152]
本稿では,LiDAR 画像検出器に追従する特徴や応答をシミュレートすることで,単一モダリティ (LiDAR) 3次元物体検出器を高速化する新しい手法を提案する。このアプローチでは、単一モダリティ検出器をトレーニングする場合のみ、LiDARイメージデータを必要とし、十分にトレーニングされた場合には、推論時にのみLiDARデータが必要である。 nuScenesデータセットの実験結果から,本手法はSOTA LiDARのみの3D検出器よりも優れていることがわかった。
論文参考訳（メタデータ） (2022-06-30T01:44:30Z)
MonoDistill: Learning Spatial Features for Monocular 3D Object Detection [80.74622486604886]
本稿では,LiDAR信号からの空間情報を単分子3D検出器に導入するための簡易かつ効果的な手法を提案する。得られたデータを用いて、ベースラインモデルと同じアーキテクチャで3D検出器をトレーニングする。実験の結果,提案手法はベースラインモデルの性能を大幅に向上させることができることがわかった。
論文参考訳（メタデータ） (2022-01-26T09:21:41Z)
LiDARTouch: Monocular metric depth estimation with a few-beam LiDAR [40.98198236276633]
視覚に基づく深度推定は、自律システムにおいて重要な特徴である。このような単分子配置では、1つまたは複数の高価なLiDARから追加の入力で濃密な深さが得られる。本稿では,単眼カメラと軽量LiDARを組み合わせることで,距離深度を高密度に推定する新しい手法を提案する。
論文参考訳（メタデータ） (2021-09-08T12:06:31Z)
PLUME: Efficient 3D Object Detection from Stereo Images [95.31278688164646]
既存の手法では、2つのステップでこの問題に対処する: 第一深度推定を行い、その深さ推定から擬似LiDAR点雲表現を計算し、3次元空間で物体検出を行う。この2つのタスクを同一のメトリック空間で統一するモデルを提案する。提案手法は,既存の手法と比較して推定時間を大幅に削減し,挑戦的なKITTIベンチマークの最先端性能を実現する。
論文参考訳（メタデータ） (2021-01-17T05:11:38Z)
SelfVoxeLO: Self-supervised LiDAR Odometry with Voxel-based Deep Neural Networks [81.64530401885476]
本稿では,これら2つの課題に対処するために,自己教師型LiDARオドメトリー法(SelfVoxeLO)を提案する。具体的には、生のLiDARデータを直接処理する3D畳み込みネットワークを提案し、3D幾何パターンをよりよく符号化する特徴を抽出する。我々は,KITTIとApollo-SouthBayという2つの大規模データセット上での手法の性能を評価する。
論文参考訳（メタデータ） (2020-10-19T09:23:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。