論文の概要: Sparse Beats Dense: Rethinking Supervision in Radar-Camera Depth Completion
- arxiv url: http://arxiv.org/abs/2312.00844v3
- Date: Thu, 18 Jul 2024 16:05:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-19 21:51:10.540823
- Title: Sparse Beats Dense: Rethinking Supervision in Radar-Camera Depth Completion
- Title(参考訳): Sparse Beats Dense:Radar-Cameraのディープス・コンプリートにおけるスーパービジョンの再考
- Authors: Huadong Li, Minhao Jing, Jiajun Liang, Haoqiang Fan, Renhe Ji,
- Abstract要約: 本稿では,従来の高密度LiDAR監督法を精度と速度の両方で上回る,疎LiDAR監督法を提案する。
また, 粗いLiDAR監督下では, 重要ストライプ状アーティファクトを含む深度マップを出力することが多い。
本研究のフレームワークは,平均絶対誤差(MAE)が11.6%,フレームパー秒(FPS)が1.6倍向上し,最先端の高密度監視手法よりも優れていた。
- 参考スコア(独自算出の注目度): 18.0877558432168
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: It is widely believed that sparse supervision is worse than dense supervision in the field of depth completion, but the underlying reasons for this are rarely discussed. To this end, we revisit the task of radar-camera depth completion and present a new method with sparse LiDAR supervision to outperform previous dense LiDAR supervision methods in both accuracy and speed. Specifically, when trained by sparse LiDAR supervision, depth completion models usually output depth maps containing significant stripe-like artifacts. We find that such a phenomenon is caused by the implicitly learned positional distribution pattern from sparse LiDAR supervision, termed as LiDAR Distribution Leakage (LDL) in this paper. Based on such understanding, we present a novel Disruption-Compensation radar-camera depth completion framework to address this issue. The Disruption part aims to deliberately disrupt the learning of LiDAR distribution from sparse supervision, while the Compensation part aims to leverage 3D spatial and 2D semantic information to compensate for the information loss of previous disruptions. Extensive experimental results demonstrate that by reducing the impact of LDL, our framework with sparse supervision outperforms the state-of-the-art dense supervision methods with 11.6% improvement in Mean Absolute Error (MAE)} and 1.6x speedup in Frame Per Second (FPS)}. The code is available at https://github.com/megvii-research/Sparse-Beats-Dense.
- Abstract(参考訳): 深度調整の分野では、疎密な監督は密集した監督よりも悪いと広く信じられているが、その根底にある理由を論じることは稀である。
この目的のために,レーダカメラ深度補正の課題を再考し,従来の高密度LiDAR監督法を精度と速度の両方で上回るような疎LiDAR監督法を提案する。
特に、疎密なLiDARの監督によって訓練された場合、深度補完モデルは通常、重要なストライプのようなアーティファクトを含む深度マップを出力する。
この現象は,LiDAR分布漏洩(LDL)と呼ばれる疎いLiDAR監視から暗黙的に学習された位置分布パターンによって引き起こされる。
このような理解に基づき、この問題に対処する新しいディファイション補償レーダーカメラ深度補正フレームワークを提案する。
ディスラプション部は、LiDAR分布の学習をスパース監視から意図的に破壊することを目的としており、補償部は、以前のディスラプションの情報損失を補うために、3D空間および2Dセマンティック情報を活用することを目的としている。
その結果, LDLの影響を小さくすることで, 最先端の高密度監視手法よりも, 平均絶対誤差(MAE)が11.6%, フレームパー秒(FPS)が1.6倍向上した。
コードはhttps://github.com/megvii-research/Sparse-Beats-Denseで公開されている。
関連論文リスト
- Uncertainty-guided Optimal Transport in Depth Supervised Sparse-View 3D Gaussian [49.21866794516328]
3次元ガウシアンスプラッティングは、リアルタイムな新規ビュー合成において顕著な性能を示した。
これまでのアプローチでは、3Dガウスの訓練に奥行き監視を取り入れ、オーバーフィッティングを軽減してきた。
本研究では,3次元ガウスの深度分布を可視化する新しい手法を提案する。
論文 参考訳(メタデータ) (2024-05-30T03:18:30Z) - RIDERS: Radar-Infrared Depth Estimation for Robust Sensing [22.10378524682712]
逆気象条件は正確な深度推定に重大な課題をもたらす。
本研究では,ミリ波レーダと単眼赤外線サーマルカメラを融合させて,ロバストな距離推定手法を提案する。
本手法は、曖昧さと不一致の課題に対処することにより、異常な視覚的品質と正確な計量推定を実現する。
論文 参考訳(メタデータ) (2024-02-03T07:14:43Z) - LiDAR Distillation: Bridging the Beam-Induced Domain Gap for 3D Object
Detection [96.63947479020631]
多くの現実世界の応用において、大量生産されたロボットや車両が使用するLiDARポイントは通常、大規模な公開データセットよりもビームが少ない。
異なるLiDARビームによって誘導される領域ギャップをブリッジして3次元物体検出を行うLiDAR蒸留法を提案する。
論文 参考訳(メタデータ) (2022-03-28T17:59:02Z) - Advancing Self-supervised Monocular Depth Learning with Sparse LiDAR [22.202192422883122]
本稿では,自己教師付き単分子深度学習を推進するための2段階ネットワークを提案する。
本モデルでは,単色画像特徴と疎LiDAR特徴を融合させて初期深度マップを推定する。
我々のモデルは、下流タスクのモノクロ3Dオブジェクト検出において、最先端のスパース-LiDAR法(Pseudo-LiDAR++)を68%以上向上させる。
論文 参考訳(メタデータ) (2021-09-20T15:28:36Z) - Depth Estimation from Monocular Images and Sparse radar using Deep
Ordinal Regression Network [2.0446891814677692]
我々は, スパースレーダデータを単眼深度推定モデルに統合し, レーダによって提供されるスパースネスと限られた視野を減らすための新しい前処理手法を提案する。
本稿では,Fuらによる深度回帰ネットワークに基づく深度学習を用いて,単眼2次元画像から高密度深度マップを推定する手法を提案する。
論文 参考訳(メタデータ) (2021-07-15T20:17:48Z) - Depth-supervised NeRF: Fewer Views and Faster Training for Free [69.34556647743285]
DS-NeRF (Depth-supervised Neural Radiance Fields) は、容易に利用できる深度監視を利用する学習分野の損失である。
我々の損失は他のNeRF法と互換性があることを示し、深度は安価で消化し易い監視信号であることを示した。
論文 参考訳(メタデータ) (2021-07-06T17:58:35Z) - LEAD: LiDAR Extender for Autonomous Driving [48.233424487002445]
MEMS LiDARは、その低コスト、より堅牢、および大量生産基準を満たすため、耐え難い傾向で出現します。
それは小さい視野(FoV)に苦しめられ、人口のステップを遅らせます。
我々は、MEMS LiDARをFoVと範囲を結合して拡張するLEAD(LiDAR Extender for Automation)を提案する。
論文 参考訳(メタデータ) (2021-02-16T07:35:34Z) - Unsupervised Object Detection with LiDAR Clues [70.73881791310495]
本稿では,LiDARの手がかりを用いた非教師対象検出のための最初の実用的手法を提案する。
提案手法では,まず3次元点雲に基づく候補オブジェクトセグメントを生成する。
そして、セグメントラベルを割り当て、セグメントラベルネットワークを訓練する反復的なセグメントラベル処理を行う。
ラベル付けプロセスは、長い尾とオープンエンドの分布の問題を軽減するために慎重に設計されている。
論文 参考訳(メタデータ) (2020-11-25T18:59:54Z) - LiRaNet: End-to-End Trajectory Prediction using Spatio-Temporal Radar
Fusion [52.59664614744447]
本稿では,レーダセンサ情報と広範に使用されているライダーと高精細度(HD)マップを用いた新しい終端軌道予測手法LiRaNetを提案する。
自動車レーダーは、リッチで補完的な情報を提供し、より長い距離の車両検出と即時速度測定を可能にします。
論文 参考訳(メタデータ) (2020-10-02T00:13:00Z) - Monocular Depth Prediction through Continuous 3D Loss [16.617016980396865]
本稿では,モノクル画像から深度を学習するための連続3次元ロス関数について報告する。
特異なLIDAR点を用いて単眼画像からの深度予測を監督する。
実験により,提案した損失により深度予測精度が向上し,より一貫した3次元幾何構造を持つ点雲が生成されることがわかった。
論文 参考訳(メタデータ) (2020-03-21T22:47:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。