論文の概要: LiDARTouch: Monocular metric depth estimation with a few-beam LiDAR

• arxiv url: http://arxiv.org/abs/2109.03569v1
• Date: Wed, 8 Sep 2021 12:06:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-09 13:56:52.399381
• Title: LiDARTouch: Monocular metric depth estimation with a few-beam LiDAR
• Title（参考訳）: LiDARTouch: 数ビームLiDARによる単眼メートル法深度推定
• Authors: Florent Bartoccioni, \'Eloi Zablocki, Patrick P\'erez, Matthieu Cord, Karteek Alahari
• Abstract要約: 視覚に基づく深度推定は、自律システムにおいて重要な特徴である。 このような単分子配置では、1つまたは複数の高価なLiDARから追加の入力で濃密な深さが得られる。 本稿では,単眼カメラと軽量LiDARを組み合わせることで,距離深度を高密度に推定する新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 40.98198236276633
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-based depth estimation is a key feature in autonomous systems, which often relies on a single camera or several independent ones. In such a monocular setup, dense depth is obtained with either additional input from one or several expensive LiDARs, e.g., with 64 beams, or camera-only methods, which suffer from scale-ambiguity and infinite-depth problems. In this paper, we propose a new alternative of densely estimating metric depth by combining a monocular camera with a light-weight LiDAR, e.g., with 4 beams, typical of today's automotive-grade mass-produced laser scanners. Inspired by recent self-supervised methods, we introduce a novel framework, called LiDARTouch, to estimate dense depth maps from monocular images with the help of ``touches'' of LiDAR, i.e., without the need for dense ground-truth depth. In our setup, the minimal LiDAR input contributes on three different levels: as an additional model's input, in a self-supervised LiDAR reconstruction objective function, and to estimate changes of pose (a key component of self-supervised depth estimation architectures). Our LiDARTouch framework achieves new state of the art in self-supervised depth estimation on the KITTI dataset, thus supporting our choices of integrating the very sparse LiDAR signal with other visual features. Moreover, we show that the use of a few-beam LiDAR alleviates scale ambiguity and infinite-depth issues that camera-only methods suffer from. We also demonstrate that methods from the fully-supervised depth-completion literature can be adapted to a self-supervised regime with a minimal LiDAR signal.
• Abstract（参考訳）: 視覚に基づく深度推定は、単一のカメラや複数の独立したカメラに依存する自律システムにおいて重要な機能である。 このような単分子配置では、64本のビームを持つ1つまたは複数の高価なLiDARや、スケールの曖昧さと無限の深さの問題に悩まされるカメラのみの手法から、より深い深さが得られる。 本稿では,モノクラーカメラと軽量LiDAR,例えば今日の自動車用大量レーザースキャナに典型的な4本のビームを組み合わせることで,距離深度を高密度に推定する新しい方法を提案する。 近年の自己教師あり手法に触発されて,lidartouchと呼ばれる新しい枠組みを導入し,lidarの‘touches’の助けを借りて,単眼画像から高密度深度マップを推定する。 我々の設定では、最小lidar入力は3つの異なるレベルに寄与する: 追加モデルの入力として、自己教師付きlidar再構築目的関数において、ポーズの変化(自己教師付き深度推定アーキテクチャの重要な構成要素)を推定する。 我々のLiDARTouchフレームワークは,KITTIデータセット上での自己監督深度推定における新たな技術状況を実現する。 さらに,数ビームのLiDARを用いることで,カメラのみの手法が抱えるあいまいさや無限大の問題が軽減されることを示す。 また,完全教師付き深度補完文献からの手法を,最小限のLiDAR信号を持つ自己教師型システムに適用できることを実証した。

関連論文リスト

• Better Monocular 3D Detectors with LiDAR from the Past [64.6759926054061]
  カメラベースの3D検出器は、画像の奥行きのあいまいさのため、LiDARベースの検出器に比べて性能が劣ることが多い。 本研究では,未ラベルの歴史的LiDARデータを活用することにより,単分子3D検出器の改良を図る。 複数の最先端モデルやデータセットに対して,9.66ミリ秒の追加レイテンシとストレージコストの低い,一貫性と大幅なパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2024-04-08T01:38:43Z)
• OccNeRF: Advancing 3D Occupancy Prediction in LiDAR-Free Environments [77.0399450848749]
  本稿では,OccNeRF法を用いて,3次元監視なしで占有ネットワークを訓練する手法を提案する。 我々は、再構成された占有領域をパラメータ化し、サンプリング戦略を再編成し、カメラの無限知覚範囲に合わせる。 意味的占有予測のために,事前学習した開語彙2Dセグメンテーションモデルの出力をフィルタリングし,プロンプトを洗練するためのいくつかの戦略を設計する。
  論文  参考訳（メタデータ） (2023-12-14T18:58:52Z)
• LiDAR-NeRF: Novel LiDAR View Synthesis via Neural Radiance Fields [112.62936571539232]
  本稿では,LiDARセンサのための新しいビュー合成手法を提案する。 スタイルトランスファーニューラルネットワークを用いた従来のモデルベースLiDARシミュレータは、新しいビューのレンダリングに応用できる。 ニューラル放射場(NeRF)を用いて幾何学と3D点の属性の連成学習を容易にする。
  論文  参考訳（メタデータ） (2023-04-20T15:44:37Z)
• Weakly Supervised 3D Multi-person Pose Estimation for Large-scale Scenes based on Monocular Camera and Single LiDAR [41.39277657279448]
  大規模シーンにおける3次元多人数ポーズ推定のためのモノクロカメラとLiDARによる単一手法を提案する。 具体的には,画像や点クラウドを含むマルチモーダル入力データを活用するための効果的な融合戦略を設計する。 本手法は, 点雲の固有な幾何学的制約を自己監督のために利用し, 画像上の2次元キーポイントを弱監督のために利用する。
  論文  参考訳（メタデータ） (2022-11-30T12:50:40Z)
• Boosting 3D Object Detection by Simulating Multimodality on Point Clouds [51.87740119160152]
  本稿では,LiDAR 画像検出器に追従する特徴や応答をシミュレートすることで,単一モダリティ (LiDAR) 3次元物体検出器を高速化する新しい手法を提案する。 このアプローチでは、単一モダリティ検出器をトレーニングする場合のみ、LiDARイメージデータを必要とし、十分にトレーニングされた場合には、推論時にのみLiDARデータが必要である。 nuScenesデータセットの実験結果から,本手法はSOTA LiDARのみの3D検出器よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-06-30T01:44:30Z)
• Two-Photon Interference LiDAR Imaging [0.0]
  我々は、高レベルの安定性を必要とせず、OCT深度分解能を実現するLiDARに量子干渉にインスパイアされたアプローチを提案する。 我々は,70mの効果的なインパルス応答で深度イメージング機能を示す。これにより,従来のLiDAR手法よりも高分解能で範囲と多重反射を識別できる。 この強化された解像度は、3D顔認証におけるLiDARの道を開くとともに、小さな特徴の検出/追跡に加えて、障害物を通した画像や非視線イメージングのようなより複雑な飛行時間法の性能を高める。
  論文  参考訳（メタデータ） (2022-06-20T09:08:51Z)
• Advancing Self-supervised Monocular Depth Learning with Sparse LiDAR [22.202192422883122]
  本稿では,自己教師付き単分子深度学習を推進するための2段階ネットワークを提案する。 本モデルでは,単色画像特徴と疎LiDAR特徴を融合させて初期深度マップを推定する。 我々のモデルは、下流タスクのモノクロ3Dオブジェクト検出において、最先端のスパース-LiDAR法(Pseudo-LiDAR++)を68%以上向上させる。
  論文  参考訳（メタデータ） (2021-09-20T15:28:36Z)
• Full Surround Monodepth from Multiple Cameras [31.145598985137468]
  自己監督単眼深度と自我運動推定を大型フォトベースラインマルチカメラリグに拡張します。 私たちは、典型的なLiDARスキャナーと同じ全周360度の視野をカバーする、高密度で一貫性のあるスケールアウェアポイントクラウドを生成する単一のネットワークを学びます。
  論文  参考訳（メタデータ） (2021-03-31T22:52:04Z)
• Depth Sensing Beyond LiDAR Range [84.19507822574568]
  小型の視野カメラを用いた3カメラシステムを提案する。 我々のシステムは、計量深度を計算するための新しいアルゴリズムとともに、完全な事前校正を必要としない。 遠距離のシーンや物体に対して、事実上許容できる精度で密集した深度マップを出力することができる。
  論文  参考訳（メタデータ） (2020-04-07T00:09:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。