論文の概要: CMRNext: Camera to LiDAR Matching in the Wild for Localization and Extrinsic Calibration
- arxiv url: http://arxiv.org/abs/2402.00129v4
- Date: Tue, 10 Dec 2024 13:53:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-11 14:33:20.068761
- Title: CMRNext: Camera to LiDAR Matching in the Wild for Localization and Extrinsic Calibration
- Title（参考訳）: CMRNext: 局所化・外部校正のためのLiDARマッチングカメラ
- Authors: Daniele Cattaneo, Abhinav Valada,
- Abstract要約: CMRNextはカメラ-LIDARマッチングの新しいアプローチであり、センサー固有のパラメータとは独立しており、一般化可能であり、野生で使用することができる。
3つの公開データセットと3つの社内ロボットを含む6つの異なるロボットプラットフォーム上でCMRNextを広範囲に評価した。
- 参考スコア（独自算出の注目度）: 9.693729708337125
- License:
- Abstract: LiDARs are widely used for mapping and localization in dynamic environments. However, their high cost limits their widespread adoption. On the other hand, monocular localization in LiDAR maps using inexpensive cameras is a cost-effective alternative for large-scale deployment. Nevertheless, most existing approaches struggle to generalize to new sensor setups and environments, requiring retraining or fine-tuning. In this paper, we present CMRNext, a novel approach for camera-LIDAR matching that is independent of sensor-specific parameters, generalizable, and can be used in the wild for monocular localization in LiDAR maps and camera-LiDAR extrinsic calibration. CMRNext exploits recent advances in deep neural networks for matching cross-modal data and standard geometric techniques for robust pose estimation. We reformulate the point-pixel matching problem as an optical flow estimation problem and solve the Perspective-n-Point problem based on the resulting correspondences to find the relative pose between the camera and the LiDAR point cloud. We extensively evaluate CMRNext on six different robotic platforms, including three publicly available datasets and three in-house robots. Our experimental evaluations demonstrate that CMRNext outperforms existing approaches on both tasks and effectively generalizes to previously unseen environments and sensor setups in a zero-shot manner. We make the code and pre-trained models publicly available at http://cmrnext.cs.uni-freiburg.de .
- Abstract（参考訳）: LiDARは動的環境におけるマッピングとローカライゼーションに広く利用されている。
しかし、その高いコストは広く普及を制限する。
一方、安価なカメラを用いたLiDARマップの単眼位置決めは、大規模展開のためのコスト効率の良い代替手段である。
それにもかかわらず、既存のほとんどのアプローチは、新しいセンサーのセットアップと環境への一般化に苦労し、再訓練や微調整を必要としている。
本稿では,センサ固有パラメータに依存しないカメラ-LIDARマッチングの新しいアプローチであるCMRNextについて述べる。
CMRNextは、クロスモーダルデータとロバストポーズ推定のための標準的な幾何学的手法をマッチングするために、ディープニューラルネットワークの最近の進歩を活用している。
光フロー推定問題として画素マッチング問題を再構成し、その結果の対応に基づいてパースペクティブ・n・ポイント問題を解くことにより、カメラとLiDAR点雲の相対的なポーズを求める。
3つの公開データセットと3つの社内ロボットを含む6つの異なるロボットプラットフォーム上でCMRNextを広範囲に評価した。
実験により,CMRNextは両タスクの既存手法よりも優れており,従来は見つからなかった環境やセンサのセットアップをゼロショット方式で効果的に一般化していることが示された。
コードと事前トレーニングされたモデルはhttp://cmrnext.cs.uni-freiburg.deで公開しています。
関連論文リスト
- Gait Sequence Upsampling using Diffusion Models for Single LiDAR Sensors [1.0485739694839664]
LidarGSUは、既存の識別モデルの一般化能力を改善するように設計されている。
本研究は,ビデオ間翻訳手法における条件付きマスクとして,細かな歩行者点雲上のDPMを利用する。
提案手法では,SUSTeck1Kデータセットを用いて,生成品質と認識性能を評価する。
論文 参考訳（メタデータ） (2024-10-11T10:11:21Z) - ES-Gaussian: Gaussian Splatting Mapping via Error Space-Based Gaussian Completion [9.443354889048614]
視覚ベースのマッピングは、粗い点雲のために高品質な3D再構成に苦しむことが多い。
低高度カメラと単線LiDARを用いた高品質な3D再構成システムES-Gaussianを提案する。
論文 参考訳（メタデータ） (2024-10-09T07:09:29Z) - LiDAR-GS:Real-time LiDAR Re-Simulation using Gaussian Splatting [50.808933338389686]
LiDARシミュレーションは、自動運転におけるクローズドループシミュレーションにおいて重要な役割を果たす。
都市景観におけるLiDARセンサスキャンをリアルタイムに再現するために,最初のLiDARガウス法であるLiDAR-GSを提案する。
我々の手法は、深度、強度、レイドロップチャンネルを同時に再現することに成功し、公開可能な大規模シーンデータセットにおけるフレームレートと品質の両方のレンダリング結果を達成する。
論文 参考訳（メタデータ） (2024-10-07T15:07:56Z) - LCPR: A Multi-Scale Attention-Based LiDAR-Camera Fusion Network for
Place Recognition [11.206532393178385]
本稿では,マルチモーダル位置認識のための新しいニューラルネットワークLCPRを提案する。
位置認識性能を向上させるために,マルチビューカメラとLiDARデータを効果的に利用することができる。
論文 参考訳（メタデータ） (2023-11-06T15:39:48Z) - INF: Implicit Neural Fusion for LiDAR and Camera [7.123895040455239]
本稿では,LiDARとカメラのためのインプシットニューラルフュージョン(INF)を提案する。
INFはまず、LiDARフレームを使用してターゲットシーンの神経密度場をトレーニングする。
次に、カメラ画像とトレーニングされたニューラル密度場を用いて、別個のニューラルカラーフィールドをトレーニングする。
論文 参考訳（メタデータ） (2023-08-28T08:51:20Z) - UnLoc: A Universal Localization Method for Autonomous Vehicles using
LiDAR, Radar and/or Camera Input [51.150605800173366]
UnLocは、全ての気象条件におけるマルチセンサー入力によるローカライズのための、新しい統一型ニューラルネットワークアプローチである。
本手法は,Oxford Radar RobotCar,Apollo SouthBay,Perth-WAの各データセットで広く評価されている。
論文 参考訳（メタデータ） (2023-07-03T04:10:55Z) - LCE-Calib: Automatic LiDAR-Frame/Event Camera Extrinsic Calibration With
A Globally Optimal Solution [10.117923901732743]
LiDARとカメラの組み合わせにより、移動ロボットはマルチモーダルデータで環境を知覚することができる。
従来のフレームカメラは照明条件の変更に敏感で、新しいイベントカメラの導入を動機付けています。
本稿では,LiDARとフレーム/イベントカメラの外部特性をキャリブレーションするためのチェッカーボードによる自動手法を提案する。
論文 参考訳（メタデータ） (2023-03-17T08:07:56Z) - LiDARCap: Long-range Marker-less 3D Human Motion Capture with LiDAR
Point Clouds [58.402752909624716]
既存のモーションキャプチャデータセットはほとんどが短距離であり、まだ長距離アプリケーションのニーズに合わない。
我々は,この制限を克服するために,LiDARがより長い範囲で捉えた新しい人間のモーションキャプチャーデータセットLiDARHuman26Mを提案する。
我々のデータセットには、IMUシステムによって取得された人間の動きと同期RGB画像も含まれている。
論文 参考訳（メタデータ） (2022-03-28T12:52:45Z) - Automatic Extrinsic Calibration Method for LiDAR and Camera Sensor
Setups [68.8204255655161]
本論文では,LiDAR,単眼,ステレオカメラを含む任意のセンサのパラメータを校正する手法を提案する。
提案手法は、通常、車両のセットアップで見られるように、非常に異なる解像度とポーズのデバイスを扱うことができる。
論文 参考訳（メタデータ） (2021-01-12T12:02:26Z) - Infrastructure-based Multi-Camera Calibration using Radial Projections [117.22654577367246]
パターンベースのキャリブレーション技術は、カメラの内在を個別にキャリブレーションするために使用することができる。
Infrastucture-based calibration techniqueはSLAMやStructure-from-Motionで事前に構築した3Dマップを用いて外部情報を推定することができる。
本稿では,インフラストラクチャベースのアプローチを用いて,マルチカメラシステムをスクラッチから完全にキャリブレーションすることを提案する。
論文 参考訳（メタデータ） (2020-07-30T09:21:04Z) - 6D Camera Relocalization in Ambiguous Scenes via Continuous Multimodal
Inference [67.70859730448473]
あいまいさと不確かさを捉えるマルチモーダルカメラ再ローカライズフレームワークを提案する。
我々は、複数のカメラのポーズ仮説を予測し、それぞれの予測の不確実性も予測する。
あいまいな環境下でのカメラローカライゼーション研究を促進するための新しいデータセットを提案する。
論文 参考訳（メタデータ） (2020-04-09T20:55:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。