論文の概要: CMRNext: Camera to LiDAR Matching in the Wild for Localization and
Extrinsic Calibration
- arxiv url: http://arxiv.org/abs/2402.00129v2
- Date: Fri, 2 Feb 2024 18:57:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 02:16:25.211875
- Title: CMRNext: Camera to LiDAR Matching in the Wild for Localization and
Extrinsic Calibration
- Title(参考訳): cmrnext: 野生のカメラとライダーのマッチングによる位置推定と余分なキャリブレーション
- Authors: Daniele Cattaneo and Abhinav Valada
- Abstract要約: CMRNextはカメラ-LIDARマッチングの新しいアプローチであり、センサー固有のパラメータとは独立しており、一般化可能であり、野生で使用することができる。
3つの公開データセットと3つの社内ロボットを含む6つの異なるロボットプラットフォーム上でCMRNextを広範囲に評価した。
- 参考スコア(独自算出の注目度): 11.451857506561904
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LiDARs are widely used for mapping and localization in dynamic environments.
However, their high cost limits their widespread adoption. On the other hand,
monocular localization in LiDAR maps using inexpensive cameras is a
cost-effective alternative for large-scale deployment. Nevertheless, most
existing approaches struggle to generalize to new sensor setups and
environments, requiring retraining or fine-tuning. In this paper, we present
CMRNext, a novel approach for camera-LIDAR matching that is independent of
sensor-specific parameters, generalizable, and can be used in the wild for
monocular localization in LiDAR maps and camera-LiDAR extrinsic calibration.
CMRNext exploits recent advances in deep neural networks for matching
cross-modal data and standard geometric techniques for robust pose estimation.
We reformulate the point-pixel matching problem as an optical flow estimation
problem and solve the Perspective-n-Point problem based on the resulting
correspondences to find the relative pose between the camera and the LiDAR
point cloud. We extensively evaluate CMRNext on six different robotic
platforms, including three publicly available datasets and three in-house
robots. Our experimental evaluations demonstrate that CMRNext outperforms
existing approaches on both tasks and effectively generalizes to previously
unseen environments and sensor setups in a zero-shot manner. We make the code
and pre-trained models publicly available at http://cmrnext.cs.uni-freiburg.de .
- Abstract(参考訳): LiDARは動的環境におけるマッピングとローカライゼーションに広く利用されている。
しかし、その高いコストは広く普及を制限する。
一方、安価なカメラを用いたLiDARマップの単眼位置決めは、大規模展開のためのコスト効率の良い代替手段である。
それでも、既存のほとんどのアプローチは、新しいセンサーのセットアップと環境への一般化に苦労し、再訓練や微調整を必要としている。
本稿では,センサ固有パラメータに依存しないカメラ-LIDARマッチングの新しいアプローチであるCMRNextについて述べる。
CMRNextは、クロスモーダルデータとロバストポーズ推定のための標準的な幾何学的手法をマッチングするために、ディープニューラルネットワークの最近の進歩を活用している。
光フロー推定問題として画素マッチング問題を再構成し、その結果の対応に基づいてパースペクティブ・n・ポイント問題を解くことにより、カメラとLiDAR点雲の相対的なポーズを求める。
3つの公開データセットと3つの社内ロボットを含む6つの異なるロボットプラットフォーム上でCMRNextを広範囲に評価した。
実験により,CMRNextは両タスクの既存手法よりも優れており,従来は見つからなかった環境やセンサのセットアップをゼロショットで効果的に一般化することを示した。
コードと事前訓練されたモデルはhttp://cmrnext.cs.uni-freiburg.deで公開しています。
関連論文リスト
- LCPR: A Multi-Scale Attention-Based LiDAR-Camera Fusion Network for
Place Recognition [11.206532393178385]
本稿では,マルチモーダル位置認識のための新しいニューラルネットワークLCPRを提案する。
位置認識性能を向上させるために,マルチビューカメラとLiDARデータを効果的に利用することができる。
論文 参考訳(メタデータ) (2023-11-06T15:39:48Z) - INF: Implicit Neural Fusion for LiDAR and Camera [7.123895040455239]
本稿では,LiDARとカメラのためのインプシットニューラルフュージョン(INF)を提案する。
INFはまず、LiDARフレームを使用してターゲットシーンの神経密度場をトレーニングする。
次に、カメラ画像とトレーニングされたニューラル密度場を用いて、別個のニューラルカラーフィールドをトレーニングする。
論文 参考訳(メタデータ) (2023-08-28T08:51:20Z) - UnLoc: A Universal Localization Method for Autonomous Vehicles using
LiDAR, Radar and/or Camera Input [51.150605800173366]
UnLocは、全ての気象条件におけるマルチセンサー入力によるローカライズのための、新しい統一型ニューラルネットワークアプローチである。
本手法は,Oxford Radar RobotCar,Apollo SouthBay,Perth-WAの各データセットで広く評価されている。
論文 参考訳(メタデータ) (2023-07-03T04:10:55Z) - Photometric LiDAR and RGB-D Bundle Adjustment [3.3948742816399697]
本稿では,RGB-D と LiDAR の両方を併用した新しいバンドリング調整(BA)測光戦略を提案する。
さらに,RGB-D と LiDAR を併用した統合手法の利点を示す。
論文 参考訳(メタデータ) (2023-03-29T17:35:23Z) - LCE-Calib: Automatic LiDAR-Frame/Event Camera Extrinsic Calibration With
A Globally Optimal Solution [10.117923901732743]
LiDARとカメラの組み合わせにより、移動ロボットはマルチモーダルデータで環境を知覚することができる。
従来のフレームカメラは照明条件の変更に敏感で、新しいイベントカメラの導入を動機付けています。
本稿では,LiDARとフレーム/イベントカメラの外部特性をキャリブレーションするためのチェッカーボードによる自動手法を提案する。
論文 参考訳(メタデータ) (2023-03-17T08:07:56Z) - LiCamGait: Gait Recognition in the Wild by Using LiDAR and Camera
Multi-modal Visual Sensors [49.66924720835016]
我々は、LiDARを利用して、より堅牢で正確な歩行認識のために、ビュー依存カメラと光感受性カメラの制限を緩和する最初の試みを行っている。
効率的なマルチモーダル特徴融合戦略を用いたLiDARカメラを用いた歩行認識手法を提案する。
論文 参考訳(メタデータ) (2022-11-22T16:05:58Z) - From One to Many: Dynamic Cross Attention Networks for LiDAR and Camera
Fusion [12.792769704561024]
既存の融合法では、キャリブレーションに基づいて、各3Dポイントを1つの投影された画像ピクセルに調整する傾向がある。
本稿では,動的クロスアテンション(DCA)モジュールを提案する。
Dynamic Cross Attention Network (DCAN) という名称の核融合アーキテクチャは、マルチレベルイメージ機能を活用し、ポイントクラウドの複数の表現に適応する。
論文 参考訳(メタデータ) (2022-09-25T16:10:14Z) - LiDARCap: Long-range Marker-less 3D Human Motion Capture with LiDAR
Point Clouds [58.402752909624716]
既存のモーションキャプチャデータセットはほとんどが短距離であり、まだ長距離アプリケーションのニーズに合わない。
我々は,この制限を克服するために,LiDARがより長い範囲で捉えた新しい人間のモーションキャプチャーデータセットLiDARHuman26Mを提案する。
我々のデータセットには、IMUシステムによって取得された人間の動きと同期RGB画像も含まれている。
論文 参考訳(メタデータ) (2022-03-28T12:52:45Z) - Automatic Extrinsic Calibration Method for LiDAR and Camera Sensor
Setups [68.8204255655161]
本論文では,LiDAR,単眼,ステレオカメラを含む任意のセンサのパラメータを校正する手法を提案する。
提案手法は、通常、車両のセットアップで見られるように、非常に異なる解像度とポーズのデバイスを扱うことができる。
論文 参考訳(メタデータ) (2021-01-12T12:02:26Z) - Infrastructure-based Multi-Camera Calibration using Radial Projections [117.22654577367246]
パターンベースのキャリブレーション技術は、カメラの内在を個別にキャリブレーションするために使用することができる。
Infrastucture-based calibration techniqueはSLAMやStructure-from-Motionで事前に構築した3Dマップを用いて外部情報を推定することができる。
本稿では,インフラストラクチャベースのアプローチを用いて,マルチカメラシステムをスクラッチから完全にキャリブレーションすることを提案する。
論文 参考訳(メタデータ) (2020-07-30T09:21:04Z) - 6D Camera Relocalization in Ambiguous Scenes via Continuous Multimodal
Inference [67.70859730448473]
あいまいさと不確かさを捉えるマルチモーダルカメラ再ローカライズフレームワークを提案する。
我々は、複数のカメラのポーズ仮説を予測し、それぞれの予測の不確実性も予測する。
あいまいな環境下でのカメラローカライゼーション研究を促進するための新しいデータセットを提案する。
論文 参考訳(メタデータ) (2020-04-09T20:55:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。