論文の概要: FAST-LIVO2: Fast, Direct LiDAR-Inertial-Visual Odometry
- arxiv url: http://arxiv.org/abs/2408.14035v2
- Date: Wed, 28 Aug 2024 12:03:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-29 11:00:36.749771
- Title: FAST-LIVO2: Fast, Direct LiDAR-Inertial-Visual Odometry
- Title（参考訳）: FAST-LIVO2:高速、直接LiDAR-慣性-ビジュアルオドメトリー
- Authors: Chunran Zheng, Wei Xu, Zuhao Zou, Tong Hua, Chongjian Yuan, Dongjiao He, Bingyang Zhou, Zheng Liu, Jiarong Lin, Fangcheng Zhu, Yunfan Ren, Rong Wang, Fanle Meng, Fu Zhang,
- Abstract要約: 我々は,SLAMタスクにおける高精度かつ堅牢な状態推定を実現するために,高速かつ直接的LiDAR慣性・視覚的オドメトリーフレームワークであるFAST-LIVO2を提案する。
FAST-LIVO2はIMU、LiDAR、画像計測を逐次更新戦略で効率的に融合する。
本稿では,FAST-LIVO2のリアルタイムナビゲーション,空中マッピング,3次元モデルレンダリングの3つの応用例を示す。
- 参考スコア（独自算出の注目度）: 28.606325312582218
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes FAST-LIVO2: a fast, direct LiDAR-inertial-visual odometry framework to achieve accurate and robust state estimation in SLAM tasks and provide great potential in real-time, onboard robotic applications. FAST-LIVO2 fuses the IMU, LiDAR and image measurements efficiently through an ESIKF. To address the dimension mismatch between the heterogeneous LiDAR and image measurements, we use a sequential update strategy in the Kalman filter. To enhance the efficiency, we use direct methods for both the visual and LiDAR fusion, where the LiDAR module registers raw points without extracting edge or plane features and the visual module minimizes direct photometric errors without extracting ORB or FAST corner features. The fusion of both visual and LiDAR measurements is based on a single unified voxel map where the LiDAR module constructs the geometric structure for registering new LiDAR scans and the visual module attaches image patches to the LiDAR points. To enhance the accuracy of image alignment, we use plane priors from the LiDAR points in the voxel map (and even refine the plane prior) and update the reference patch dynamically after new images are aligned. Furthermore, to enhance the robustness of image alignment, FAST-LIVO2 employs an on-demanding raycast operation and estimates the image exposure time in real time. Lastly, we detail three applications of FAST-LIVO2: UAV onboard navigation demonstrating the system's computation efficiency for real-time onboard navigation, airborne mapping showcasing the system's mapping accuracy, and 3D model rendering (mesh-based and NeRF-based) underscoring the suitability of our reconstructed dense map for subsequent rendering tasks. We open source our code, dataset and application on GitHub to benefit the robotics community.
- Abstract（参考訳）: 本稿では,SLAMタスクにおける高精度かつロバストな状態推定を実現するための,高速かつ直接的LiDAR-慣性・視覚的オドメトリーフレームワークであるFAST-LIVO2を提案する。
FAST-LIVO2はIMU、LiDAR、画像計測をESIKFで効率的に融合させる。
異種LiDARと画像計測の寸法ミスマッチに対処するために、カルマンフィルタの逐次更新戦略を用いる。
この効率を高めるために、視覚的およびLiDAR融合の直接手法を用いて、LiDARモジュールはエッジや平面の特徴を抽出せずに原点を登録し、視覚的モジュールはORBやFAST角の特徴を抽出することなく直接測光誤差を最小化する。
ビジュアルとLiDARの両方の測定の融合は単一の統一ボクセルマップに基づいており、LiDARモジュールは新しいLiDARスキャンを登録するための幾何学的構造を構築し、ビジュアルモジュールは画像パッチをLiDARポイントにアタッチする。
画像アライメントの精度を高めるために、ボクセルマップのLiDAR点からの平面先行値を使用し、新しい画像のアライメント後に参照パッチを動的に更新する。
さらに、画像アライメントの堅牢性を高めるため、FAST-LIVO2はオンデマンドのレイキャスト演算を採用し、リアルタイムに画像露出時間を推定する。
最後に、FAST-LIVO2の3つの応用について述べる。UAVオンボードナビゲーションは、リアルタイムオンボードナビゲーションにおけるシステムの計算効率を示すものであり、システムマッピングの精度を示す空中マッピングであり、3Dモデルレンダリング(メッシュベースおよびNeRFベース)は、その後のレンダリングタスクに対する再構成された高密度マップの適合性を示すものである。
私たちは、ロボティクスコミュニティに利益をもたらすために、コード、データセット、アプリケーションをGitHubでオープンソースにしています。
関連論文リスト
- LiVisSfM: Accurate and Robust Structure-from-Motion with LiDAR and Visual Cues [7.911698650147302]
LiVisSfMは、LiDARとビジュアルキューを完全に組み合わせたSfMベースの再構築システムである。
本稿では,LiDARのフレーム登録を革新的に行うLiDAR-visual SfM法を提案する。
論文 参考訳（メタデータ） (2024-10-29T16:41:56Z) - LiDAR-GS:Real-time LiDAR Re-Simulation using Gaussian Splatting [50.808933338389686]
LiDARシミュレーションは、自動運転におけるクローズドループシミュレーションにおいて重要な役割を果たす。
都市景観におけるLiDARセンサスキャンをリアルタイムに再現するために,最初のLiDARガウス法であるLiDAR-GSを提案する。
我々の手法は、深度、強度、レイドロップチャンネルを同時に再現することに成功し、公開可能な大規模シーンデータセットにおけるフレームレートと品質の両方のレンダリング結果を達成する。
論文 参考訳（メタデータ） (2024-10-07T15:07:56Z) - LiDAR-NeRF: Novel LiDAR View Synthesis via Neural Radiance Fields [112.62936571539232]
本稿では,LiDARセンサのための新しいビュー合成手法を提案する。
スタイルトランスファーニューラルネットワークを用いた従来のモデルベースLiDARシミュレータは、新しいビューのレンダリングに応用できる。
ニューラル放射場(NeRF)を用いて幾何学と3D点の属性の連成学習を容易にする。
論文 参考訳（メタデータ） (2023-04-20T15:44:37Z) - Real-Time Simultaneous Localization and Mapping with LiDAR intensity [9.374695605941627]
実時間LiDAR強調画像を用いた同時位置推定とマッピング手法を提案する。
提案手法は高精度でリアルタイムに動作可能であり,照度変化,低テクスチャ,非構造化環境でも有効である。
論文 参考訳（メタデータ） (2023-01-23T03:59:48Z) - Learning to Simulate Realistic LiDARs [66.7519667383175]
リアルLiDARセンサのデータ駆動シミュレーションのためのパイプラインを提案する。
本モデルでは, 透明表面上の落下点などの現実的な効果を符号化できることが示される。
我々は2つの異なるLiDARセンサのモデルを学習し、それに従ってシミュレーションされたLiDARデータを改善する。
論文 参考訳（メタデータ） (2022-09-22T13:12:54Z) - R$^3$LIVE++: A Robust, Real-time, Radiance reconstruction package with a
tightly-coupled LiDAR-Inertial-Visual state Estimator [5.972044427549262]
同時ローカライゼーションとマッピング(SLAM)は、自律ロボット(例えば、自動運転車、無人ドローン)、3Dマッピングシステム、AR/VRアプリケーションに不可欠である。
この研究は、R$3$LIVE++と呼ばれる新しいLiDAR-慣性-視覚融合フレームワークを提案した。
論文 参考訳（メタデータ） (2022-09-08T09:26:20Z) - Ret3D: Rethinking Object Relations for Efficient 3D Object Detection in
Driving Scenes [82.4186966781934]
Ret3Dと呼ばれるシンプルで効率的で効果的な2段階検出器を導入する。
Ret3Dの中核は、新しいフレーム内およびフレーム間関係モジュールの利用である。
無視できる余分なオーバーヘッドにより、Ret3Dは最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-08-18T03:48:58Z) - Efficient Spatial-Temporal Information Fusion for LiDAR-Based 3D Moving
Object Segmentation [23.666607237164186]
本稿では,LiDAR-MOSの性能向上のために,空間時空間情報とLiDARスキャンの異なる表現モダリティを併用した新しいディープニューラルネットワークを提案する。
具体的には、まず、空間情報と時間情報とを別々に扱うために、レンジ画像に基づくデュアルブランチ構造を用いる。
また、3次元スパース畳み込みによるポイントリファインメントモジュールを使用して、LiDAR範囲の画像とポイントクラウド表現の両方からの情報を融合する。
論文 参考訳（メタデータ） (2022-07-05T17:59:17Z) - Boosting 3D Object Detection by Simulating Multimodality on Point Clouds [51.87740119160152]
本稿では,LiDAR 画像検出器に追従する特徴や応答をシミュレートすることで,単一モダリティ (LiDAR) 3次元物体検出器を高速化する新しい手法を提案する。
このアプローチでは、単一モダリティ検出器をトレーニングする場合のみ、LiDARイメージデータを必要とし、十分にトレーニングされた場合には、推論時にのみLiDARデータが必要である。
nuScenesデータセットの実験結果から,本手法はSOTA LiDARのみの3D検出器よりも優れていることがわかった。
論文 参考訳（メタデータ） (2022-06-30T01:44:30Z) - End-To-End Optimization of LiDAR Beam Configuration for 3D Object
Detection and Localization [87.56144220508587]
与えられたアプリケーションに対するLiDARビーム構成の最適化を学ぶために、新しい経路を取る。
ビーム構成を自動的に最適化する強化学習に基づく学習最適化フレームワークを提案する。
本手法は低解像度(低コスト)のLiDARが必要な場合に特に有用である。
論文 参考訳（メタデータ） (2022-01-11T09:46:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。