論文の概要: The Oxford Spires Dataset: Benchmarking Large-Scale LiDAR-Visual Localisation, Reconstruction and Radiance Field Methods
- arxiv url: http://arxiv.org/abs/2411.10546v1
- Date: Fri, 15 Nov 2024 19:43:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-19 14:27:34.485332
- Title: The Oxford Spires Dataset: Benchmarking Large-Scale LiDAR-Visual Localisation, Reconstruction and Radiance Field Methods
- Title（参考訳）: Oxford Spires Dataset:大規模LiDAR-Visual Localization, Restruction and Radiance Field Methodsのベンチマーク
- Authors: Yifu Tao, Miguel Ángel Muñoz-Bañón, Lintong Zhang, Jiahao Wang, Lanke Frank Tarimo Fu, Maurice Fallon,
- Abstract要約: 本稿では,オックスフォードの有名なランドマーク周辺で収集された大規模マルチモーダルデータセットを紹介する。
また、ローカライゼーション、再構築、新規ビュー合成を含むタスクのベンチマークも作成する。
我々のデータセットとベンチマークは、放射場法とSLAMシステムのより良い統合を容易にすることを意図している。
- 参考スコア（独自算出の注目度）: 10.265865092323041
- License:
- Abstract: This paper introduces a large-scale multi-modal dataset captured in and around well-known landmarks in Oxford using a custom-built multi-sensor perception unit as well as a millimetre-accurate map from a Terrestrial LiDAR Scanner (TLS). The perception unit includes three synchronised global shutter colour cameras, an automotive 3D LiDAR scanner, and an inertial sensor - all precisely calibrated. We also establish benchmarks for tasks involving localisation, reconstruction, and novel-view synthesis, which enable the evaluation of Simultaneous Localisation and Mapping (SLAM) methods, Structure-from-Motion (SfM) and Multi-view Stereo (MVS) methods as well as radiance field methods such as Neural Radiance Fields (NeRF) and 3D Gaussian Splatting. To evaluate 3D reconstruction the TLS 3D models are used as ground truth. Localisation ground truth is computed by registering the mobile LiDAR scans to the TLS 3D models. Radiance field methods are evaluated not only with poses sampled from the input trajectory, but also from viewpoints that are from trajectories which are distant from the training poses. Our evaluation demonstrates a key limitation of state-of-the-art radiance field methods: we show that they tend to overfit to the training poses/images and do not generalise well to out-of-sequence poses. They also underperform in 3D reconstruction compared to MVS systems using the same visual inputs. Our dataset and benchmarks are intended to facilitate better integration of radiance field methods and SLAM systems. The raw and processed data, along with software for parsing and evaluation, can be accessed at https://dynamic.robots.ox.ac.uk/datasets/oxford-spires/.
- Abstract（参考訳）: 本稿では,オックスフォードの有名なランドマーク周辺で収集された大規模マルチモーダルデータセットを,カスタムビルドされたマルチセンサ認識ユニットと,地上LiDARスキャナ(TLS)からのミリメートル精度マップを用いて紹介する。
認識ユニットには、同期した3つのグローバルシャッターカラーカメラ、自動車用3DLiDARスキャナー、慣性センサーが含まれており、全て正確に校正されている。
また, 局所化, 再構成, 新規ビュー合成を含むタスクのベンチマークを作成し, 同時局所化・マッピング (SLAM) 法, 構造移動 (SfM) 法, マルチビューステレオ (MVS) 法, ニューラルレイジアンスフィールド (NeRF) や3次元ガウススメッティング (3D Gaussian Splatting) 法の評価を行う。
3次元再構成を評価するために、TLS 3Dモデルを基礎的真理として利用する。
局所化基底真理は、移動体LiDARスキャンをTLS 3Dモデルに登録することで計算される。
距離場法は、入力軌跡からサンプリングされたポーズだけでなく、訓練ポーズから離れた軌道からの視点からも評価される。
提案手法は,トレーニングのポーズ/イメージに過度に適合する傾向があり,シーケンス外のポーズには適さないことを示す。
また、同じ視覚入力を用いたMSVシステムと比較して、3次元再構成では性能が劣る。
我々のデータセットとベンチマークは、放射場法とSLAMシステムのより良い統合を容易にすることを意図している。
生のデータと処理されたデータは、解析と評価のためのソフトウェアとともに、https://dynamic.robots.ox.ac.uk/datasets/oxford-spires/でアクセスできる。
関連論文リスト
- VFMM3D: Releasing the Potential of Image by Vision Foundation Model for Monocular 3D Object Detection [80.62052650370416]
モノクル3Dオブジェクト検出は、自律運転やロボティクスなど、さまざまなアプリケーションにおいて重要な役割を担っている。
本稿では,VFMM3Dを提案する。VFMM3Dは,ビジョンファウンデーションモデル(VFM)の機能を利用して,単一ビュー画像を正確にLiDARポイントクラウド表現に変換する,革新的なフレームワークである。
論文 参考訳（メタデータ） (2024-04-15T03:12:12Z) - MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。
我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。
また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
論文 参考訳（メタデータ） (2024-04-01T04:57:41Z) - Neural Rendering based Urban Scene Reconstruction for Autonomous Driving [8.007494499012624]
ニューラルな暗黙表面と放射場を組み合わせたフレームワークを用いたマルチモーダル3次元シーン再構成を提案する。
Dense 3Dリコンストラクションは、自動アノテーションバリデーションを含む自動走行に多くの応用がある。
我々は,挑戦的な自動車シーンの質的,定量的な結果を示す。
論文 参考訳（メタデータ） (2024-02-09T23:20:23Z) - UnLoc: A Universal Localization Method for Autonomous Vehicles using
LiDAR, Radar and/or Camera Input [51.150605800173366]
UnLocは、全ての気象条件におけるマルチセンサー入力によるローカライズのための、新しい統一型ニューラルネットワークアプローチである。
本手法は,Oxford Radar RobotCar,Apollo SouthBay,Perth-WAの各データセットで広く評価されている。
論文 参考訳（メタデータ） (2023-07-03T04:10:55Z) - Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object
Detection [58.81316192862618]
自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。
これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。
我々は、最先端の核融合法を初めてベンチマークした。
論文 参考訳（メタデータ） (2022-05-30T09:35:37Z) - Dense Voxel Fusion for 3D Object Detection [10.717415797194896]
ボクセル融合 (Voxel Fusion, DVF) は, 多スケール密度ボクセル特徴表現を生成する逐次融合法である。
地上の真理2Dバウンディングボックスラベルを直接トレーニングし、ノイズの多い検出器固有の2D予測を避けます。
提案したマルチモーダルトレーニング戦略は, 誤った2次元予測を用いたトレーニングに比べ, より一般化できることを示す。
論文 参考訳（メタデータ） (2022-03-02T04:51:31Z) - MonoDistill: Learning Spatial Features for Monocular 3D Object Detection [80.74622486604886]
本稿では,LiDAR信号からの空間情報を単分子3D検出器に導入するための簡易かつ効果的な手法を提案する。
得られたデータを用いて、ベースラインモデルと同じアーキテクチャで3D検出器をトレーニングする。
実験の結果,提案手法はベースラインモデルの性能を大幅に向上させることができることがわかった。
論文 参考訳（メタデータ） (2022-01-26T09:21:41Z) - High-level camera-LiDAR fusion for 3D object detection with machine
learning [0.0]
本稿では,自律運転などの応用において重要な3次元物体検出問題に取り組む。
モノクロカメラとLiDARデータを組み合わせた機械学習パイプラインを使用して、動くプラットフォームの周囲の3D空間内の車両を検出する。
本結果は,検証セットに対して効率よく精度の高い推定を行い,全体の精度は87.1%となった。
論文 参考訳（メタデータ） (2021-05-24T01:57:34Z) - It's All Around You: Range-Guided Cylindrical Network for 3D Object
Detection [4.518012967046983]
本研究は,360度深度スキャナーによって生成された3次元データを解析するための新しい手法を提案する。
距離誘導畳み込みの概念を導入し,エゴ車と物体のスケールからの距離で受容場を適応させる。
我々のネットワークは、現在の最先端アーキテクチャに匹敵するnuScenesチャレンジにおいて、強力な結果を示す。
論文 参考訳（メタデータ） (2020-12-05T21:02:18Z) - Characterization of Multiple 3D LiDARs for Localization and Mapping
using Normal Distributions Transform [54.46473014276162]
マッピングや車両のローカライゼーションのタスクにおいて,多種多様なメーカー,モデル,レーザー構成を含む10種類の3次元LiDARセンサの詳細な比較を行った。
この研究で使用されるデータは、我々のLiDAR Benchmarking and Reference(LIBRE)データセットのサブセットであり、各センサーから独立して、各日の異なる時間に、公道で何度も運転される車両から取得される。
我々は,(1)平均地図エントロピーに基づく評価マップの品質を含む3次元地図作成作業における各LiDARの性能と特性を解析し,(2)地上の真理参照マップを用いて6-DOFのローカライゼーションを行う。
論文 参考訳（メタデータ） (2020-04-03T05:05:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。