Fugu-MT 論文翻訳(概要): GSPR: Multimodal Place Recognition Using 3D Gaussian Splatting for Autonomous Driving

論文の概要: GSPR: Multimodal Place Recognition Using 3D Gaussian Splatting for Autonomous Driving

arxiv url: http://arxiv.org/abs/2410.00299v1
Date: Tue, 1 Oct 2024 00:43:45 GMT
ステータス: 処理完了
システム内更新日: 2024-11-05 06:26:14.767959
Title: GSPR: Multimodal Place Recognition Using 3D Gaussian Splatting for Autonomous Driving
Title（参考訳）: GSPR: 自動走行のための3次元ガウススプラッティングを用いたマルチモーダル位置認識
Authors: Zhangshuo Qi, Junyi Ma, Jingyi Xu, Zijie Zhou, Luqi Cheng, Guangming Xiong,
Abstract要約: マルチモーダル位置認識はユニセンサーシステムの弱点を克服する能力によって注目を集めています本稿では,GSPRと呼ばれる3次元ガウス型マルチモーダル位置認識ニューラルネットワークを提案する。
参考スコア（独自算出の注目度）: 9.023864430027333
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Place recognition is a crucial module to ensure autonomous vehicles obtain usable localization information in GPS-denied environments. In recent years, multimodal place recognition methods have gained increasing attention due to their ability to overcome the weaknesses of unimodal sensor systems by leveraging complementary information from different modalities. However, challenges arise from the necessity of harmonizing data across modalities and exploiting the spatio-temporal correlations between them sufficiently. In this paper, we propose a 3D Gaussian Splatting-based multimodal place recognition neural network dubbed GSPR. It explicitly combines multi-view RGB images and LiDAR point clouds into a spatio-temporally unified scene representation with the proposed Multimodal Gaussian Splatting. A network composed of 3D graph convolution and transformer is designed to extract high-level spatio-temporal features and global descriptors from the Gaussian scenes for place recognition. We evaluate our method on the nuScenes dataset, and the experimental results demonstrate that our method can effectively leverage complementary strengths of both multi-view cameras and LiDAR, achieving SOTA place recognition performance while maintaining solid generalization ability. Our open-source code is available at https://github.com/QiZS-BIT/GSPR.
Abstract（参考訳）: 位置認識は、自動運転車がGPSで識別された環境で使用可能な位置情報を確実に取得するための重要なモジュールである。近年,複数モーダル位置認識手法が注目されているのは,異なるモーダルからの相補的情報を活用することで,一様センサシステムの弱点を克服する能力のためである。しかし、モダリティ間でデータを調和させ、それらの間の時空間的相関を十分に活用する必要があるため、課題が生じる。本稿では,GSPRと呼ばれる3次元ガウススプラッティングに基づくマルチモーダル位置認識ニューラルネットワークを提案する。マルチビューRGB画像とLiDAR点雲を時空間的に統一されたシーン表現と、提案したマルチモーダルガウススプラッティングを明示的に組み合わせる。 3次元グラフ畳み込みと変換器で構成されるネットワークは、ガウスのシーンから高レベルな時空間的特徴とグローバルな記述子を抽出して位置認識を行うように設計されている。提案手法をnuScenesデータセット上で評価し,本手法が多視点カメラとLiDARの相補的強度を有効活用できることを実証した。私たちのオープンソースコードはhttps://github.com/QiZS-BIT/GSPRで公開されています。

関連論文リスト

PVAFN: Point-Voxel Attention Fusion Network with Multi-Pooling Enhancing for 3D Object Detection [59.355022416218624]
点とボクセルの表現の統合は、LiDARベースの3Dオブジェクト検出においてより一般的になりつつある。 PVAFN(Point-Voxel Attention Fusion Network)と呼ばれる新しい2段3次元物体検出器を提案する。 PVAFNはマルチプール戦略を使用して、マルチスケールとリージョン固有の情報を効果的に統合する。
論文参考訳（メタデータ） (2024-08-26T19:43:01Z)
MSSPlace: Multi-Sensor Place Recognition with Visual and Text Semantics [41.94295877935867]
マルチカメラのセットアップを活用し,マルチモーダル位置認識のための多様なデータソースを統合することの影響について検討する。提案手法は,複数のカメラ,LiDAR点雲,セマンティックセグメンテーションマスク,テキストアノテーションなどの画像を用いて,総合的な位置記述子を生成する。
論文参考訳（メタデータ） (2024-07-22T14:24:56Z)
OverlapMamba: Novel Shift State Space Model for LiDAR-based Place Recognition [10.39935021754015]
位置認識のための新しいネットワークであるOverlapMambaを開発した。本手法は,以前に訪れた場所を異なる方向から横断する場合でも,ループの閉鎖を効果的に検出する。生のレンジビューの入力に基づいて、典型的なLiDARと複数ビューの組み合わせ法を時間的複雑さと速度で上回っている。
論文参考訳（メタデータ） (2024-05-13T17:46:35Z)
Leveraging Neural Radiance Field in Descriptor Synthesis for Keypoints Scene Coordinate Regression [1.2974519529978974]
本稿では,Neural Radiance Field (NeRF) を用いたキーポイント記述子合成のためのパイプラインを提案する。新たなポーズを生成してトレーニングされたNeRFモデルに入力して新しいビューを生成することで、当社のアプローチは、データスカース環境でのKSCRの機能を強化します。提案システムは,最大50%のローカライズ精度向上を実現し,データ合成に要するコストをわずかに抑えることができた。
論文参考訳（メタデータ） (2024-03-15T13:40:37Z)
LCPR: A Multi-Scale Attention-Based LiDAR-Camera Fusion Network for Place Recognition [11.206532393178385]
本稿では,マルチモーダル位置認識のための新しいニューラルネットワークLCPRを提案する。位置認識性能を向上させるために,マルチビューカメラとLiDARデータを効果的に利用することができる。
論文参考訳（メタデータ） (2023-11-06T15:39:48Z)
UnLoc: A Universal Localization Method for Autonomous Vehicles using LiDAR, Radar and/or Camera Input [51.150605800173366]
UnLocは、全ての気象条件におけるマルチセンサー入力によるローカライズのための、新しい統一型ニューラルネットワークアプローチである。本手法は,Oxford Radar RobotCar,Apollo SouthBay,Perth-WAの各データセットで広く評価されている。
論文参考訳（メタデータ） (2023-07-03T04:10:55Z)
Unleash the Potential of Image Branch for Cross-modal 3D Object Detection [67.94357336206136]
画像分岐のポテンシャルを2つの側面から解き放つことを目的として,新しい3Dオブジェクト検出器UPIDetを提案する。まず、UPIDetは正規化された局所座標写像推定と呼ばれる新しい2次元補助タスクを導入する。第2に,イメージブランチのトレーニング目標から逆転する勾配によって,ポイントクラウドバックボーンの表現能力を向上できることを見出した。
論文参考訳（メタデータ） (2023-01-22T08:26:58Z)
Progressive Coordinate Transforms for Monocular 3D Object Detection [52.00071336733109]
本稿では,学習座標表現を容易にするために,PCT(Em Progressive Coordinate Transforms)と呼ばれる,新しい軽量なアプローチを提案する。本稿では,学習座標表現を容易にするために,PCT(Em Progressive Coordinate Transforms)と呼ばれる,新しい軽量なアプローチを提案する。
論文参考訳（メタデータ） (2021-08-12T15:22:33Z)
Searching Multi-Rate and Multi-Modal Temporal Enhanced Networks for Gesture Recognition [89.0152015268929]
RGB-Dジェスチャ認識のための最初のニューラルアーキテクチャサーチ(NAS)手法を提案する。提案手法は,1)3次元中央差分畳畳み込み(3D-CDC)ファミリーによる時間的表現の強化,および多モードレート分岐と横方向接続のための最適化されたバックボーンを含む。結果として得られたマルチレートネットワークは、RGBと深さ変調と時間力学の関係を理解するための新しい視点を提供する。
論文参考訳（メタデータ） (2020-08-21T10:45:09Z)
Spatial-Spectral Residual Network for Hyperspectral Image Super-Resolution [82.1739023587565]
ハイパースペクトル画像超解像のための新しいスペクトル空間残差ネットワーク(SSRNet)を提案する。提案手法は,2次元畳み込みではなく3次元畳み込みを用いて空間スペクトル情報の探索を効果的に行うことができる。各ユニットでは空間的・時間的分離可能な3次元畳み込みを用いて空間的・スペクトル的な情報を抽出する。
論文参考訳（メタデータ） (2020-01-14T03:34:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。