論文の概要: GS-LIVO: Real-Time LiDAR, Inertial, and Visual Multi-sensor Fused Odometry with Gaussian Mapping

• arxiv url: http://arxiv.org/abs/2501.08672v1
• Date: Wed, 15 Jan 2025 09:04:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-16 15:51:47.003249
• Title: GS-LIVO: Real-Time LiDAR, Inertial, and Visual Multi-sensor Fused Odometry with Gaussian Mapping
• Title（参考訳）: GS-LIVO:ガウスマッピングを用いたリアルタイムLiDAR, 慣性, および視覚的マルチセンサ融合オドメトリー
• Authors: Sheng Hong, Chunran Zheng, Yishu Shen, Changze Li, Fu Zhang, Tong Qin, Shaojie Shen,
• Abstract要約: LiDAR-Inertial-Visual (LIV) センサの構成は、ローカライゼーションと高密度マッピングにおいて優れた性能を示している。 本稿では,新しいリアルタイムガウス型同時ローカライズ・マッピングシステムを提案する。 このフレームワークは、堅牢なマルチセンサー融合機能を維持しながら、リアルタイムのパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 22.432252084121274
• License:
• Abstract: In recent years, 3D Gaussian splatting (3D-GS) has emerged as a novel scene representation approach. However, existing vision-only 3D-GS methods often rely on hand-crafted heuristics for point-cloud densification and face challenges in handling occlusions and high GPU memory and computation consumption. LiDAR-Inertial-Visual (LIV) sensor configuration has demonstrated superior performance in localization and dense mapping by leveraging complementary sensing characteristics: rich texture information from cameras, precise geometric measurements from LiDAR, and high-frequency motion data from IMU. Inspired by this, we propose a novel real-time Gaussian-based simultaneous localization and mapping (SLAM) system. Our map system comprises a global Gaussian map and a sliding window of Gaussians, along with an IESKF-based odometry. The global Gaussian map consists of hash-indexed voxels organized in a recursive octree, effectively covering sparse spatial volumes while adapting to different levels of detail and scales. The Gaussian map is initialized through multi-sensor fusion and optimized with photometric gradients. Our system incrementally maintains a sliding window of Gaussians, significantly reducing GPU computation and memory consumption by only optimizing the map within the sliding window. Moreover, we implement a tightly coupled multi-sensor fusion odometry with an iterative error state Kalman filter (IESKF), leveraging real-time updating and rendering of the Gaussian map. Our system represents the first real-time Gaussian-based SLAM framework deployable on resource-constrained embedded systems, demonstrated on the NVIDIA Jetson Orin NX platform. The framework achieves real-time performance while maintaining robust multi-sensor fusion capabilities. All implementation algorithms, hardware designs, and CAD models will be publicly available.
• Abstract（参考訳）: 近年,3次元ガウススプラッティング(3D-GS)が新たなシーン表現手法として登場している。 しかし、既存のビジョンのみの3D-GS法は、しばしば、ポイントクラウドの密度化や、オクルージョンや高GPUメモリ、計算消費を扱う際の課題に直面した手作りのヒューリスティックに頼っている。 LiDAR-Inertial-Visual (LIV) センサの構成は、カメラからのリッチテクスチャ情報、LiDARからの精密幾何計測、IMUからの高周波モーションデータなど、相補的なセンシング特性を活用することにより、ローカライゼーションと密集マッピングにおいて優れた性能を示した。 そこで本研究では,新しいリアルタイムガウス型同時ローカライゼーション・マッピングシステムを提案する。 我々の地図システムは、グローバルガウス地図とガウスのスライド窓と、IESKFを用いたオドメトリーで構成されている。 グローバルガウス写像は、再帰的なオクツリーで整理されたハッシュインデックス付きボクセルで構成され、細かな空間体積を効果的にカバーし、詳細とスケールの異なるレベルに適応する。 ガウス写像は多重センサ融合によって初期化され、光度勾配で最適化される。 本システムはガウスのスライディングウインドウを漸進的に維持し,スライディングウインドウ内のマップを最適化するだけでGPU計算とメモリ消費を大幅に削減する。 さらに,ガウス写像のリアルタイム更新とレンダリングを活用し,反復誤差状態カルマンフィルタ(IESKF)と密結合したマルチセンサ融合オドメトリーを実装した。 我々のシステムは、NVIDIA Jetson Orin NXプラットフォーム上で実証されたリソース制約の組込みシステムにデプロイ可能な、ガウシアンベースのSLAMフレームワークとして初めてのリアルタイムである。 このフレームワークは、堅牢なマルチセンサー融合機能を維持しながら、リアルタイムのパフォーマンスを実現する。 実装アルゴリズム、ハードウェア設計、CADモデルは、すべて公開されます。

関連論文リスト

• GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views [67.34073368933814]
  スパースビューカメラ設定下での高解像度画像レンダリングのための一般化可能なガウススプラッティング手法を提案する。 我々は,人間のみのデータや人景データに基づいてガウスパラメータ回帰モジュールをトレーニングし,深度推定モジュールと共同で2次元パラメータマップを3次元空間に引き上げる。 いくつかのデータセットに対する実験により、我々の手法はレンダリング速度を超越しながら最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-18T08:18:44Z)
• IG-SLAM: Instant Gaussian SLAM [6.228980850646457]
  3D Gaussian SplattingはSLAMシステムにおける代替シーン表現として期待できる結果を示した。 本稿では,RGBのみの高密度SLAMシステムであるIG-SLAMについて述べる。 我々は、最先端のRGBのみのSLAMシステムと競合する性能を示し、高速な動作速度を実現する。
  論文  参考訳（メタデータ） (2024-08-02T09:07:31Z)
• Splat-SLAM: Globally Optimized RGB-only SLAM with 3D Gaussians [87.48403838439391]
  3D Splattingは、RGBのみの高密度SLAMの幾何学と外観の強力な表現として登場した。 本稿では,高密度な3次元ガウス写像表現を持つRGBのみのSLAMシステムを提案する。 Replica、TUM-RGBD、ScanNetのデータセットに対する実験は、グローバルに最適化された3Dガウスの有効性を示している。
  論文  参考訳（メタデータ） (2024-05-26T12:26:54Z)
• MGS-SLAM: Monocular Sparse Tracking and Gaussian Mapping with Depth Smooth Regularization [29.713650915551632]
  本稿では,ガウススプラッティングに基づく濃密な視覚的局所化とマッピングのための新しいフレームワークを紹介する。 疎視度追跡と3次元ガウススプラッティングのシーン表現を初めて共同で最適化する。 ポーズ推定の精度は既存の手法や最先端の手法を超越している。
  論文  参考訳（メタデータ） (2024-05-10T04:42:21Z)
• MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
  カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。 我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。 また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
  論文  参考訳（メタデータ） (2024-04-01T04:57:41Z)
• CG-SLAM: Efficient Dense RGB-D SLAM in a Consistent Uncertainty-aware 3D Gaussian Field [46.8198987091734]
  本稿では,新しい不確実性を考慮した3次元ガウス場に基づく高密度RGB-D SLAMシステム,すなわちCG-SLAMを提案する。 各種データセットの実験により、CG-SLAMは、最大15Hzの追従速度で優れた追従性能とマッピング性能を達成することが示された。
  論文  参考訳（メタデータ） (2024-03-24T11:19:59Z)
• 3DGS-ReLoc: 3D Gaussian Splatting for Map Representation and Visual ReLocalization [13.868258945395326]
  本稿では,3次元ガウススプラッティングを用いた3次元マッピングと視覚的再局在のための新しいシステムを提案する。 提案手法は、LiDARとカメラデータを用いて、環境の正確な視覚的表現を生成する。
  論文  参考訳（メタデータ） (2024-03-17T23:06:12Z)
• Compact 3D Gaussian Splatting For Dense Visual SLAM [32.37035997240123]
  本稿では,ガウス楕円体の数とパラメータサイズを削減できるコンパクトな3次元ガウス格子SLAMシステムを提案する。 余剰楕円体を減らすために、スライドウィンドウベースのマスキング戦略が最初に提案されている。 本手法は,シーン表現の最先端(SOTA)品質を維持しつつ,高速なトレーニングとレンダリングの高速化を実現する。
  論文  参考訳（メタデータ） (2024-03-17T15:41:35Z)
• GIR: 3D Gaussian Inverse Rendering for Relightable Scene Factorization [62.13932669494098]
  本稿では,3次元ガウス表現を用いた3次元ガウス逆レンダリング(GIR)手法を提案する。 最短固有ベクトルを用いて各3次元ガウスの正規性を計算する。 我々は3次元ガウシアン毎に方向対応の放射光を格納し、多重バウンス光輸送を近似するために二次照明をアンタングルするために、効率的なボクセルベースの間接照明追跡方式を採用する。
  論文  参考訳（メタデータ） (2023-12-08T16:05:15Z)
• GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for Real-time Human Novel View Synthesis [70.24111297192057]
  我々は、文字の新たなビューをリアルタイムに合成するための新しいアプローチ、GPS-Gaussianを提案する。 提案手法は,スパースビューカメラ設定下での2K解像度のレンダリングを可能にする。
  論文  参考訳（メタデータ） (2023-12-04T18:59:55Z)
• GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
  我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。 提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。 提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
  論文  参考訳（メタデータ） (2023-11-20T12:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。