論文の概要: Visual SLAM with 3D Gaussian Primitives and Depth Priors Enabling Novel View Synthesis

• arxiv url: http://arxiv.org/abs/2408.05635v2
• Date: Wed, 21 Aug 2024 05:24:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-22 21:36:42.804054
• Title: Visual SLAM with 3D Gaussian Primitives and Depth Priors Enabling Novel View Synthesis
• Title（参考訳）: 3次元ガウスプリミティブを用いた視覚SLAMと新しいビュー合成の先駆け
• Authors: Zhongche Qu, Zhi Zhang, Cong Liu, Jianhua Yin,
• Abstract要約: 従来の幾何学に基づくSLAMシステムは、密度の高い3D再構成機能を持たない。 本稿では,新しいビュー合成技術である3次元ガウススプラッティングを組み込んだリアルタイムRGB-D SLAMシステムを提案する。
• 参考スコア（独自算出の注目度）: 11.236094544193605
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conventional geometry-based SLAM systems lack dense 3D reconstruction capabilities since their data association usually relies on feature correspondences. Additionally, learning-based SLAM systems often fall short in terms of real-time performance and accuracy. Balancing real-time performance with dense 3D reconstruction capabilities is a challenging problem. In this paper, we propose a real-time RGB-D SLAM system that incorporates a novel view synthesis technique, 3D Gaussian Splatting, for 3D scene representation and pose estimation. This technique leverages the real-time rendering performance of 3D Gaussian Splatting with rasterization and allows for differentiable optimization in real time through CUDA implementation. We also enable mesh reconstruction from 3D Gaussians for explicit dense 3D reconstruction. To estimate accurate camera poses, we utilize a rotation-translation decoupled strategy with inverse optimization. This involves iteratively updating both in several iterations through gradient-based optimization. This process includes differentiably rendering RGB, depth, and silhouette maps and updating the camera parameters to minimize a combined loss of photometric loss, depth geometry loss, and visibility loss, given the existing 3D Gaussian map. However, 3D Gaussian Splatting (3DGS) struggles to accurately represent surfaces due to the multi-view inconsistency of 3D Gaussians, which can lead to reduced accuracy in both camera pose estimation and scene reconstruction. To address this, we utilize depth priors as additional regularization to enforce geometric constraints, thereby improving the accuracy of both pose estimation and 3D reconstruction. We also provide extensive experimental results on public benchmark datasets to demonstrate the effectiveness of our proposed methods in terms of pose accuracy, geometric accuracy, and rendering performance.
• Abstract（参考訳）: 従来の幾何学に基づくSLAMシステムは、データアソシエーションが通常特徴対応に依存するため、密度の高い3D再構成機能を持たない。 さらに、学習ベースのSLAMシステムは、リアルタイムのパフォーマンスと精度の点で不足することが多い。 リアルタイムパフォーマンスと高密度な3D再構成能力のバランスをとることは、難しい問題である。 本稿では,3次元シーン表現とポーズ推定のための3次元ガウススプラッティングという,新しいビュー合成手法を組み込んだリアルタイムRGB-D SLAMシステムを提案する。 この手法は3次元ガウス平板のリアルタイムレンダリング性能をラスタ化に生かし、CUDA実装によりリアルタイムに微分可能な最適化を可能にする。 また,3次元ガウシアンからのメッシュ再構成も可能で,高密度3次元再構成が可能となる。 正確なカメラポーズを推定するために,逆最適化を用いた回転変換デカップリング方式を用いる。 これは、グラデーションベースの最適化を通じて、複数のイテレーションで両方を反復的に更新することを含む。 このプロセスにはRGB、深度、シルエットマップの異なるレンダリングとカメラパラメータの更新が含まれており、既存の3Dガウス地図を考えると、測光損失、深度幾何損失、視認性損失の合計が最小になる。 しかし、3Dガウススティング(3DGS)は3Dガウスの多視点不整合のため表面の正確な表現に苦慮しており、カメラポーズ推定とシーン再構成の両方において精度が低下する可能性がある。 これを解決するために,奥行き先を付加正規化として利用して幾何的制約を強制し,ポーズ推定と3次元再構成の精度を向上する。 また,提案手法の有効性を,ポーズ精度,幾何学的精度,レンダリング性能の観点から検証した。

関連論文リスト

• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
  本稿では,現在のアプローチよりも優れた空間感性プルーニングスコアを提案する。 また,事前学習した任意の3D-GSモデルに適用可能なマルチラウンドプルーファインパイプラインを提案する。 我々のパイプラインは、3D-GSの平均レンダリング速度を2.65$times$で増加させ、より健全なフォアグラウンド情報を保持します。
  論文  参考訳（メタデータ） (2024-06-14T17:53:55Z)
• Splat-SLAM: Globally Optimized RGB-only SLAM with 3D Gaussians [87.48403838439391]
  3D Splattingは、RGBのみの高密度SLAMの幾何学と外観の強力な表現として登場した。 本稿では,高密度な3次元ガウス写像表現を持つRGBのみのSLAMシステムを提案する。 Replica、TUM-RGBD、ScanNetのデータセットに対する実験は、グローバルに最適化された3Dガウスの有効性を示している。
  論文  参考訳（メタデータ） (2024-05-26T12:26:54Z)
• MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
  カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。 我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。 また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
  論文  参考訳（メタデータ） (2024-04-01T04:57:41Z)
• 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
  3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。 多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。 競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T17:21:24Z)
• Compact 3D Gaussian Splatting For Dense Visual SLAM [32.37035997240123]
  本稿では,ガウス楕円体の数とパラメータサイズを削減できるコンパクトな3次元ガウス格子SLAMシステムを提案する。 余剰楕円体を減らすために、スライドウィンドウベースのマスキング戦略が最初に提案されている。 本手法は,シーン表現の最先端(SOTA)品質を維持しつつ,高速なトレーニングとレンダリングの高速化を実現する。
  論文  参考訳（メタデータ） (2024-03-17T15:41:35Z)
• Gaussian Splatting SLAM [16.3858380078553]
  単分子SLAMにおける3次元ガウス散乱の最初の応用について述べる。 我々の方法は3fpsで動作し、正確な追跡、マッピング、高品質なレンダリングに必要な表現を統一する。 ライブカメラから高忠実度で連続的に3Dシーンを再構築するためには、いくつかの革新が必要である。
  論文  参考訳（メタデータ） (2023-12-11T18:19:04Z)
• GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
  我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。 提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。 提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
  論文  参考訳（メタデータ） (2023-11-20T12:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。