論文の概要: Gaussian Splatting SLAM
- arxiv url: http://arxiv.org/abs/2312.06741v1
- Date: Mon, 11 Dec 2023 18:19:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-13 18:21:47.414510
- Title: Gaussian Splatting SLAM
- Title(参考訳): ガウス散乱SLAM
- Authors: Hidenobu Matsuki, Riku Murai, Paul H.J. Kelly, Andrew J. Davison
- Abstract要約: 移動単眼カメラとRGB-Dカメラを用いて3次元ガウススプラッティングをインクリメンタルな3次元再構成に適用した。
3fpsでライブで動作するSLAM法は,ガウスを唯一の3次元表現として利用している。
- 参考スコア(独自算出の注目度): 17.90035087300551
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present the first application of 3D Gaussian Splatting to incremental 3D
reconstruction using a single moving monocular or RGB-D camera. Our
Simultaneous Localisation and Mapping (SLAM) method, which runs live at 3fps,
utilises Gaussians as the only 3D representation, unifying the required
representation for accurate, efficient tracking, mapping, and high-quality
rendering. Several innovations are required to continuously reconstruct 3D
scenes with high fidelity from a live camera. First, to move beyond the
original 3DGS algorithm, which requires accurate poses from an offline
Structure from Motion (SfM) system, we formulate camera tracking for 3DGS using
direct optimisation against the 3D Gaussians, and show that this enables fast
and robust tracking with a wide basin of convergence. Second, by utilising the
explicit nature of the Gaussians, we introduce geometric verification and
regularisation to handle the ambiguities occurring in incremental 3D dense
reconstruction. Finally, we introduce a full SLAM system which not only
achieves state-of-the-art results in novel view synthesis and trajectory
estimation, but also reconstruction of tiny and even transparent objects.
- Abstract(参考訳): 移動単眼カメラとRGB-Dカメラを用いて3次元ガウススプラッティングをインクリメンタルな3次元再構成に適用した。
3fpsで動作する同時ローカライズ・マッピング(slam)法は,gaussianを唯一の3d表現として活用し,正確な,効率的なトラッキング,マッピング,高品質レンダリングのために必要な表現を統合する。
ライブカメラから高い忠実度で3dシーンを連続的に再構築するには、いくつかの革新が必要となる。
まず、オフラインのStructure from Motion (SfM)システムから正確なポーズを必要とする元の3DGSアルゴリズムを超えて、3Dガウスに対する直接最適化を用いて3DGSのカメラトラッキングを定式化し、より広範囲の収束で高速で堅牢なトラッキングを可能にすることを示す。
第二に,ガウスの明示的な性質を活かし,漸進的3次元濃密な再構築において生じる曖昧さに対処するために幾何学的検証と正規化を導入する。
最後に,新しい視点合成と軌道推定により最先端の成果を得られるだけでなく,小型で透明な物体の再構築も行うフルスラムシステムを提案する。
関連論文リスト
- SemGauss-SLAM: Dense Semantic Gaussian Splatting SLAM [15.155778039729292]
本稿では,高精度な3次元セマンティックマッピング,ロバストなカメラトラッキング,高品質なリアルタイムレンダリングを実現するSemGauss-SLAMを提案する。
セマンティックな特徴を3次元ガウス表現に組み込んで,環境の空間的レイアウト内で意味情報を効果的にエンコードする。
我々のSemGauss-SLAM法は、ReplicaおよびScanNetデータセットのマッピングと追跡精度の観点から、既存の高密度なセマンティックSLAM法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2024-03-12T10:33:26Z) - GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。
本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。
提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
論文 参考訳(メタデータ) (2024-02-22T16:00:20Z) - GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for
Real-time Human Novel View Synthesis [73.7634042008412]
我々は、文字の新たなビューをリアルタイムに合成するための新しいアプローチ、GPS-Gaussianを提案する。
提案手法は,スパースビューカメラ設定下での2K解像度のレンダリングを可能にする。
論文 参考訳(メタデータ) (2023-12-04T18:59:55Z) - SplaTAM: Splat, Track & Map 3D Gaussians for Dense RGB-D SLAM [50.60694084264132]
3Dガウシアンによるシーンの表現は、単一の単眼のRGB-Dカメラを用いて高密度SLAMを実現することができることを示す。
私たちはオンラインのトラッキングとマッピングのパイプラインを採用し、基礎となるガウス表現を特に使用するように調整しています。
実験により、SplaTAMは、カメラポーズ推定、マップ構築、ノベルビュー合成において、最先端の性能を最大2倍に向上することが示された。
論文 参考訳(メタデータ) (2023-12-04T18:53:24Z) - GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [54.56928482110888]
本稿では,まず3次元ガウス表現を同時局所化・マッピングシステムで利用するtextbfGS-SLAM$を紹介する。
提案手法では,地図の最適化とRGB-D再レンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。
提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文 参考訳(メタデータ) (2023-11-20T12:08:23Z) - GO-SLAM: Global Optimization for Consistent 3D Instant Reconstruction [45.49960166785063]
GO-SLAMは、リアルタイムでポーズと3D再構成をグローバルに最適化するディープラーニングベースの高密度ビジュアルSLAMフレームワークである。
さまざまな合成および実世界のデータセットの結果から、GO-SLAMはロバスト性や復元精度の追跡において最先端のアプローチよりも優れていることが示されている。
論文 参考訳(メタデータ) (2023-09-05T17:59:58Z) - NICER-SLAM: Neural Implicit Scene Encoding for RGB SLAM [111.83168930989503]
NICER-SLAMは、カメラポーズと階層的なニューラル暗黙マップ表現を同時に最適化するRGB SLAMシステムである。
近年のRGB-D SLAMシステムと競合する高密度マッピング,追跡,新しいビュー合成において,高い性能を示す。
論文 参考訳(メタデータ) (2023-02-07T17:06:34Z) - Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled
Representation [57.11299763566534]
空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。
我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。
アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
論文 参考訳(メタデータ) (2020-04-05T12:52:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。