論文の概要: SplaTAM: Splat, Track & Map 3D Gaussians for Dense RGB-D SLAM
- arxiv url: http://arxiv.org/abs/2312.02126v1
- Date: Mon, 4 Dec 2023 18:53:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 14:05:58.275140
- Title: SplaTAM: Splat, Track & Map 3D Gaussians for Dense RGB-D SLAM
- Title(参考訳): SplaTAM: Splat, Track & Map 3D Gaussians for Dense RGB-D SLAM
- Authors: Nikhil Keetha, Jay Karhade, Krishna Murthy Jatavallabhula, Gengshan
Yang, Sebastian Scherer, Deva Ramanan, Jonathon Luiten
- Abstract要約: 3Dガウシアンによるシーンの表現は、単一の単眼のRGB-Dカメラを用いて高密度SLAMを実現することができることを示す。
私たちはオンラインのトラッキングとマッピングのパイプラインを採用し、基礎となるガウス表現を特に使用するように調整しています。
実験により、SplaTAMは、カメラポーズ推定、マップ構築、ノベルビュー合成において、最先端の性能を最大2倍に向上することが示された。
- 参考スコア(独自算出の注目度): 50.60694084264132
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Dense simultaneous localization and mapping (SLAM) is pivotal for embodied
scene understanding. Recent work has shown that 3D Gaussians enable
high-quality reconstruction and real-time rendering of scenes using multiple
posed cameras. In this light, we show for the first time that representing a
scene by 3D Gaussians can enable dense SLAM using a single unposed monocular
RGB-D camera. Our method, SplaTAM, addresses the limitations of prior radiance
field-based representations, including fast rendering and optimization, the
ability to determine if areas have been previously mapped, and structured map
expansion by adding more Gaussians. We employ an online tracking and mapping
pipeline while tailoring it to specifically use an underlying Gaussian
representation and silhouette-guided optimization via differentiable rendering.
Extensive experiments show that SplaTAM achieves up to 2X state-of-the-art
performance in camera pose estimation, map construction, and novel-view
synthesis, demonstrating its superiority over existing approaches, while
allowing real-time rendering of a high-resolution dense 3D map.
- Abstract(参考訳): 濃密な同時局所化とマッピング(SLAM)は、シーン理解の具体化に重要である。
近年の研究では、3Dガウシアンが複数のカメラを用いて高画質の再現とリアルタイムレンダリングを可能にすることが示されている。
この光で、3Dガウシアンによるシーンの表現は、単一の単眼のRGB-Dカメラを用いて高密度SLAMを実現することができることを示す。
提案手法であるsplatamは,高速レンダリングや最適化,領域が以前にマッピングされたかどうかの判断,ガウス関数の追加による構造化マップ拡張などを含む,事前の輝度場に基づく表現の制限に対処する。
オンライントラッキングとマッピングのパイプラインを使用し、基礎となるガウス表現と、微分レンダリングによるシルエット誘導最適化を特に使用するように調整しています。
広汎な実験により、SplaTAMは、カメラポーズ推定、マップ構築、ノベルビュー合成において最大2倍の性能を達成し、既存のアプローチよりも優位性を示しながら、高解像度の高密度3Dマップのリアルタイムレンダリングを可能にした。
関連論文リスト
- VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。
提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
論文 参考訳(メタデータ) (2024-02-27T11:40:50Z) - pixelSplat: 3D Gaussian Splats from Image Pairs for Scalable
Generalizable 3D Reconstruction [29.192847542384712]
pixelSplatは、画像のペアから3次元ガウスプリミティブによってパラメータ化された3次元放射界の再構成を学ぶフィードフォワードモデルである。
我々のモデルは、スケーラブルなトレーニングのためのリアルタイム・メモリ効率のレンダリングと、推論時の高速な3次元再構成を特徴としている。
論文 参考訳(メタデータ) (2023-12-19T17:03:50Z) - Gaussian Splatting SLAM [17.90035087300551]
移動単眼カメラとRGB-Dカメラを用いて3次元ガウススプラッティングをインクリメンタルな3次元再構成に適用した。
3fpsでライブで動作するSLAM法は,ガウスを唯一の3次元表現として利用している。
論文 参考訳(メタデータ) (2023-12-11T18:19:04Z) - GIR: 3D Gaussian Inverse Rendering for Relightable Scene Factorization [76.52007427483396]
GIRは3次元ガウス逆レンダリング法である。
本手法は,多視点画像から物体の材料特性,照明,形状を推定するために3次元ガウス法を用いる。
論文 参考訳(メタデータ) (2023-12-08T16:05:15Z) - GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for
Real-time Human Novel View Synthesis [73.7634042008412]
我々は、文字の新たなビューをリアルタイムに合成するための新しいアプローチ、GPS-Gaussianを提案する。
提案手法は,スパースビューカメラ設定下での2K解像度のレンダリングを可能にする。
論文 参考訳(メタデータ) (2023-12-04T18:59:55Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳(メタデータ) (2023-11-30T17:58:57Z) - GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [54.56928482110888]
本稿では,まず3次元ガウス表現を同時局所化・マッピングシステムで利用するtextbfGS-SLAM$を紹介する。
提案手法では,地図の最適化とRGB-D再レンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。
提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文 参考訳(メタデータ) (2023-11-20T12:08:23Z) - ESLAM: Efficient Dense SLAM System Based on Hybrid Representation of
Signed Distance Fields [2.0625936401496237]
ESLAMは、未知のカメラポーズでRGB-Dフレームを読み出し、シーン表現を漸進的に再構築する。
ESLAMは3次元再構成の精度を向上し、最先端の高密度視覚SLAM法のカメラローカライゼーションを50%以上向上する。
論文 参考訳(メタデータ) (2022-11-21T18:25:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。