論文の概要: RTG-SLAM: Real-time 3D Reconstruction at Scale using Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2404.19706v2
- Date: Wed, 1 May 2024 15:25:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-02 10:59:25.959012
- Title: RTG-SLAM: Real-time 3D Reconstruction at Scale using Gaussian Splatting
- Title(参考訳): RTG-SLAM:Gaussian Splatting を用いたリアルタイム3次元再構成
- Authors: Zhexi Peng, Tianjia Shao, Yong Liu, Jingke Zhou, Yin Yang, Jingdong Wang, Kun Zhou,
- Abstract要約: ガウススプラッティングを用いた大規模環境のためのRGBDカメラを用いたリアルタイム3D再構成システムを提案する。
それぞれのガウス語は不透明かほぼ透明で、不透明なものは表面色と支配的な色に、透明なものは残留色に適合する。
様々な大きなシーンをリアルタイムに再現し、新しいビュー合成とカメラトラッキングの精度のリアリズムにおいて優れた性能を示す。
- 参考スコア(独自算出の注目度): 51.51310922527121
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present Real-time Gaussian SLAM (RTG-SLAM), a real-time 3D reconstruction system with an RGBD camera for large-scale environments using Gaussian splatting. The system features a compact Gaussian representation and a highly efficient on-the-fly Gaussian optimization scheme. We force each Gaussian to be either opaque or nearly transparent, with the opaque ones fitting the surface and dominant colors, and transparent ones fitting residual colors. By rendering depth in a different way from color rendering, we let a single opaque Gaussian well fit a local surface region without the need of multiple overlapping Gaussians, hence largely reducing the memory and computation cost. For on-the-fly Gaussian optimization, we explicitly add Gaussians for three types of pixels per frame: newly observed, with large color errors, and with large depth errors. We also categorize all Gaussians into stable and unstable ones, where the stable Gaussians are expected to well fit previously observed RGBD images and otherwise unstable. We only optimize the unstable Gaussians and only render the pixels occupied by unstable Gaussians. In this way, both the number of Gaussians to be optimized and pixels to be rendered are largely reduced, and the optimization can be done in real time. We show real-time reconstructions of a variety of large scenes. Compared with the state-of-the-art NeRF-based RGBD SLAM, our system achieves comparable high-quality reconstruction but with around twice the speed and half the memory cost, and shows superior performance in the realism of novel view synthesis and camera tracking accuracy.
- Abstract(参考訳): 本稿では,RGBDカメラを用いたリアルタイム3次元再構成システムであるリアルタイムガウスSLAM(RTG-SLAM)を提案する。
このシステムはコンパクトなガウス表現と高効率なオンザフライガウス最適化スキームを備えている。
それぞれのガウス語は不透明かほぼ透明で、不透明なものは表面色と支配的な色に、透明なものは残留色に適合する。
色レンダリングと異なる方法で深度をレンダリングすることにより、複数の重複するガウスを必要とせずに、単一の不透明ガウスを局所的な曲面領域に適合させ、メモリと計算コストを大幅に削減する。
オンザフライガウス最適化では、新たに観測され、色誤差が大きく、深度誤差が大きい3種類の画素に対してガウスを明示的に追加する。
我々はまた、全てのガウスを安定で不安定なものに分類し、安定なガウスは以前に観測されたRGBD画像によく適合し、そうでなければ不安定であると予測される。
我々は不安定なガウス語のみを最適化し、不安定なガウス語が占めるピクセルのみを描画する。
このように、最適化対象のガウス数とレンダリング対象の画素数をともに大幅に削減し、リアルタイムで最適化を行うことができる。
様々な大きなシーンをリアルタイムに再現する。
現状のNeRFベースのRGBD SLAMと比較すると,本システムは高画質な再構成を実現するが,メモリコストの約2倍の速度で実現し,新しいビュー合成とカメラトラッキングの精度の現実性において優れた性能を示す。
関連論文リスト
- Splat-SLAM: Globally Optimized RGB-only SLAM with 3D Gaussians [87.48403838439391]
3D Splattingは、RGBのみの高密度SLAMの幾何学と外観の強力な表現として登場した。
本稿では,高密度な3次元ガウス写像表現を持つRGBのみのSLAMシステムを提案する。
Replica、TUM-RGBD、ScanNetのデータセットに対する実験は、グローバルに最適化された3Dガウスの有効性を示している。
論文 参考訳(メタデータ) (2024-05-26T12:26:54Z) - Compact 3D Gaussian Splatting For Dense Visual SLAM [26.47738770606461]
本稿では,ガウス楕円体の数とパラメータサイズを削減できるコンパクトな3次元ガウス格子SLAMシステムを提案する。
余剰楕円体を減らすために、スライドウィンドウベースのマスキング戦略が最初に提案されている。
本手法は,シーン表現の最先端(SOTA)品質を維持しつつ,高速なトレーニングとレンダリングの高速化を実現する。
論文 参考訳(メタデータ) (2024-03-17T15:41:35Z) - GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering [112.16239342037714]
GES(Generalized Exponential Splatting)は、GEF(Generalized Exponential Function)を用いて3Dシーンをモデル化する斬新な表現である。
周波数変調損失の助けを借りて、GESは新規なビュー合成ベンチマークにおいて競合性能を達成する。
論文 参考訳(メタデータ) (2024-02-15T17:32:50Z) - GaussianShader: 3D Gaussian Splatting with Shading Functions for
Reflective Surfaces [45.15827491185572]
反射面を持つシーンにおけるニューラルレンダリングを強化するために, 簡易シェーディング機能を3次元ガウスに応用する新しい手法を提案する。
実験の結果、ガウシアンシェーダーは効率と視覚的品質のバランスを保っていることがわかった。
論文 参考訳(メタデータ) (2023-11-29T17:22:26Z) - LightGaussian: Unbounded 3D Gaussian Compression with 15x Reduction and 200+ FPS [55.85673901231235]
光ガウシアン(LightGaussian)は、3次元ガウシアンをより効率的でコンパクトなフォーマットに変換する新しい方法である。
ネットワーク・プルーニング(Network Pruning)の概念からインスピレーションを得たLightGaussianは、シーンの再構築に貢献するに足りていないガウシアンを特定する。
本稿では,全ての属性を量子化するハイブリッド方式であるVecTree Quantizationを提案する。
論文 参考訳(メタデータ) (2023-11-28T21:39:20Z) - Multi-Scale 3D Gaussian Splatting for Anti-Aliased Rendering [48.41629250718956]
3Dガウシアンは最近、3D再構成とレンダリングの非常に効率的な表現として現れた。
高精細度で高精細度で高精細度でレンダリングするが、低精細度や遠方のカメラ位置でレンダリングすると大幅に劣化する。
そこで本研究では,ガウスを異なるスケールで維持し,同じシーンを表現できるマルチスケール3次元ガウススプレイティングアルゴリズムを提案する。
提案アルゴリズムは13%-66%のPSNRと160%-2400%のレンダリング速度を4$times$-128$times$ scale rendering on Mip-NeRF360 data。
論文 参考訳(メタデータ) (2023-11-28T03:31:35Z) - Compact 3D Gaussian Representation for Radiance Field [14.729871192785696]
本研究では,3次元ガウス点数を削減するための学習可能なマスク戦略を提案する。
また、格子型ニューラルネットワークを用いて、ビュー依存色をコンパクトかつ効果的に表現することを提案する。
我々の研究は、3Dシーン表現のための包括的なフレームワークを提供し、ハイパフォーマンス、高速トレーニング、コンパクト性、リアルタイムレンダリングを実現しています。
論文 参考訳(メタデータ) (2023-11-22T20:31:16Z) - GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。
提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。
提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文 参考訳(メタデータ) (2023-11-20T12:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。