論文の概要: RTG-SLAM: Real-time 3D Reconstruction at Scale using Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2404.19706v2
• Date: Wed, 1 May 2024 15:25:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-02 10:59:25.959012
• Title: RTG-SLAM: Real-time 3D Reconstruction at Scale using Gaussian Splatting
• Title（参考訳）: RTG-SLAM:Gaussian Splatting を用いたリアルタイム3次元再構成
• Authors: Zhexi Peng, Tianjia Shao, Yong Liu, Jingke Zhou, Yin Yang, Jingdong Wang, Kun Zhou,
• Abstract要約: ガウススプラッティングを用いた大規模環境のためのRGBDカメラを用いたリアルタイム3D再構成システムを提案する。 それぞれのガウス語は不透明かほぼ透明で、不透明なものは表面色と支配的な色に、透明なものは残留色に適合する。 様々な大きなシーンをリアルタイムに再現し、新しいビュー合成とカメラトラッキングの精度のリアリズムにおいて優れた性能を示す。
• 参考スコア（独自算出の注目度）: 51.51310922527121
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present Real-time Gaussian SLAM (RTG-SLAM), a real-time 3D reconstruction system with an RGBD camera for large-scale environments using Gaussian splatting. The system features a compact Gaussian representation and a highly efficient on-the-fly Gaussian optimization scheme. We force each Gaussian to be either opaque or nearly transparent, with the opaque ones fitting the surface and dominant colors, and transparent ones fitting residual colors. By rendering depth in a different way from color rendering, we let a single opaque Gaussian well fit a local surface region without the need of multiple overlapping Gaussians, hence largely reducing the memory and computation cost. For on-the-fly Gaussian optimization, we explicitly add Gaussians for three types of pixels per frame: newly observed, with large color errors, and with large depth errors. We also categorize all Gaussians into stable and unstable ones, where the stable Gaussians are expected to well fit previously observed RGBD images and otherwise unstable. We only optimize the unstable Gaussians and only render the pixels occupied by unstable Gaussians. In this way, both the number of Gaussians to be optimized and pixels to be rendered are largely reduced, and the optimization can be done in real time. We show real-time reconstructions of a variety of large scenes. Compared with the state-of-the-art NeRF-based RGBD SLAM, our system achieves comparable high-quality reconstruction but with around twice the speed and half the memory cost, and shows superior performance in the realism of novel view synthesis and camera tracking accuracy.
• Abstract（参考訳）: 本稿では,RGBDカメラを用いたリアルタイム3次元再構成システムであるリアルタイムガウスSLAM(RTG-SLAM)を提案する。 このシステムはコンパクトなガウス表現と高効率なオンザフライガウス最適化スキームを備えている。 それぞれのガウス語は不透明かほぼ透明で、不透明なものは表面色と支配的な色に、透明なものは残留色に適合する。 色レンダリングと異なる方法で深度をレンダリングすることにより、複数の重複するガウスを必要とせずに、単一の不透明ガウスを局所的な曲面領域に適合させ、メモリと計算コストを大幅に削減する。 オンザフライガウス最適化では、新たに観測され、色誤差が大きく、深度誤差が大きい3種類の画素に対してガウスを明示的に追加する。 我々はまた、全てのガウスを安定で不安定なものに分類し、安定なガウスは以前に観測されたRGBD画像によく適合し、そうでなければ不安定であると予測される。 我々は不安定なガウス語のみを最適化し、不安定なガウス語が占めるピクセルのみを描画する。 このように、最適化対象のガウス数とレンダリング対象の画素数をともに大幅に削減し、リアルタイムで最適化を行うことができる。 様々な大きなシーンをリアルタイムに再現する。 現状のNeRFベースのRGBD SLAMと比較すると,本システムは高画質な再構成を実現するが,メモリコストの約2倍の速度で実現し,新しいビュー合成とカメラトラッキングの精度の現実性において優れた性能を示す。

関連論文リスト

• PixelGaussian: Generalizable 3D Gaussian Reconstruction from Arbitrary Views [116.10577967146762]
  PixelGaussianは、任意の視点から一般化可能な3Dガウス再構成を学習するための効率的なフレームワークである。 提案手法は,様々な視点によく一般化した最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-10-24T17:59:58Z)
• Dynamic Gaussian Marbles for Novel View Synthesis of Casual Monocular Videos [58.22272760132996]
  既存の4次元ガウス法は単分子配置が制約されていないため、この設定で劇的に失敗することを示す。 単分子配置の難易度を目標とした3つのコア修正からなる動的ガウス大理石を提案する。 Nvidia Dynamic ScenesデータセットとDyCheck iPhoneデータセットを評価し,Gaussian Marblesが他のGaussianベースラインを著しく上回っていることを示す。
  論文  参考訳（メタデータ） (2024-06-26T19:37:07Z)
• Splat-SLAM: Globally Optimized RGB-only SLAM with 3D Gaussians [87.48403838439391]
  3D Splattingは、RGBのみの高密度SLAMの幾何学と外観の強力な表現として登場した。 本稿では,高密度な3次元ガウス写像表現を持つRGBのみのSLAMシステムを提案する。 Replica、TUM-RGBD、ScanNetのデータセットに対する実験は、グローバルに最適化された3Dガウスの有効性を示している。
  論文  参考訳（メタデータ） (2024-05-26T12:26:54Z)
• Compact 3D Gaussian Splatting For Dense Visual SLAM [32.37035997240123]
  本稿では,ガウス楕円体の数とパラメータサイズを削減できるコンパクトな3次元ガウス格子SLAMシステムを提案する。 余剰楕円体を減らすために、スライドウィンドウベースのマスキング戦略が最初に提案されている。 本手法は,シーン表現の最先端(SOTA)品質を維持しつつ,高速なトレーニングとレンダリングの高速化を実現する。
  論文  参考訳（メタデータ） (2024-03-17T15:41:35Z)
• GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering [112.16239342037714]
  GES(Generalized Exponential Splatting)は、GEF(Generalized Exponential Function)を用いて3Dシーンをモデル化する斬新な表現である。 周波数変調損失の助けを借りて、GESは新規なビュー合成ベンチマークにおいて競合性能を達成する。
  論文  参考訳（メタデータ） (2024-02-15T17:32:50Z)
• Compact 3D Gaussian Representation for Radiance Field [14.729871192785696]
  本研究では,3次元ガウス点数を削減するための学習可能なマスク戦略を提案する。 また、格子型ニューラルネットワークを用いて、ビュー依存色をコンパクトかつ効果的に表現することを提案する。 我々の研究は、3Dシーン表現のための包括的なフレームワークを提供し、ハイパフォーマンス、高速トレーニング、コンパクト性、リアルタイムレンダリングを実現しています。
  論文  参考訳（メタデータ） (2023-11-22T20:31:16Z)
• GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
  我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。 提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。 提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
  論文  参考訳（メタデータ） (2023-11-20T12:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。