論文の概要: GS4: Generalizable Sparse Splatting Semantic SLAM
- arxiv url: http://arxiv.org/abs/2506.06517v1
- Date: Fri, 06 Jun 2025 20:28:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-10 16:33:10.30588
- Title: GS4: Generalizable Sparse Splatting Semantic SLAM
- Title(参考訳): GS4:Sparse Splatting Semantic SLAM
- Authors: Mingqi Jiang, Chanho Kim, Chen Ziwen, Li Fuxin,
- Abstract要約: 本稿では,学習可能なネットワークを用いて,RGB-Dビデオストリームから3次元シーン表現をインクリメンタルに構築し,更新する,GSベースのセマンティックSLAMアルゴリズムを提案する。
実世界のベンチマークScanNet上での最先端のセマンティックSLAM性能を、他のGSベースの手法と比較して桁違いに低めに示す。
- 参考スコア(独自算出の注目度): 1.6024406587122393
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Traditional SLAM algorithms are excellent at camera tracking but might generate lower resolution and incomplete 3D maps. Recently, Gaussian Splatting (GS) approaches have emerged as an option for SLAM with accurate, dense 3D map building. However, existing GS-based SLAM methods rely on per-scene optimization which is time-consuming and does not generalize to diverse scenes well. In this work, we introduce the first generalizable GS-based semantic SLAM algorithm that incrementally builds and updates a 3D scene representation from an RGB-D video stream using a learned generalizable network. Our approach starts from an RGB-D image recognition backbone to predict the Gaussian parameters from every downsampled and backprojected image location. Additionally, we seamlessly integrate 3D semantic segmentation into our GS framework, bridging 3D mapping and recognition through a shared backbone. To correct localization drifting and floaters, we propose to optimize the GS for only 1 iteration following global localization. We demonstrate state-of-the-art semantic SLAM performance on the real-world benchmark ScanNet with an order of magnitude fewer Gaussians compared to other recent GS-based methods, and showcase our model's generalization capability through zero-shot transfer to the NYUv2 and TUM RGB-D datasets.
- Abstract(参考訳): 従来のSLAMアルゴリズムはカメラトラッキングに優れているが、低解像度で不完全な3Dマップを生成する可能性がある。
近年, 高精度で高密度な3次元地図構築を行うSLAMの選択肢として, ガウススプラッティング (GS) アプローチが登場している。
しかし、既存のGSベースのSLAM法は、時間がかかり、多様なシーンにうまく一般化しないシーンごとの最適化に依存している。
本研究では,学習可能なネットワークを用いて,RGB-Dビデオストリームから3次元シーン表現をインクリメンタルに構築し,更新する,GSベースのセマンティックSLAMアルゴリズムを提案する。
我々のアプローチはRGB-D画像認識のバックボーンから始まり、ダウンサンプリングされた画像位置とバックプロジェクションされた画像位置からガウスパラメータを予測する。
さらに、3DセマンティックセグメンテーションをGSフレームワークにシームレスに統合し、共有バックボーンを通じて3Dマッピングと認識をブリッジします。
局所化ドリフトとフローターの補正のために,グローバルなローカライゼーションの後,GSを1回だけ最適化することを提案する。
実世界のベンチマークScanNet上での最先端セマンティックSLAMのパフォーマンスを、他のGSベースの手法に比べて桁違いのガウスアンで示すとともに、NYUv2およびTUM RGB-Dデータセットへのゼロショット転送によるモデルの一般化能力を示す。
関連論文リスト
- RGB-Only Gaussian Splatting SLAM for Unbounded Outdoor Scenes [12.150995604820443]
3D Gaussian Splatting (3DGS) はSLAMにおいて高忠実性ノベルビューを生成するため、一般的なソリューションとなっている。
従来のGSベースの手法は主に屋内シーンをターゲットにしており、RGB-Dセンサーや事前訓練された深度推定モデルに依存している。
本稿では,RGBのみのガウススプラッティングSLAM法を提案する。
論文 参考訳(メタデータ) (2025-02-21T18:02:31Z) - IG-SLAM: Instant Gaussian SLAM [6.228980850646457]
3D Gaussian SplattingはSLAMシステムにおける代替シーン表現として期待できる結果を示した。
本稿では,RGBのみの高密度SLAMシステムであるIG-SLAMについて述べる。
我々は、最先端のRGBのみのSLAMシステムと競合する性能を示し、高速な動作速度を実現する。
論文 参考訳(メタデータ) (2024-08-02T09:07:31Z) - Splat-SLAM: Globally Optimized RGB-only SLAM with 3D Gaussians [87.48403838439391]
3D Splattingは、RGBのみの高密度SLAMの幾何学と外観の強力な表現として登場した。
本稿では,高密度な3次元ガウス写像表現を持つRGBのみのSLAMシステムを提案する。
Replica、TUM-RGBD、ScanNetのデータセットに対する実験は、グローバルに最適化された3Dガウスの有効性を示している。
論文 参考訳(メタデータ) (2024-05-26T12:26:54Z) - SplaTAM: Splat, Track & Map 3D Gaussians for Dense RGB-D SLAM [48.190398577764284]
SplaTAMは、単一のRGB-Dカメラからの高忠実度再構成を可能にするアプローチである。
基礎となるガウス表現に合わせて、単純なオンライントラッキングとマッピングシステムを採用している。
実験により,SplaTAMはカメラポーズ推定,マップ構築,既存手法に対する新規ビュー合成において最大2倍の性能を発揮することが示された。
論文 参考訳(メタデータ) (2023-12-04T18:53:24Z) - GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。
提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。
提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文 参考訳(メタデータ) (2023-11-20T12:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。