論文の概要: SemGauss-SLAM: Dense Semantic Gaussian Splatting SLAM
- arxiv url: http://arxiv.org/abs/2403.07494v1
- Date: Tue, 12 Mar 2024 10:33:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 22:02:23.746963
- Title: SemGauss-SLAM: Dense Semantic Gaussian Splatting SLAM
- Title(参考訳): SemGauss-SLAM:Dense Semantic Gaussian Splatting SLAM
- Authors: Siting Zhu, Renjie Qin, Guangming Wang, Jiuming Liu, Hesheng Wang
- Abstract要約: 本稿では,高精度な3次元セマンティックマッピング,ロバストなカメラトラッキング,高品質なリアルタイムレンダリングを実現するSemGauss-SLAMを提案する。
セマンティックな特徴を3次元ガウス表現に組み込んで,環境の空間的レイアウト内で意味情報を効果的にエンコードする。
我々のSemGauss-SLAM法は、ReplicaおよびScanNetデータセットのマッピングと追跡精度の観点から、既存の高密度なセマンティックSLAM法よりも優れた性能を示す。
- 参考スコア(独自算出の注目度): 15.155778039729292
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose SemGauss-SLAM, the first semantic SLAM system utilizing 3D
Gaussian representation, that enables accurate 3D semantic mapping, robust
camera tracking, and high-quality rendering in real-time. In this system, we
incorporate semantic feature embedding into 3D Gaussian representation, which
effectively encodes semantic information within the spatial layout of the
environment for precise semantic scene representation. Furthermore, we propose
feature-level loss for updating 3D Gaussian representation, enabling
higher-level guidance for 3D Gaussian optimization. In addition, to reduce
cumulative drift and improve reconstruction accuracy, we introduce
semantic-informed bundle adjustment leveraging semantic associations for joint
optimization of 3D Gaussian representation and camera poses, leading to more
robust tracking and consistent mapping. Our SemGauss-SLAM method demonstrates
superior performance over existing dense semantic SLAM methods in terms of
mapping and tracking accuracy on Replica and ScanNet datasets, while also
showing excellent capabilities in novel-view semantic synthesis and 3D semantic
mapping.
- Abstract(参考訳): 本稿では,3次元ガウス表現を利用した最初のセマンティックSLAMシステムであるSemGauss-SLAMを提案する。
本システムでは,3次元ガウス表現に意味的特徴を埋め込み,環境空間レイアウト内の意味情報を効果的にエンコードし,正確な意味的シーン表現を行う。
さらに, 3次元ガウス表現を更新するための特徴量損失を提案し, 3次元ガウス最適化のための高レベルガイダンスを実現する。
さらに, 累積ドリフトを低減し, 再構成精度を向上させるため, 3次元ガウス表現とカメラポーズの協調最適化のための意味関係を利用した意味変形バンドル調整を導入することにより, よりロバストなトラッキングと一貫したマッピングを実現する。
我々のSemGauss-SLAM法は,ReplicaおよびScanNetデータセット上でのマッピングと追跡の精度において,既存の高密度セマンティックSLAM法よりも優れた性能を示すとともに,新規ビューセマンティック合成と3Dセマンティックマッピングの優れた機能を示す。
関連論文リスト
- Gaussian Splatting SLAM [17.90035087300551]
移動単眼カメラとRGB-Dカメラを用いて3次元ガウススプラッティングをインクリメンタルな3次元再構成に適用した。
3fpsでライブで動作するSLAM法は,ガウスを唯一の3次元表現として利用している。
論文 参考訳(メタデータ) (2023-12-11T18:19:04Z) - GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for
Real-time Human Novel View Synthesis [73.7634042008412]
我々は、文字の新たなビューをリアルタイムに合成するための新しいアプローチ、GPS-Gaussianを提案する。
提案手法は,スパースビューカメラ設定下での2K解像度のレンダリングを可能にする。
論文 参考訳(メタデータ) (2023-12-04T18:59:55Z) - SplaTAM: Splat, Track & Map 3D Gaussians for Dense RGB-D SLAM [50.60694084264132]
3Dガウシアンによるシーンの表現は、単一の単眼のRGB-Dカメラを用いて高密度SLAMを実現することができることを示す。
私たちはオンラインのトラッキングとマッピングのパイプラインを採用し、基礎となるガウス表現を特に使用するように調整しています。
実験により、SplaTAMは、カメラポーズ推定、マップ構築、ノベルビュー合成において、最先端の性能を最大2倍に向上することが示された。
論文 参考訳(メタデータ) (2023-12-04T18:53:24Z) - GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [54.56928482110888]
本稿では,まず3次元ガウス表現を同時局所化・マッピングシステムで利用するtextbfGS-SLAM$を紹介する。
提案手法では,地図の最適化とRGB-D再レンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。
提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文 参考訳(メタデータ) (2023-11-20T12:08:23Z) - Volumetric Semantically Consistent 3D Panoptic Mapping [84.2638617094967]
非構造環境における自律エージェントに適したセマンティック3Dマップを生成することを目的としたオンライン2次元から3次元のセマンティック・インスタンスマッピングアルゴリズムを提案する。
マッピング中にセマンティック予測の信頼性を統合し、セマンティックおよびインスタンス一貫性のある3D領域を生成する新しい方法を導入する。
提案手法は,パブリックな大規模データセット上での最先端の精度を実現し,多くの広く使用されているメトリクスを改善した。
論文 参考訳(メタデータ) (2023-09-26T08:03:10Z) - SeMLaPS: Real-time Semantic Mapping with Latent Prior Networks and
Quasi-Planar Segmentation [53.83313235792596]
本稿では,RGB-Dシーケンスからのリアルタイム意味マッピングのための新しい手法を提案する。
2DニューラルネットワークとSLAMシステムに基づく3Dネットワークと3D占有マッピングを組み合わせる。
本システムは,2D-3Dネットワークベースシステムにおいて,最先端のセマンティックマッピング品質を実現する。
論文 参考訳(メタデータ) (2023-06-28T22:36:44Z) - NICER-SLAM: Neural Implicit Scene Encoding for RGB SLAM [111.83168930989503]
NICER-SLAMは、カメラポーズと階層的なニューラル暗黙マップ表現を同時に最適化するRGB SLAMシステムである。
近年のRGB-D SLAMシステムと競合する高密度マッピング,追跡,新しいビュー合成において,高い性能を示す。
論文 参考訳(メタデータ) (2023-02-07T17:06:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。