論文の概要: SGS-SLAM: Semantic Gaussian Splatting For Neural Dense SLAM
- arxiv url: http://arxiv.org/abs/2402.03246v6
- Date: Sun, 24 Nov 2024 09:56:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-26 14:16:27.027077
- Title: SGS-SLAM: Semantic Gaussian Splatting For Neural Dense SLAM
- Title(参考訳): SGS-SLAM: 感性ガウススプラッティングによるニューラルディエンスSLAM
- Authors: Mingrui Li, Shuhong Liu, Heng Zhou, Guohao Zhu, Na Cheng, Tianchen Deng, Hongyu Wang,
- Abstract要約: SGS-SLAMはSplattingに基づく最初の意味的視覚的SLAMシステムである。
外観幾何学とマルチチャネル最適化による意味的特徴は、ニューラル暗黙のSLAMシステムの過度な制限に対処する。
カメラポーズ推定、マップ再構成、正確なセマンティックセグメンテーション、およびオブジェクトレベルの幾何精度において最先端のパフォーマンスを提供する。
- 参考スコア(独自算出の注目度): 5.144010652281121
- License:
- Abstract: We present SGS-SLAM, the first semantic visual SLAM system based on Gaussian Splatting. It incorporates appearance, geometry, and semantic features through multi-channel optimization, addressing the oversmoothing limitations of neural implicit SLAM systems in high-quality rendering, scene understanding, and object-level geometry. We introduce a unique semantic feature loss that effectively compensates for the shortcomings of traditional depth and color losses in object optimization. Through a semantic-guided keyframe selection strategy, we prevent erroneous reconstructions caused by cumulative errors. Extensive experiments demonstrate that SGS-SLAM delivers state-of-the-art performance in camera pose estimation, map reconstruction, precise semantic segmentation, and object-level geometric accuracy, while ensuring real-time rendering capabilities.
- Abstract(参考訳): SGS-SLAMはガウススプラッティングに基づく最初の意味的視覚的SLAMシステムである。
マルチチャネル最適化を通じて外観、幾何学、意味的特徴を取り入れ、高品質なレンダリング、シーン理解、オブジェクトレベルの幾何学において、神経暗黙のSLAMシステムの過度な制限に対処する。
オブジェクト最適化における従来の深度と色損失の欠点を効果的に補うユニークな意味的特徴損失を導入する。
意味誘導型キーフレーム選択戦略により,累積誤差による誤検出を防止する。
大規模な実験により、SGS-SLAMは、リアルタイムレンダリング機能を確保しながら、カメラポーズ推定、マップ再構成、正確なセマンティックセグメンテーション、およびオブジェクトレベルの幾何的精度で最先端のパフォーマンスを提供することが示された。
関連論文リスト
- GUS-IR: Gaussian Splatting with Unified Shading for Inverse Rendering [83.69136534797686]
GUS-IRは、粗く光沢のある表面を特徴とする複雑なシーンの逆レンダリング問題に対処するために設計された新しいフレームワークである。
本稿では、逆レンダリング、フォワードシェーディング、遅延シェーディングに広く使われている2つの顕著なシェーディング技術を分析し、比較することから始める。
両手法の利点を組み合わせた統合シェーディングソリューションを提案する。
論文 参考訳(メタデータ) (2024-11-12T01:51:05Z) - Visual SLAM with 3D Gaussian Primitives and Depth Priors Enabling Novel View Synthesis [11.236094544193605]
従来の幾何学に基づくSLAMシステムは、密度の高い3D再構成機能を持たない。
本稿では,新しいビュー合成技術である3次元ガウススプラッティングを組み込んだリアルタイムRGB-D SLAMシステムを提案する。
論文 参考訳(メタデータ) (2024-08-10T21:23:08Z) - MGS-SLAM: Monocular Sparse Tracking and Gaussian Mapping with Depth Smooth Regularization [29.713650915551632]
本稿では,ガウススプラッティングに基づく濃密な視覚的局所化とマッピングのための新しいフレームワークを紹介する。
疎視度追跡と3次元ガウススプラッティングのシーン表現を初めて共同で最適化する。
ポーズ推定の精度は既存の手法や最先端の手法を超越している。
論文 参考訳(メタデータ) (2024-05-10T04:42:21Z) - SAGS: Structure-Aware 3D Gaussian Splatting [53.6730827668389]
本研究では,シーンの形状を暗黙的に符号化する構造認識型ガウス散乱法(SAGS)を提案する。
SAGSは、最先端のレンダリング性能と、ベンチマークノベルビュー合成データセットのストレージ要件の削減を反映している。
論文 参考訳(メタデータ) (2024-04-29T23:26:30Z) - SLAIM: Robust Dense Neural SLAM for Online Tracking and Mapping [15.63276368052395]
ニューラルラジアンスフィールドSLAM(NeRF-SLAM)に適した,新しい粗い粒度追跡モデルを提案する。
既存の NeRF-SLAM システムは、従来の SLAM アルゴリズムに比べて、追跡性能が劣っている。
局所バンドル調整とグローバルバンドル調整の両方を実装し、ロバストな(粗大な)(KL正規化器)と正確な(KL正規化器)SLAMソリューションを生成する。
論文 参考訳(メタデータ) (2024-04-17T14:23:28Z) - High-Fidelity SLAM Using Gaussian Splatting with Rendering-Guided Densification and Regularized Optimization [8.845446246585215]
本稿では,3次元ガウススプラッティングに基づく高密度RGBD SLAMシステムを提案する。
近年のニューラルかつ並列に開発されたガウススプラッティング RGBD SLAM ベースラインと比較して,本手法は合成データセット Replica の最先端結果と実世界のデータセット TUM の競合結果を得る。
論文 参考訳(メタデータ) (2024-03-19T08:19:53Z) - NEDS-SLAM: A Neural Explicit Dense Semantic SLAM Framework using 3D Gaussian Splatting [5.655341825527482]
NEDS-SLAMは3次元ガウス表現に基づく意味論的SLAMシステムである。
本研究では,事前学習したセグメンテーションヘッドからの誤推定の影響を低減するために,空間的に一貫性のある特徴融合モデルを提案する。
我々は,高次元意味的特徴をコンパクトな3次元ガウス表現に圧縮するために,軽量エンコーダデコーダを用いる。
論文 参考訳(メタデータ) (2024-03-18T11:31:03Z) - DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。
本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。
実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
論文 参考訳(メタデータ) (2023-11-30T21:34:44Z) - GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。
我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。
フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
論文 参考訳(メタデータ) (2023-11-26T02:35:09Z) - GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。
提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。
提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文 参考訳(メタデータ) (2023-11-20T12:08:23Z) - Pushing the Envelope of Rotation Averaging for Visual SLAM [69.7375052440794]
視覚SLAMシステムのための新しい最適化バックボーンを提案する。
従来の単分子SLAMシステムの精度, 効率, 堅牢性を向上させるために, 平均化を活用している。
我々のアプローチは、公開ベンチマークの最先端技術に対して、同等の精度で最大10倍高速に表示することができる。
論文 参考訳(メタデータ) (2020-11-02T18:02:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。