論文の概要: MGS-SLAM: Monocular Sparse Tracking and Gaussian Mapping with Depth Smooth Regularization
- arxiv url: http://arxiv.org/abs/2405.06241v2
- Date: Tue, 10 Sep 2024 03:15:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-11 23:03:57.284102
- Title: MGS-SLAM: Monocular Sparse Tracking and Gaussian Mapping with Depth Smooth Regularization
- Title(参考訳): MGS-SLAM:Depth Smooth Regularizationによる単眼スパース追跡とガウスマッピング
- Authors: Pengcheng Zhu, Yaoming Zhuang, Baoquan Chen, Li Li, Chengdong Wu, Zhanlin Liu,
- Abstract要約: 本稿では,ガウススプラッティングに基づく濃密な視覚的局所化とマッピングのための新しいフレームワークを紹介する。
疎視度追跡と3次元ガウススプラッティングのシーン表現を初めて共同で最適化する。
ポーズ推定の精度は既存の手法や最先端の手法を超越している。
- 参考スコア(独自算出の注目度): 29.713650915551632
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This letter introduces a novel framework for dense Visual Simultaneous Localization and Mapping (VSLAM) based on Gaussian Splatting. Recently, SLAM based on Gaussian Splatting has shown promising results. However, in monocular scenarios, the Gaussian maps reconstructed lack geometric accuracy and exhibit weaker tracking capability. To address these limitations, we jointly optimize sparse visual odometry tracking and 3D Gaussian Splatting scene representation for the first time. We obtain depth maps on visual odometry keyframe windows using a fast Multi-View Stereo (MVS) network for the geometric supervision of Gaussian maps. Furthermore, we propose a depth smooth loss and Sparse-Dense Adjustment Ring (SDAR) to reduce the negative effect of estimated depth maps and preserve the consistency in scale between the visual odometry and Gaussian maps. We have evaluated our system across various synthetic and real-world datasets. The accuracy of our pose estimation surpasses existing methods and achieves state-of-the-art. Additionally, it outperforms previous monocular methods in terms of novel view synthesis and geometric reconstruction fidelities.
- Abstract(参考訳): 本文では,ガウススプラッティングに基づく高密度視覚同時局在マッピング(VSLAM)のための新しいフレームワークを紹介する。
近年,ガウススプラッティングに基づくSLAMは有望な結果を示した。
しかし、単分子のシナリオでは、ガウス写像は幾何的精度に欠け、より弱い追跡能力を示した。
これらの制約に対処するため, 疎視度追跡と3次元ガウススプラッティングのシーン表現を共同で最適化した。
ガウス写像の幾何的監督のために,高速なマルチビューステレオ(MVS)ネットワークを用いて,視覚的ドメトリ・キーフレームウィンドウの奥行きマップを得る。
さらに、推定深度マップの負の効果を低減し、視覚計測とガウス地図のスケールの一貫性を維持するために、深度スムーズロスとスパース・デンス調整リング(SDAR)を提案する。
我々は、様々な合成および実世界のデータセットでシステムを評価した。
ポーズ推定の精度は既存の手法を超越し,最先端化を実現している。
さらに、新しいビュー合成と幾何学的再構成フィデリティの観点から、従来の単分子的手法よりも優れていた。
関連論文リスト
- GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views [67.34073368933814]
スパースビューカメラ設定下での高解像度画像レンダリングのための一般化可能なガウススプラッティング手法を提案する。
我々は,人間のみのデータや人景データに基づいてガウスパラメータ回帰モジュールをトレーニングし,深度推定モジュールと共同で2次元パラメータマップを3次元空間に引き上げる。
いくつかのデータセットに対する実験により、我々の手法はレンダリング速度を超越しながら最先端の手法より優れていることが示された。
論文 参考訳(メタデータ) (2024-11-18T08:18:44Z) - PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。
本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
論文 参考訳(メタデータ) (2024-10-29T15:28:15Z) - Mode-GS: Monocular Depth Guided Anchored 3D Gaussian Splatting for Robust Ground-View Scene Rendering [47.879695094904015]
そこで本研究では,地上ロボット軌道データセットのための新しいビューレンダリングアルゴリズムであるMode-GSを提案する。
提案手法は,既存の3次元ガウススプラッティングアルゴリズムの限界を克服する目的で,アンカー付きガウススプラッターを用いている。
提案手法は,PSNR,SSIM,LPIPSの計測値に基づいて,自由軌道パターンを持つ地上環境におけるレンダリング性能を向上する。
論文 参考訳(メタデータ) (2024-10-06T23:01:57Z) - IG-SLAM: Instant Gaussian SLAM [6.228980850646457]
3D Gaussian SplattingはSLAMシステムにおける代替シーン表現として期待できる結果を示した。
本稿では,RGBのみの高密度SLAMシステムであるIG-SLAMについて述べる。
我々は、最先端のRGBのみのSLAMシステムと競合する性能を示し、高速な動作速度を実現する。
論文 参考訳(メタデータ) (2024-08-02T09:07:31Z) - SA-GS: Semantic-Aware Gaussian Splatting for Large Scene Reconstruction with Geometry Constrain [43.80789481557894]
セマンティック・アウェアな3Dガウス・スプラットを用いた細粒度3次元幾何再構成のためのSA-GSという新しい手法を提案する。
我々はSAMやDINOのような大きな視覚モデルに格納された事前情報を利用してセマンティックマスクを生成する。
我々は,新しい確率密度に基づく抽出法を用いて点雲を抽出し,ガウススプラッツを下流タスクに不可欠な点雲に変換する。
論文 参考訳(メタデータ) (2024-05-27T08:15:10Z) - Splat-SLAM: Globally Optimized RGB-only SLAM with 3D Gaussians [87.48403838439391]
3D Splattingは、RGBのみの高密度SLAMの幾何学と外観の強力な表現として登場した。
本稿では,高密度な3次元ガウス写像表現を持つRGBのみのSLAMシステムを提案する。
Replica、TUM-RGBD、ScanNetのデータセットに対する実験は、グローバルに最適化された3Dガウスの有効性を示している。
論文 参考訳(メタデータ) (2024-05-26T12:26:54Z) - MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。
我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。
また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
論文 参考訳(メタデータ) (2024-04-01T04:57:41Z) - High-Fidelity SLAM Using Gaussian Splatting with Rendering-Guided Densification and Regularized Optimization [8.845446246585215]
本稿では,3次元ガウススプラッティングに基づく高密度RGBD SLAMシステムを提案する。
近年のニューラルかつ並列に開発されたガウススプラッティング RGBD SLAM ベースラインと比較して,本手法は合成データセット Replica の最先端結果と実世界のデータセット TUM の競合結果を得る。
論文 参考訳(メタデータ) (2024-03-19T08:19:53Z) - Compact 3D Gaussian Splatting For Dense Visual SLAM [32.37035997240123]
本稿では,ガウス楕円体の数とパラメータサイズを削減できるコンパクトな3次元ガウス格子SLAMシステムを提案する。
余剰楕円体を減らすために、スライドウィンドウベースのマスキング戦略が最初に提案されている。
本手法は,シーン表現の最先端(SOTA)品質を維持しつつ,高速なトレーニングとレンダリングの高速化を実現する。
論文 参考訳(メタデータ) (2024-03-17T15:41:35Z) - GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for Real-time Human Novel View Synthesis [70.24111297192057]
我々は、文字の新たなビューをリアルタイムに合成するための新しいアプローチ、GPS-Gaussianを提案する。
提案手法は,スパースビューカメラ設定下での2K解像度のレンダリングを可能にする。
論文 参考訳(メタデータ) (2023-12-04T18:59:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。