論文の概要: Monocular Gaussian SLAM with Language Extended Loop Closure
- arxiv url: http://arxiv.org/abs/2405.13748v1
- Date: Wed, 22 May 2024 15:33:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-24 23:25:17.944881
- Title: Monocular Gaussian SLAM with Language Extended Loop Closure
- Title（参考訳）: 言語拡張ループクロージャを用いた単分子ガウスSLAM
- Authors: Tian Lan, Qinwei Lin, Haoqian Wang,
- Abstract要約: 既存の方法ではRGB-D SLAMの促進効果が得られたが、単分子ケースの研究は乏しい。
本稿では,ドリフト補正と高忠実度再構成が可能な言語拡張ループクロージャモジュールを備えた単分子ガウスSLAMMG-SLAMを提案する。
我々のシステムは、追跡とマッピングの両方において複数の挑戦的なデータセットに対して有望な結果を示し、既存のRGB-D手法を超越している。
- 参考スコア（独自算出の注目度）: 32.0451093146944
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently,3DGaussianSplattinghasshowngreatpotentialin visual Simultaneous Localization And Mapping (SLAM). Existing methods have achieved encouraging results on RGB-D SLAM, but studies of the monocular case are still scarce. Moreover, they also fail to correct drift errors due to the lack of loop closure and global optimization. In this paper, we present MG-SLAM, a monocular Gaussian SLAM with a language-extended loop closure module capable of performing drift-corrected tracking and high-fidelity reconstruction while achieving a high-level understanding of the environment. Our key idea is to represent the global map as 3D Gaussian and use it to guide the estimation of the scene geometry, thus mitigating the efforts of missing depth information. Further, an additional language-extended loop closure module which is based on CLIP feature is designed to continually perform global optimization to correct drift errors accumulated as the system runs. Our system shows promising results on multiple challenging datasets in both tracking and mapping and even surpasses some existing RGB-D methods.
- Abstract（参考訳）: 近年,3DGaussian Splattinghasshown Greatpotentialin visual Simultaneous Localization And Mapping (SLAM) が報告されている。
既存の方法ではRGB-D SLAMの促進効果が得られたが、単分子ケースの研究は乏しい。
さらに、ループ閉鎖やグローバル最適化の欠如により、ドリフトエラーの修正にも失敗している。
本稿では,モノクラーガウスSLAMであるMG-SLAMについて,高レベルの環境理解を達成しつつ,ドリフト補正と高忠実度再構築が可能な言語拡張ループクロージャモジュールを提案する。
我々のキーとなる考え方は、グローバルマップを3Dガウスとして表現し、シーンの幾何学的推定のガイドに利用することで、奥行き情報不足の軽減を図っている。
さらに、CLIP機能に基づいた追加の言語拡張ループクロージャモジュールは、システムが実行するときに蓄積したドリフトエラーを補正するためのグローバル最適化を継続的に行うように設計されている。
我々のシステムは、追跡とマッピングの両方において複数の挑戦的なデータセットに対して有望な結果を示し、既存のRGB-D手法を超越している。
関連論文リスト
- Mode-GS: Monocular Depth Guided Anchored 3D Gaussian Splatting for Robust Ground-View Scene Rendering [47.879695094904015]
そこで本研究では,地上ロボット軌道データセットのための新しいビューレンダリングアルゴリズムであるMode-GSを提案する。
提案手法は,既存の3次元ガウススプラッティングアルゴリズムの限界を克服する目的で,アンカー付きガウススプラッターを用いている。
提案手法は,PSNR,SSIM,LPIPSの計測値に基づいて,自由軌道パターンを持つ地上環境におけるレンダリング性能を向上する。
論文 参考訳（メタデータ） (2024-10-06T23:01:57Z) - IG-SLAM: Instant Gaussian SLAM [6.228980850646457]
3D Gaussian SplattingはSLAMシステムにおける代替シーン表現として期待できる結果を示した。
本稿では,RGBのみの高密度SLAMシステムであるIG-SLAMについて述べる。
我々は、最先端のRGBのみのSLAMシステムと競合する性能を示し、高速な動作速度を実現する。
論文 参考訳（メタデータ） (2024-08-02T09:07:31Z) - Splat-SLAM: Globally Optimized RGB-only SLAM with 3D Gaussians [87.48403838439391]
3D Splattingは、RGBのみの高密度SLAMの幾何学と外観の強力な表現として登場した。
本稿では,高密度な3次元ガウス写像表現を持つRGBのみのSLAMシステムを提案する。
Replica、TUM-RGBD、ScanNetのデータセットに対する実験は、グローバルに最適化された3Dガウスの有効性を示している。
論文 参考訳（メタデータ） (2024-05-26T12:26:54Z) - IPoD: Implicit Field Learning with Point Diffusion for Generalizable 3D Object Reconstruction from Single RGB-D Images [50.4538089115248]
シングルビューRGB-D画像からの3Dオブジェクトの汎用化は依然として難しい課題である。
本稿では,暗黙の場学習と点拡散を調和させる新しい手法IPoDを提案する。
CO3D-v2データセットによる実験では、IPoDの優位性が確認され、Fスコアは7.8%、チャンファー距離は28.6%向上した。
論文 参考訳（メタデータ） (2024-03-30T07:17:37Z) - GlORIE-SLAM: Globally Optimized RGB-only Implicit Encoding Point Cloud SLAM [53.6402869027093]
フレキシブルなニューラルポイントクラウド表現シーンを用いたRGBのみの高密度SLAMシステムを提案する。
また,単分子深度とともに暗黙のポーズと深さを最適化する新しいDSPO層を導入する。
論文 参考訳（メタデータ） (2024-03-28T16:32:06Z) - Loopy-SLAM: Dense Neural SLAM with Loop Closures [53.11936461015725]
ポーズをグローバルに最適化するLoopy-SLAMと高密度3Dモデルを導入する。
我々は,データ駆動のポイントベースサブマップ生成手法を用いてフレーム・ツー・モデル追跡を行い,グローバルな位置認識を行うことで,オンラインのループクロージャをトリガーする。
合成Replicaおよび実世界のTUM-RGBDおよびScanNetデータセットの評価は、既存の高密度ニューラルネットワークRGBD SLAM法と比較して、追跡、マッピング、レンダリングの精度の競争力または優れた性能を示す。
論文 参考訳（メタデータ） (2024-02-14T18:18:32Z) - GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。
提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。
提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文 参考訳（メタデータ） (2023-11-20T12:08:23Z) - HI-SLAM: Monocular Real-time Dense Mapping with Hybrid Implicit Fields [11.627951040865568]
最近のニューラルマッピングフレームワークは有望な結果を示しているが、RGB-Dやポーズ入力に依存している。
我々のアプローチは、高密度SLAMとニューラル暗黙の場を統合する。
ニューラルネットワークの効率的な構築には,マルチレゾリューショングリッド符号化と符号付き距離関数を用いる。
論文 参考訳（メタデータ） (2023-10-07T12:26:56Z) - GO-SLAM: Global Optimization for Consistent 3D Instant Reconstruction [45.49960166785063]
GO-SLAMは、リアルタイムでポーズと3D再構成をグローバルに最適化するディープラーニングベースの高密度ビジュアルSLAMフレームワークである。
さまざまな合成および実世界のデータセットの結果から、GO-SLAMはロバスト性や復元精度の追跡において最先端のアプローチよりも優れていることが示されている。
論文 参考訳（メタデータ） (2023-09-05T17:59:58Z) - SA-LOAM: Semantic-aided LiDAR SLAM with Loop Closure [12.970919078106634]
LOAM(SA-LOAM)をベースとしたループ閉鎖型セマンティック支援LiDAR SLAMを提案する。
局所化精度を改善し、ループ閉鎖を効果的に検出し、大規模シーンにおいてもグローバルな一貫したセマンティックマップを構築することができる。
論文 参考訳（メタデータ） (2021-06-22T03:14:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。