論文の概要: GSLoc: Efficient Camera Pose Refinement via 3D Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2408.11085v1
• Date: Tue, 20 Aug 2024 17:58:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-22 21:26:55.684625
• Title: GSLoc: Efficient Camera Pose Refinement via 3D Gaussian Splatting
• Title（参考訳）: GSLOC: 3Dガウススプラッティングによる効率的なカメラポスリファインメント
• Authors: Changkun Liu, Shuai Chen, Yash Bhalgat, Siyan Hu, Zirui Wang, Ming Cheng, Victor Adrian Prisacariu, Tristan Braud,
• Abstract要約: 本稿では,新しいテストタイムカメラ・ポーズ・リファインメントフレームワークGSLocを提案する。 このフレームワークは、最先端の絶対ポーズ回帰とシーン座標回帰法の局所化精度を高める。 GSLocは、RGBイメージを直接操作することで、特徴抽出器や記述器をトレーニングする必要がなくなる。
• 参考スコア（独自算出の注目度）: 25.780452115246245
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We leverage 3D Gaussian Splatting (3DGS) as a scene representation and propose a novel test-time camera pose refinement framework, GSLoc. This framework enhances the localization accuracy of state-of-the-art absolute pose regression and scene coordinate regression methods. The 3DGS model renders high-quality synthetic images and depth maps to facilitate the establishment of 2D-3D correspondences. GSLoc obviates the need for training feature extractors or descriptors by operating directly on RGB images, utilizing the 3D vision foundation model, MASt3R, for precise 2D matching. To improve the robustness of our model in challenging outdoor environments, we incorporate an exposure-adaptive module within the 3DGS framework. Consequently, GSLoc enables efficient pose refinement given a single RGB query and a coarse initial pose estimation. Our proposed approach surpasses leading NeRF-based optimization methods in both accuracy and runtime across indoor and outdoor visual localization benchmarks, achieving state-of-the-art accuracy on two indoor datasets.
• Abstract（参考訳）: シーン表現として3D Gaussian Splatting(3DGS)を活用し,新しいテストタイムカメラポーズ改善フレームワークであるGSLocを提案する。 このフレームワークは、最先端の絶対ポーズ回帰とシーン座標回帰法の局所化精度を高める。 3DGSモデルは高品質な合成画像と深度マップを描画し、2D-3D対応の確立を容易にする。 GSLocは、RGBイメージを直接操作し、正確な2Dマッチングのために3D視覚基盤モデルMASt3Rを活用することで、特徴抽出器や記述器のトレーニングの必要性を回避している。 屋外環境に挑戦する際のモデルの堅牢性を改善するため、3DGSフレームワークに露出適応モジュールを組み込んだ。 これにより、単一のRGBクエリと粗い初期ポーズ推定が与えられた場合、GSLocは効率的なポーズ改善を可能にする。 提案手法は,屋内および屋外の視覚的ローカライゼーションベンチマークにおいて,NeRFに基づく主要な最適化手法を精度と実行時の両方で超越し,2つの屋内データセットに対して最先端の精度を実現する。

関連論文リスト

• No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
  NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。 提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。 この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:58:22Z)
• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• GSplatLoc: Grounding Keypoint Descriptors into 3D Gaussian Splatting for Improved Visual Localization [1.4466437171584356]
  3D Gaussian Splatting (3DGS) は、空間的特徴を持つ3次元幾何学とシーンの外観の両方をコンパクトに符号化することができる。 モデルの空間的理解を改善するために,高密度キーポイント記述子を3DGSに蒸留することを提案する。 提案手法はNeRFMatchやPNeRFLocなど,最先端のニューラル・レンダー・ポース(NRP)法を超越した手法である。
  論文  参考訳（メタデータ） (2024-09-24T23:18:32Z)
• Visual SLAM with 3D Gaussian Primitives and Depth Priors Enabling Novel View Synthesis [11.236094544193605]
  従来の幾何学に基づくSLAMシステムは、密度の高い3D再構成機能を持たない。 本稿では,新しいビュー合成技術である3次元ガウススプラッティングを組み込んだリアルタイムRGB-D SLAMシステムを提案する。
  論文  参考訳（メタデータ） (2024-08-10T21:23:08Z)
• WildGaussians: 3D Gaussian Splatting in the Wild [80.5209105383932]
  3DGSによる閉塞や外見の変化に対処する新しいアプローチであるWildGaussiansを紹介した。 我々はWildGaussianが3DGSとNeRFのベースラインを越えながら3DGSのリアルタイムレンダリング速度と一致していることを示す。
  論文  参考訳（メタデータ） (2024-07-11T12:41:32Z)
• GGRt: Towards Pose-free Generalizable 3D Gaussian Splatting in Real-time [112.32349668385635]
  GGRtは、現実のカメラポーズの必要性を軽減する、一般化可能な新しいビュー合成のための新しいアプローチである。 最初のポーズフリーの一般化可能な3D-GSフレームワークとして、GGRtは$ge$5 FPSで、リアルタイムレンダリングは$ge$100 FPSで実現している。
  論文  参考訳（メタデータ） (2024-03-15T09:47:35Z)
• Improving Robustness for Joint Optimization of Camera Poses and Decomposed Low-Rank Tensorial Radiance Fields [26.4340697184666]
  本稿では,分解された低ランクテンソルで表現されるカメラポーズとシーン形状を共同で洗練するアルゴリズムを提案する。 また,スムーズな2次元監視手法,ランダムスケールカーネルパラメータ,エッジ誘導損失マスクを提案する。
  論文  参考訳（メタデータ） (2024-02-20T18:59:02Z)
• GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
  我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。 提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。 提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
  論文  参考訳（メタデータ） (2023-11-20T12:08:23Z)
• Geometric Correspondence Fields: Learned Differentiable Rendering for 3D Pose Refinement in the Wild [96.09941542587865]
  野生の任意のカテゴリのオブジェクトに対する微分可能レンダリングに基づく新しい3次元ポーズ精細化手法を提案する。 このようにして、3DモデルとRGB画像のオブジェクトを正確に整列し、3Dポーズ推定を大幅に改善する。 我々は、Pix3Dデータセットの挑戦に対するアプローチを評価し、複数のメトリクスにおける最先端の精錬手法と比較して、最大55%の改善を実現した。
  論文  参考訳（メタデータ） (2020-07-17T12:34:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。