論文の概要: Scaffold-SLAM: Structured 3D Gaussians for Simultaneous Localization and Photorealistic Mapping

• arxiv url: http://arxiv.org/abs/2501.05242v1
• Date: Thu, 09 Jan 2025 13:50:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-10 13:59:02.429742
• Title: Scaffold-SLAM: Structured 3D Gaussians for Simultaneous Localization and Photorealistic Mapping
• Title（参考訳）: Scaffold-SLAM: 同時局在化と光リアルマッピングのための構造化3次元ガウス
• Authors: Wen Tianci, Liu Zhiang, Lu Biao, Fang Yongchun,
• Abstract要約: モノクロ,ステレオ,RGB-Dカメラ間の同時ローカライズと高品質な光リアルマッピングを実現するScaffold-SLAMを提案する。 まず,3次元ガウスアンによる様々なカメラポーズにおける画像の外観変化のモデル化を可能にする。 第二に、ガウス分布を導くために周波数正規化ピラミッドを導入し、モデルがシーンの細部を効果的に捉えることを可能にする。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: 3D Gaussian Splatting (3DGS) has recently revolutionized novel view synthesis in the Simultaneous Localization and Mapping (SLAM). However, existing SLAM methods utilizing 3DGS have failed to provide high-quality novel view rendering for monocular, stereo, and RGB-D cameras simultaneously. Notably, some methods perform well for RGB-D cameras but suffer significant degradation in rendering quality for monocular cameras. In this paper, we present Scaffold-SLAM, which delivers simultaneous localization and high-quality photorealistic mapping across monocular, stereo, and RGB-D cameras. We introduce two key innovations to achieve this state-of-the-art visual quality. First, we propose Appearance-from-Motion embedding, enabling 3D Gaussians to better model image appearance variations across different camera poses. Second, we introduce a frequency regularization pyramid to guide the distribution of Gaussians, allowing the model to effectively capture finer details in the scene. Extensive experiments on monocular, stereo, and RGB-D datasets demonstrate that Scaffold-SLAM significantly outperforms state-of-the-art methods in photorealistic mapping quality, e.g., PSNR is 16.76% higher in the TUM RGB-D datasets for monocular cameras.
• Abstract（参考訳）: 3D Gaussian Splatting (3DGS) は、最近、SLAM (Sultaneous Localization and Mapping) において、新しいビュー合成に革命をもたらした。 しかし, 3DGSを用いた既存のSLAM手法では, モノクロ, ステレオ, およびRGB-Dカメラの高画質なビューレンダリングを同時に実現できなかった。 特に、いくつかの方法はRGB-Dカメラでよく機能するが、単眼カメラのレンダリング品質は著しく低下する。 本稿では,モノクロ,ステレオ,RGB-Dカメラ間の同時ローカライゼーションと高品質な光リアルマッピングを実現するScaffold-SLAMを提案する。 この最先端の視覚的品質を実現するために,2つの重要なイノベーションを紹介します。 まず,3次元ガウスアンによる様々なカメラポーズにおける画像の外観変化のモデル化を可能にする。 第二に、ガウス分布を導くために周波数正規化ピラミッドを導入し、モデルがシーンの細部を効果的に捉えることを可能にする。 モノクラー、ステレオ、RGB-Dデータセットに関する大規模な実験は、モノクラーカメラのTUM RGB-Dデータセットにおいて、Scaffold-SLAMがフォトリアリスティックマッピングの品質において最先端の手法を著しく上回り、PSNRが16.76%高いことを証明している。

関連論文リスト

• Boost 3D Reconstruction using Diffusion-based Monocular Camera Calibration [34.18403601269181]
  DM-Calibは単一の入力画像からピンホールカメラ固有のパラメータを推定するための拡散に基づくアプローチである。 我々は、カメラ画像と呼ばれる新しい画像ベース表現を導入し、数値カメラの内在を無意味に符号化する。 一つのRGB入力からカメラ画像を生成するための安定拡散モデルを微調整することにより、RANSAC操作を介してカメラ固有の特徴を抽出することができる。
  論文  参考訳（メタデータ） (2024-11-26T09:04:37Z)
• GSLoc: Efficient Camera Pose Refinement via 3D Gaussian Splatting [25.780452115246245]
  本稿では,新しいテストタイムカメラ・ポーズ・リファインメントフレームワークGSLocを提案する。 このフレームワークは、最先端の絶対ポーズ回帰とシーン座標回帰法の局所化精度を高める。 GSLocは、RGBイメージを直接操作することで、特徴抽出器や記述器をトレーニングする必要がなくなる。
  論文  参考訳（メタデータ） (2024-08-20T17:58:23Z)
• Director3D: Real-world Camera Trajectory and 3D Scene Generation from Text [61.9973218744157]
  実世界の3Dシーンと適応カメラトラジェクトリの両方を生成するように設計された,堅牢なオープンワールドテキスト・ツー・3D生成フレームワークであるDirector3Dを紹介する。 Director3Dは既存の手法よりも優れており、実世界の3D生成において優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-06-25T14:42:51Z)
• Dual-Camera Smooth Zoom on Mobile Phones [55.4114152554769]
  我々は、スムーズなズームプレビューを実現するために、新しいタスク、すなわちデュアルカメラスムーズズーム(DCSZ)を導入する。 フレームモデル (FI) 技術は潜在的な解決法であるが、地軸収集に苦慮している。 連続型仮想カメラを組み込んだデータファクトリソリューションを提案し,シーンの再構成された3DモデルをレンダリングしてDCSZデータを生成する。
  論文  参考訳（メタデータ） (2024-04-07T10:28:01Z)
• MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
  カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。 我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。 また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
  論文  参考訳（メタデータ） (2024-04-01T04:57:41Z)
• 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
  3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。 多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。 競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T17:21:24Z)
• Gaussian Splatting SLAM [16.3858380078553]
  単分子SLAMにおける3次元ガウス散乱の最初の応用について述べる。 我々の方法は3fpsで動作し、正確な追跡、マッピング、高品質なレンダリングに必要な表現を統一する。 ライブカメラから高忠実度で連続的に3Dシーンを再構築するためには、いくつかの革新が必要である。
  論文  参考訳（メタデータ） (2023-12-11T18:19:04Z)
• GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
  我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。 提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。 提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
  論文  参考訳（メタデータ） (2023-11-20T12:08:23Z)
• Urban Radiance Fields [77.43604458481637]
  本研究では,都市屋外環境における世界地図作成によく利用されるスキャニングプラットフォームによって収集されたデータから3次元再構成と新しいビュー合成を行う。 提案手法は、制御された環境下での小さなシーンのための現実的な新しい画像の合成を実証したニューラルラジアンス場を拡張している。 これら3つのエクステンションはそれぞれ、ストリートビューデータの実験において、大幅なパフォーマンス改善を提供する。
  論文  参考訳（メタデータ） (2021-11-29T15:58:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。