論文の概要: 4D Gaussian Splatting SLAM
- arxiv url: http://arxiv.org/abs/2503.16710v1
- Date: Thu, 20 Mar 2025 21:08:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-24 14:57:01.558513
- Title: 4D Gaussian Splatting SLAM
- Title(参考訳): 4次元ガウス散乱SLAM
- Authors: Yanyan Li, Youxu Fang, Zunjie Zhu, Kunyi Li, Yong Ding, Federico Tombari,
- Abstract要約: 本稿では,カメラのポーズを漸進的に追跡し,未知のシナリオで4次元ガウス放射場を確立する,効率的なアーキテクチャを提案する。
実験結果から,提案手法は実環境におけるロバストなトラッキングと高品質なビュー性能を実現することを示す。
- 参考スコア(独自算出の注目度): 44.70136817644832
- License:
- Abstract: Simultaneously localizing camera poses and constructing Gaussian radiance fields in dynamic scenes establish a crucial bridge between 2D images and the 4D real world. Instead of removing dynamic objects as distractors and reconstructing only static environments, this paper proposes an efficient architecture that incrementally tracks camera poses and establishes the 4D Gaussian radiance fields in unknown scenarios by using a sequence of RGB-D images. First, by generating motion masks, we obtain static and dynamic priors for each pixel. To eliminate the influence of static scenes and improve the efficiency on learning the motion of dynamic objects, we classify the Gaussian primitives into static and dynamic Gaussian sets, while the sparse control points along with an MLP is utilized to model the transformation fields of the dynamic Gaussians. To more accurately learn the motion of dynamic Gaussians, a novel 2D optical flow map reconstruction algorithm is designed to render optical flows of dynamic objects between neighbor images, which are further used to supervise the 4D Gaussian radiance fields along with traditional photometric and geometric constraints. In experiments, qualitative and quantitative evaluation results show that the proposed method achieves robust tracking and high-quality view synthesis performance in real-world environments.
- Abstract(参考訳): ダイナミックシーンにおけるカメラポーズの同時位置決めとガウス放射界の構築は,2次元画像と4次元実世界の重要な橋渡しとなる。
RGB-D画像のシーケンスを用いて,ダイナミックな物体をトラクタとして取り除き,静止環境のみを再構築する代わりに,カメラのポーズを段階的に追跡し,未知のシナリオにおける4次元ガウス放射場を確立する効率的なアーキテクチャを提案する。
まず、モーションマスクを生成することで、各ピクセルの静的および動的先行値を得る。
静的なシーンの影響を排除し、動的物体の動きを学習する効率を向上させるため、我々はガウス原始体を静的かつ動的ガウス集合に分類し、また MLP とともにスパース制御点を用いて動的ガウスの変換場をモデル化する。
ダイナミックガウスの運動をより正確に学習するために、隣接する画像間の動的物体の光学的流れを描画する新しい2次元光フローマップ再構成アルゴリズムが設計され、従来の測光および幾何的制約とともに4次元ガウス放射場を監督するためにさらに使用される。
実験結果から,提案手法は実環境におけるロバストなトラッキングと高品質なビュー合成性能を実現することを示す。
関連論文リスト
- 4D Gaussian Splatting: Modeling Dynamic Scenes with Native 4D Primitives [116.2042238179433]
本稿では,動的シーンを非拘束な4次元ボリューム学習問題とみなす。
本研究では,4次元ガウス原始体の集合を対象とした動的シーンを明示的な幾何学的特徴と外観的特徴で表現する。
このアプローチは、下層のフォトリアリスティック時間体積を適合させることで、空間と時間の関連情報をキャプチャすることができる。
特に、我々の4DGSモデルは、複雑なダイナミックシーンのための、高解像度で斬新なビューのリアルタイムレンダリングをサポートする最初のソリューションです。
論文 参考訳(メタデータ) (2024-12-30T05:30:26Z) - DynaSurfGS: Dynamic Surface Reconstruction with Planar-based Gaussian Splatting [13.762831851385227]
本研究では,動的シナリオのフォトリアリスティックレンダリングと高忠実な表面再構成を実現するためにDynaSurfGSを提案する。
このフレームワークはまず、4Dニューラルボクセルのガウスの特徴をプラナーベースのガウススプラッティングに組み込んで、表面の正確な再構築を容易にする。
また、ARAP(as-rigid-as-possible)制約を組み込んで、時間ステップ間の3Dガウシアン地区の局所的な剛性を維持する。
論文 参考訳(メタデータ) (2024-08-26T01:36:46Z) - SC4D: Sparse-Controlled Video-to-4D Generation and Motion Transfer [57.506654943449796]
動作と外観を分離するSC4Dという,効率的でスパース制御されたビデオ・ツー・4Dフレームワークを提案する。
我々の手法は、品質と効率の両面で既存の手法を超越している。
動作を多種多様な4Dエンティティにシームレスに転送する新しいアプリケーションを考案する。
論文 参考訳(メタデータ) (2024-04-04T18:05:18Z) - NID-SLAM: Neural Implicit Representation-based RGB-D SLAM in dynamic environments [9.706447888754614]
動的環境におけるニューラルSLAMの性能を大幅に向上させるNID-SLAMを提案する。
本稿では, セマンティックマスクにおける不正確な領域, 特に辺縁領域における不正確な領域を強化するための新しいアプローチを提案する。
また,ダイナミックシーンの選択戦略を導入し,大規模オブジェクトに対するカメラトラッキングの堅牢性を高める。
論文 参考訳(メタデータ) (2024-01-02T12:35:03Z) - EmerNeRF: Emergent Spatial-Temporal Scene Decomposition via
Self-Supervision [85.17951804790515]
EmerNeRFは動的駆動シーンの時空間表現を学習するためのシンプルだが強力なアプローチである。
シーンの幾何学、外観、動き、セマンティクスを自己ブートストラップで同時にキャプチャする。
本手法はセンサシミュレーションにおける最先端性能を実現する。
論文 参考訳(メタデータ) (2023-11-03T17:59:55Z) - Robust Dynamic Radiance Fields [79.43526586134163]
動的放射場再構成法は動的シーンの時間変化構造と外観をモデル化することを目的としている。
しかし、既存の手法では、正確なカメラポーズをStructure from Motion (SfM)アルゴリズムによって確実に推定できると仮定している。
カメラパラメータとともに静的および動的放射場を共同で推定することにより、このロバスト性問題に対処する。
論文 参考訳(メタデータ) (2023-01-05T18:59:51Z) - FlowFusion: Dynamic Dense RGB-D SLAM Based on Optical Flow [17.040818114071833]
ダイナミック/静的セグメンテーションとカメラのエゴモーション推定を同時に実現する新しいRGB-D SLAMソリューションを提案する。
我々の新しい特徴は、RGB-D点雲のダイナミックセマンティクスを強調するために光学フロー残基を使うことである。
論文 参考訳(メタデータ) (2020-03-11T04:00:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。