論文の概要: 4DTAM: Non-Rigid Tracking and Mapping via Dynamic Surface Gaussians
- arxiv url: http://arxiv.org/abs/2505.22859v1
- Date: Wed, 28 May 2025 20:45:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-30 18:14:07.535444
- Title: 4DTAM: Non-Rigid Tracking and Mapping via Dynamic Surface Gaussians
- Title（参考訳）: 4DTAM:ダイナミックサーフェス・ガウシアンによる非リジッドトラッキングとマッピング
- Authors: Hidenobu Matsuki, Gwangbin Bae, Andrew J. Davison,
- Abstract要約: カメラのローカライゼーションと非剛体表面再構成を共同で行う4次元追跡マッピング法を提案する。
我々のアプローチは、深度測定や予測を伴うカラー画像のオンラインストリームから4Dシーンをキャプチャする。
- 参考スコア（独自算出の注目度）: 20.862152067742148
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose the first 4D tracking and mapping method that jointly performs camera localization and non-rigid surface reconstruction via differentiable rendering. Our approach captures 4D scenes from an online stream of color images with depth measurements or predictions by jointly optimizing scene geometry, appearance, dynamics, and camera ego-motion. Although natural environments exhibit complex non-rigid motions, 4D-SLAM remains relatively underexplored due to its inherent challenges; even with 2.5D signals, the problem is ill-posed because of the high dimensionality of the optimization space. To overcome these challenges, we first introduce a SLAM method based on Gaussian surface primitives that leverages depth signals more effectively than 3D Gaussians, thereby achieving accurate surface reconstruction. To further model non-rigid deformations, we employ a warp-field represented by a multi-layer perceptron (MLP) and introduce a novel camera pose estimation technique along with surface regularization terms that facilitate spatio-temporal reconstruction. In addition to these algorithmic challenges, a significant hurdle in 4D SLAM research is the lack of reliable ground truth and evaluation protocols, primarily due to the difficulty of 4D capture using commodity sensors. To address this, we present a novel open synthetic dataset of everyday objects with diverse motions, leveraging large-scale object models and animation modeling. In summary, we open up the modern 4D-SLAM research by introducing a novel method and evaluation protocols grounded in modern vision and rendering techniques.
- Abstract（参考訳）: そこで本研究では、カメラのローカライズと非剛体表面の再現を差別化レンダリングにより共同で行う4Dトラッキングとマッピング手法を提案する。
提案手法は,映像の形状,外観,ダイナミックス,カメラエゴモーションを協調的に最適化することにより,深度測定や予測を行うオンラインカラー画像から4Dシーンをキャプチャする。
自然環境は複雑な非剛体運動を呈するが、4D-SLAMはその固有の課題のために比較的過小評価されている。
これらの課題を克服するために、まず3次元ガウスよりも効率的に深度信号を利用するガウス表面プリミティブに基づくSLAM法を導入し、正確な表面再構成を実現する。
非剛性変形をさらにモデル化するために、多層パーセプトロン(MLP)で表されるワープフィールドを用い、時空間再構成を容易にする表面正規化項とともに、新しいカメラポーズ推定手法を導入する。
これらのアルゴリズム上の課題に加えて、4D SLAM研究における重要なハードルは、信頼性の高い地上の真実と評価プロトコルの欠如である。
そこで本研究では,大規模オブジェクトモデルとアニメーションモデリングを活用した,多様な動きを持つ日常オブジェクトのオープンな合成データセットを提案する。
要約して,現代視覚とレンダリング技術に基づく新しい手法と評価プロトコルを導入することで,現代の4D-SLAM研究を開放する。
関連論文リスト
- 4D Gaussian Splatting SLAM [44.70136817644832]
本稿では,カメラのポーズを漸進的に追跡し,未知のシナリオで4次元ガウス放射場を確立する,効率的なアーキテクチャを提案する。
実験結果から,提案手法は実環境におけるロバストなトラッキングと高品質なビュー性能を実現することを示す。
論文 参考訳（メタデータ） (2025-03-20T21:08:08Z) - 4D Gaussian Splatting: Modeling Dynamic Scenes with Native 4D Primitives [116.2042238179433]
本稿では,動的シーンを非拘束な4次元ボリューム学習問題とみなす。
本研究では,4次元ガウス原始体の集合を対象とした動的シーンを明示的な幾何学的特徴と外観的特徴で表現する。
このアプローチは、下層のフォトリアリスティック時間体積を適合させることで、空間と時間の関連情報をキャプチャすることができる。
特に、我々の4DGSモデルは、複雑なダイナミックシーンのための、高解像度で斬新なビューのリアルタイムレンダリングをサポートする最初のソリューションです。
論文 参考訳（メタデータ） (2024-12-30T05:30:26Z) - 4D Gaussian Splatting in the Wild with Uncertainty-Aware Regularization [43.81271239333774]
そこで本研究では,カジュアルに記録されたモノクロビデオから動的シーンを動的に撮影する4DGSアルゴリズムを提案する。
提案手法は,ハンドヘルドモノクラーカメラで撮影した映像から4DGS再構成の性能を向上することを示す。
論文 参考訳（メタデータ） (2024-11-13T18:56:39Z) - DynaSurfGS: Dynamic Surface Reconstruction with Planar-based Gaussian Splatting [13.762831851385227]
本研究では,動的シナリオのフォトリアリスティックレンダリングと高忠実な表面再構成を実現するためにDynaSurfGSを提案する。
このフレームワークはまず、4Dニューラルボクセルのガウスの特徴をプラナーベースのガウススプラッティングに組み込んで、表面の正確な再構築を容易にする。
また、ARAP(as-rigid-as-possible)制約を組み込んで、時間ステップ間の3Dガウシアン地区の局所的な剛性を維持する。
論文 参考訳（メタデータ） (2024-08-26T01:36:46Z) - Diffusion4D: Fast Spatial-temporal Consistent 4D Generation via Video Diffusion Models [116.31344506738816]
高速でスケーラブルな4Dコンテンツ生成のための新しいフレームワーク textbfDiffusion4D を提案する。
ダイナミックな3Dアセットの軌道ビューを合成できる4D対応ビデオ拡散モデルを開発した。
提案手法は, 生成効率と4次元幾何整合性の観点から, 従来の最先端技術を超えている。
論文 参考訳（メタデータ） (2024-05-26T17:47:34Z) - SC4D: Sparse-Controlled Video-to-4D Generation and Motion Transfer [57.506654943449796]
動作と外観を分離するSC4Dという,効率的でスパース制御されたビデオ・ツー・4Dフレームワークを提案する。
我々の手法は、品質と効率の両面で既存の手法を超越している。
動作を多種多様な4Dエンティティにシームレスに転送する新しいアプリケーションを考案する。
論文 参考訳（メタデータ） (2024-04-04T18:05:18Z) - LoRD: Local 4D Implicit Representation for High-Fidelity Dynamic Human
Modeling [69.56581851211841]
そこで我々は,LoRDという,動的に衣を着る人間の局所的な4D暗黙表現を提案する。
私たちの重要な洞察は、ネットワークがローカルな部分レベルの表現の潜在コードを学ぶように促すことです。
LoRDは、4D人間を表現する能力が強く、実用上の最先端の手法よりも優れています。
論文 参考訳（メタデータ） (2022-08-18T03:49:44Z) - H4D: Human 4D Modeling by Learning Neural Compositional Representation [75.34798886466311]
この研究は、動的人間に対するコンパクトで構成的な表現を効果的に学習できる新しい枠組みを提示する。
単純で効果的な線形運動モデルを提案し, 粗く規則化された動き推定を行う。
本手法は, 高精度な動作と詳細な形状を持つ動的ヒトの回復に有効であるだけでなく, 様々な4次元人間関連タスクにも有効であることを示す。
論文 参考訳（メタデータ） (2022-03-02T17:10:49Z) - 4DComplete: Non-Rigid Motion Estimation Beyond the Observable Surface [7.637832293935966]
観測されていないジオメトリの非剛体運動を推定する新しいデータ駆動アプローチである4DCompleteを紹介します。
ネットワークトレーニングのために,DeformingThings4Dという大規模合成データセットを構築した。
論文 参考訳（メタデータ） (2021-05-05T07:39:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。