論文の概要: DynSUP: Dynamic Gaussian Splatting from An Unposed Image Pair

• arxiv url: http://arxiv.org/abs/2412.00851v1
• Date: Sun, 01 Dec 2024 15:25:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:45:36.883027
• Title: DynSUP: Dynamic Gaussian Splatting from An Unposed Image Pair
• Title（参考訳）: DynSUP: 画像ペアからダイナミックなガウスの切り抜き
• Authors: Weihang Li, Weirong Chen, Shenhan Qian, Jiajie Chen, Daniel Cremers, Haoang Li,
• Abstract要約: 本稿では,ガウスアンを動的環境に適合させるために,事前のポーズを伴わずに2つの画像しか利用できない手法を提案する。 この戦略は、ダイナミックシーンを断片的に剛性成分に分解し、ダイナミックオブジェクトのカメラのポーズと動きを共同で推定する。 合成と実世界の両方のデータセットに対する実験により、我々の手法は最先端のアプローチを大きく上回っていることが示された。
• 参考スコア（独自算出の注目度）: 41.78277294238276
• License:
• Abstract: Recent advances in 3D Gaussian Splatting have shown promising results. Existing methods typically assume static scenes and/or multiple images with prior poses. Dynamics, sparse views, and unknown poses significantly increase the problem complexity due to insufficient geometric constraints. To overcome this challenge, we propose a method that can use only two images without prior poses to fit Gaussians in dynamic environments. To achieve this, we introduce two technical contributions. First, we propose an object-level two-view bundle adjustment. This strategy decomposes dynamic scenes into piece-wise rigid components, and jointly estimates the camera pose and motions of dynamic objects. Second, we design an SE(3) field-driven Gaussian training method. It enables fine-grained motion modeling through learnable per-Gaussian transformations. Our method leads to high-fidelity novel view synthesis of dynamic scenes while accurately preserving temporal consistency and object motion. Experiments on both synthetic and real-world datasets demonstrate that our method significantly outperforms state-of-the-art approaches designed for the cases of static environments, multiple images, and/or known poses. Our project page is available at https://colin-de.github.io/DynSUP/.
• Abstract（参考訳）: 近年の3Dガウススプラッティングの進歩は有望な成果を示している。 既存の方法は、通常、静的なシーンや、以前のポーズを持つ複数のイメージを仮定する。 ダイナミクス、スパースビュー、未知の現象は、幾何学的制約が不十分なため、問題の複雑さを著しく増大させる。 この課題を克服するために,ガウスアンを動的環境に適合させるために,事前にポーズを取らずに2つの画像しか利用できない手法を提案する。 これを実現するために,2つの技術コントリビューションを紹介します。 まず,オブジェクトレベルの2ビューバンドルの調整を提案する。 この戦略は、ダイナミックシーンを断片的に剛性成分に分解し、ダイナミックオブジェクトのカメラのポーズと動きを共同で推定する。 第2に、フィールド駆動型ガウス訓練法を設計する。 学習可能なガウス変換による微粒な運動モデリングを可能にする。 本手法は,時間的一貫性と物体の動きを正確に保ちながら,動的シーンの高忠実な新規ビュー合成を実現する。 合成と実世界の両方のデータセットに対する実験により、静的環境、複数画像、および/または既知のポーズの場合に設計された最先端のアプローチを著しく上回っていることが示された。 私たちのプロジェクトページはhttps://colin-de.github.io/DynSUP/.com/で公開されています。

関連論文リスト

• PG-SLAM: Photo-realistic and Geometry-aware RGB-D SLAM in Dynamic Environments [49.38692556283867]
  ガウススプラッティングを拡張した写真リアリスティックかつ幾何学的RGB-D SLAM法を提案する。 本手法は,1)非剛体人や剛体物を含む動的前景のマッピング,2)静的背景の再構築,3)カメラのローカライズを行うための3つの主要モジュールから構成される。 実世界の様々なデータセットに対する実験により、カメラのローカライゼーションとシーン表現の観点から、我々の手法が最先端のアプローチより優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-24T12:00:55Z)
• EMD: Explicit Motion Modeling for High-Quality Street Gaussian Splatting [22.590036750925627]
  ストリートシーンの光現実的再構築は、自動運転における実世界のシミュレータの開発に不可欠である。 3D/4Dガウス散乱(GS)に基づく最近の手法は有望な結果を示したが、動的物体の予測不可能な動きのため、複雑な街路シーンではまだ課題に直面している。 本稿では,ガウス人に学習可能な動作埋め込みを導入することで,動的物体の運動をモデル化するEMD(Explicit Motion Decomposition)を提案する。
  論文  参考訳（メタデータ） (2024-11-23T15:10:04Z)
• Shape of Motion: 4D Reconstruction from a Single Video [51.04575075620677]
  本稿では,全列長3D動作を特徴とする汎用動的シーンを再構築する手法を提案する。 シーン動作をコンパクトなSE3モーションベースで表現することで,3次元動作の低次元構造を利用する。 本手法は,3D/2Dの長距離動き推定と動的シーンにおける新しいビュー合成の両面において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-07-18T17:59:08Z)
• Dynamic Gaussian Marbles for Novel View Synthesis of Casual Monocular Videos [58.22272760132996]
  既存の4次元ガウス法は単分子配置が制約されていないため、この設定で劇的に失敗することを示す。 単分子配置の難易度を目標とした3つのコア修正からなる動的ガウス大理石を提案する。 Nvidia Dynamic ScenesデータセットとDyCheck iPhoneデータセットを評価し,Gaussian Marblesが他のGaussianベースラインを著しく上回っていることを示す。
  論文  参考訳（メタデータ） (2024-06-26T19:37:07Z)
• VDG: Vision-Only Dynamic Gaussian for Driving Simulation [112.6139608504842]
  ポーズフリーな動的ガウス法(VDG)に自己教師付きVOを導入する。 VDGはRGB画像入力のみで動作可能で、ポーズフリーのダイナミックビュー合成法に比べて高速で広いシーンで動的シーンを構築することができる。 その結果,現状の動的ビュー合成法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2024-06-26T09:29:21Z)
• Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis [58.5779956899918]
  動的シーンビュー合成と6自由度(6-DOF)追跡のタスクを同時に処理する手法を提案する。 我々は、シーンを3Dガウスアンのコレクションとしてモデル化する最近の研究に触発された、分析バイシンセサイザーの枠組みに従う。 我々は,1人称視点合成,動的合成シーン合成,4次元映像編集など,我々の表現によって実現された多数のダウンストリームアプリケーションを紹介した。
  論文  参考訳（メタデータ） (2023-08-18T17:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。