論文の概要: DGS-LRM: Real-Time Deformable 3D Gaussian Reconstruction From Monocular Videos

• arxiv url: http://arxiv.org/abs/2506.09997v1
• Date: Wed, 11 Jun 2025 17:59:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 06:35:03.199296
• Title: DGS-LRM: Real-Time Deformable 3D Gaussian Reconstruction From Monocular Videos
• Title（参考訳）: DGS-LRM:モノクロ映像からのリアルタイム変形可能な3Dガウス再構成
• Authors: Chieh Hubert Lin, Zhaoyang Lv, Songyin Wu, Zhen Xu, Thu Nguyen-Phuoc, Hung-Yu Tseng, Julian Straub, Numair Khan, Lei Xiao, Ming-Hsuan Yang, Yuheng Ren, Richard Newcombe, Zhao Dong, Zhengqin Li,
• Abstract要約: Deformable Gaussian Splats Large Reconstruction Model (DGS-LRM)を紹介する。 動的シーンのモノクロポーズビデオから変形可能な3Dガウススプラットを予測する最初のフィードフォワード法である。 最先端のモノクロビデオ3D追跡手法と同等の性能を発揮する。
• 参考スコア（独自算出の注目度）: 52.46386528202226
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We introduce the Deformable Gaussian Splats Large Reconstruction Model (DGS-LRM), the first feed-forward method predicting deformable 3D Gaussian splats from a monocular posed video of any dynamic scene. Feed-forward scene reconstruction has gained significant attention for its ability to rapidly create digital replicas of real-world environments. However, most existing models are limited to static scenes and fail to reconstruct the motion of moving objects. Developing a feed-forward model for dynamic scene reconstruction poses significant challenges, including the scarcity of training data and the need for appropriate 3D representations and training paradigms. To address these challenges, we introduce several key technical contributions: an enhanced large-scale synthetic dataset with ground-truth multi-view videos and dense 3D scene flow supervision; a per-pixel deformable 3D Gaussian representation that is easy to learn, supports high-quality dynamic view synthesis, and enables long-range 3D tracking; and a large transformer network that achieves real-time, generalizable dynamic scene reconstruction. Extensive qualitative and quantitative experiments demonstrate that DGS-LRM achieves dynamic scene reconstruction quality comparable to optimization-based methods, while significantly outperforming the state-of-the-art predictive dynamic reconstruction method on real-world examples. Its predicted physically grounded 3D deformation is accurate and can readily adapt for long-range 3D tracking tasks, achieving performance on par with state-of-the-art monocular video 3D tracking methods.
• Abstract（参考訳）: 動的シーンの単眼映像から変形可能な3Dガウス板を予測する最初のフィードフォワード法である変形可能なガウス板大再構成モデル(DGS-LRM)を提案する。 フィードフォワードのシーン再構築は、現実世界の環境のデジタルレプリカを迅速に作成する能力において大きな注目を集めている。 しかし、既存のモデルのほとんどは静的なシーンに限られており、動く物体の動きを再構成することができない。 動的シーン再構築のためのフィードフォワードモデルの開発は、トレーニングデータの不足や適切な3D表現やトレーニングパラダイムの必要性など、大きな課題を提起する。 これらの課題に対処するために、地上のマルチビュービデオと密集した3Dシーンフローの監視を備えた大規模合成データセット、学習が容易で、高品質なダイナミックビュー合成をサポートし、長距離3Dトラッキングを可能にする画素ごとの変形可能な3Dガウス表現、リアルタイムで一般化可能な動的シーン再構築を実現する大きなトランスフォーマーネットワークなど、いくつかの重要な技術的貢献を紹介する。 大規模定性的および定量的実験により、DGS-LRMは最適化手法に匹敵する動的シーン再構成の品質を達成し、実世界の実例では最先端の予測的動的再構成法よりも大幅に優れていることが示された。 物理的に接地された3D変形は正確であり、長距離3D追跡作業に容易に適応でき、最先端のモノクロビデオ3D追跡手法と同等のパフォーマンスを達成できる。

関連論文リスト

• SplineGS: Robust Motion-Adaptive Spline for Real-Time Dynamic 3D Gaussians from Monocular Video [26.468480933928458]
  高品質な再構成とモノクロビデオからの高速レンダリングを実現するために,COLMAPフリーな動的3DガウススティングフレームワークであるSplineGSを提案する。 中心となるのは、連続的な動的3次元ガウス軌道を表す新しい動き適応スプライン(MAS)法である。 カメラパラメータ推定と3次元ガウス属性の同時最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-12-13T09:09:14Z)
• T-3DGS: Removing Transient Objects for 3D Scene Reconstruction [83.05271859398779]
  映像シーケンスにおける過渡的オブジェクトは、3Dシーン再構成の品質を著しく低下させる可能性がある。 我々は,ガウススプラッティングを用いた3次元再構成において,過渡的障害を頑健に除去する新しいフレームワークT-3DGSを提案する。
  論文  参考訳（メタデータ） (2024-11-29T07:45:24Z)
• Event-boosted Deformable 3D Gaussians for Dynamic Scene Reconstruction [50.873820265165975]
  本稿では,高時間分解能連続運動データと動的シーン再構成のための変形可能な3D-GSを併用したイベントカメラについて紹介する。 本稿では、3次元再構成としきい値モデリングの両方を大幅に改善する相互強化プロセスを作成するGS-Thresholdジョイントモデリング戦略を提案する。 提案手法は,合成および実世界の動的シーンを用いた最初のイベント包摂型4Dベンチマークであり,その上で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-11-25T08:23:38Z)
• SpectroMotion: Dynamic 3D Reconstruction of Specular Scenes [7.590932716513324]
  本稿では,3次元ガウス散乱(3DGS)と物理ベースレンダリング(PBR)と変形場を組み合わせた動的特異シーンの再構成手法を提案する。 フォトリアリスティック・リアルワールド・ダイナミック・スペキュラ・シーンを合成できる3DGS法は、現存する唯一のものである。
  論文  参考訳（メタデータ） (2024-10-22T17:59:56Z)
• MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion [118.74385965694694]
  我々は動的シーンから時間ステップごとの幾何を直接推定する新しい幾何学的アプローチであるMotion DUSt3R(MonST3R)を提案する。 各タイムステップのポイントマップを単純に推定することで、静的シーンにのみ使用されるDUST3Rの表現を動的シーンに効果的に適応させることができる。 我々は、問題を微調整タスクとしてポーズし、いくつかの適切なデータセットを特定し、この制限されたデータ上でモデルを戦略的に訓練することで、驚くほどモデルを動的に扱えることを示す。
  論文  参考訳（メタデータ） (2024-10-04T18:00:07Z)
• Modeling Ambient Scene Dynamics for Free-view Synthesis [31.233859111566613]
  モノクルキャプチャから周囲のシーンを動的に自由視点で合成する手法を提案する。 本手法は, 複雑な静的シーンを忠実に再構築できる3次元ガウス散乱(3DGS)の最近の進歩に基づいている。
  論文  参考訳（メタデータ） (2024-06-13T17:59:11Z)
• Motion-aware 3D Gaussian Splatting for Efficient Dynamic Scene Reconstruction [89.53963284958037]
  動的シーン再構築のための新しい動き認識拡張フレームワークを提案する。 具体的には,まず3次元ガウス運動と画素レベルの流れの対応性を確立する。 より厳密な最適化問題を示す先行的な変形に基づくパラダイムに対して,過渡対応変形補助モジュールを提案する。
  論文  参考訳（メタデータ） (2024-03-18T03:46:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。