論文の概要: MoDGS: Dynamic Gaussian Splatting from Casually-captured Monocular Videos
- arxiv url: http://arxiv.org/abs/2406.00434v2
- Date: Tue, 29 Oct 2024 09:50:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-30 13:36:56.621423
- Title: MoDGS: Dynamic Gaussian Splatting from Casually-captured Monocular Videos
- Title（参考訳）: MoDGS:Casually-Captured Monocular Videoの動的ガウススプレイティング
- Authors: Qingming Liu, Yuan Liu, Jiepeng Wang, Xianqiang Lyv, Peng Wang, Wenping Wang, Junhui Hou,
- Abstract要約: MoDGSは、カジュアルにキャプチャーされたモノクロビデオから、ダイナミックなシーンの新たなビューを描画する新しいパイプラインだ。
実験では、MoDGSはカジュアルにキャプチャされたモノクロビデオから、ダイナミックシーンの高品質なノベルビュー画像をレンダリングできることを示した。
- 参考スコア（独自算出の注目度）: 65.31707882676292
- License:
- Abstract: In this paper, we propose MoDGS, a new pipeline to render novel views of dy namic scenes from a casually captured monocular video. Previous monocular dynamic NeRF or Gaussian Splatting methods strongly rely on the rapid move ment of input cameras to construct multiview consistency but struggle to recon struct dynamic scenes on casually captured input videos whose cameras are either static or move slowly. To address this challenging task, MoDGS adopts recent single-view depth estimation methods to guide the learning of the dynamic scene. Then, a novel 3D-aware initialization method is proposed to learn a reasonable deformation field and a new robust depth loss is proposed to guide the learning of dynamic scene geometry. Comprehensive experiments demonstrate that MoDGS is able to render high-quality novel view images of dynamic scenes from just a casually captured monocular video, which outperforms state-of-the-art meth ods by a significant margin. The code will be publicly available.
- Abstract（参考訳）: 本稿では,カジュアルにキャプチャーされたモノクロビデオからダイナミックシーンの新たなビューを描画する新しいパイプラインであるMoDGSを提案する。
従来のモノクラーダイナミックNeRFやガウス・スプレイティング手法は、マルチビュー一貫性を構築するために、入力カメラの迅速な移動に強く依存しているが、カメラが静的か遅いかのどちらかであるカジュアルにキャプチャされた入力ビデオの動的シーンの再構築に苦労している。
この課題に対処するため、MoDGSは最近のシングルビュー深度推定手法を採用し、ダイナミックシーンの学習をガイドしている。
そこで, 動的シーン形状の学習を支援するために, 合理的な変形場を学習するための新しい3D認識初期化法を提案し, 新たなロバストな深さ損失を提案している。
総合的な実験により、MoDGSは、カジュアルにキャプチャーされたモノクロビデオから、ダイナミックなシーンの高品質なノウハウを表現できることが実証された。
コードは公開されます。
関連論文リスト
- Shape of Motion: 4D Reconstruction from a Single Video [51.04575075620677]
本稿では,全列長3D動作を特徴とする汎用動的シーンを再構築する手法を提案する。
シーン動作をコンパクトなSE3モーションベースで表現することで,3次元動作の低次元構造を利用する。
本手法は,3D/2Dの長距離動き推定と動的シーンにおける新しいビュー合成の両面において,最先端の性能を実現する。
論文 参考訳（メタデータ） (2024-07-18T17:59:08Z) - Modeling Ambient Scene Dynamics for Free-view Synthesis [31.233859111566613]
モノクルキャプチャから周囲のシーンを動的に自由視点で合成する手法を提案する。
本手法は, 複雑な静的シーンを忠実に再構築できる3次元ガウス散乱(3DGS)の最近の進歩に基づいている。
論文 参考訳（メタデータ） (2024-06-13T17:59:11Z) - MoSca: Dynamic Gaussian Fusion from Casual Videos via 4D Motion Scaffolds [27.802537831023347]
野生でカジュアルに撮影されたモノクロビデオから動的シーンの新たなビューを再構築し、合成するために設計された神経情報処理システムである4D Motion Scaffolds(MoSca)を紹介した。
動的レンダリングベンチマークでは、最先端のパフォーマンスが実証されている。
論文 参考訳（メタデータ） (2024-05-27T17:59:07Z) - Decoupling Dynamic Monocular Videos for Dynamic View Synthesis [50.93409250217699]
動的モノクロビデオからの動的ビュー合成の課題を教師なしで解決する。
具体的には、動的物体の運動を物体の動きとカメラの動きに分離し、教師なし表面の整合性およびパッチベースのマルチビュー制約によって規則化する。
論文 参考訳（メタデータ） (2023-04-04T11:25:44Z) - DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。
我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。
動的シーンデータセットにおける最先端手法の大幅な改善を示す。
論文 参考訳（メタデータ） (2022-11-20T20:57:02Z) - Unsupervised Monocular Depth Reconstruction of Non-Rigid Scenes [87.91841050957714]
本稿では,ダイナミックシーンの深度推定のための非監視単眼フレームワークを提案する。
再構成した3次元点間の対数距離を日和見的に保存することを目的とした訓練目標を導出する。
提案手法は,非剛性シーンの挑戦的な映像から3Dを再構成する能力を実証し,有望な結果を提供する。
論文 参考訳（メタデータ） (2020-12-31T16:02:03Z) - Non-Rigid Neural Radiance Fields: Reconstruction and Novel View
Synthesis of a Dynamic Scene From Monocular Video [76.19076002661157]
Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。
一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
論文 参考訳（メタデータ） (2020-12-22T18:46:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。