論文の概要: MoSca: Dynamic Gaussian Fusion from Casual Videos via 4D Motion Scaffolds
- arxiv url: http://arxiv.org/abs/2405.17421v1
- Date: Mon, 27 May 2024 17:59:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-28 13:52:58.346080
- Title: MoSca: Dynamic Gaussian Fusion from Casual Videos via 4D Motion Scaffolds
- Title（参考訳）: MoSca:カジュアルビデオのダイナミックガウス融合を4Dモーションスキャフォールドで実現
- Authors: Jiahui Lei, Yijia Weng, Adam Harley, Leonidas Guibas, Kostas Daniilidis,
- Abstract要約: 野生でカジュアルに撮影されたモノクロビデオから動的シーンの新たなビューを再構築し、合成するために設計された神経情報処理システムである4D Motion Scaffolds(MoSca)を紹介した。
動的レンダリングベンチマークでは、最先端のパフォーマンスが実証されている。
- 参考スコア（独自算出の注目度）: 27.802537831023347
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce 4D Motion Scaffolds (MoSca), a neural information processing system designed to reconstruct and synthesize novel views of dynamic scenes from monocular videos captured casually in the wild. To address such a challenging and ill-posed inverse problem, we leverage prior knowledge from foundational vision models, lift the video data to a novel Motion Scaffold (MoSca) representation, which compactly and smoothly encodes the underlying motions / deformations. The scene geometry and appearance are then disentangled from the deformation field, and are encoded by globally fusing the Gaussians anchored onto the MoSca and optimized via Gaussian Splatting. Additionally, camera poses can be seamlessly initialized and refined during the dynamic rendering process, without the need for other pose estimation tools. Experiments demonstrate state-of-the-art performance on dynamic rendering benchmarks.
- Abstract（参考訳）: 野生でカジュアルに撮影されたモノクロビデオから動的シーンの新たなビューを再構築し、合成するために設計された神経情報処理システムである4D Motion Scaffolds(MoSca)を紹介した。
このような困難かつ不適切な逆問題に対処するために、基礎となる視覚モデルからの事前知識を活用し、映像データを基礎となる動き/変形をコンパクトかつ円滑に符号化するMoSca(MoSca)表現に引き上げる。
シーンの幾何学と外観は変形場から切り離され、世界規模でモスカに固定され、ガウススプラッティングによって最適化される。
さらに、動的なレンダリングプロセス中に、他のポーズ推定ツールを必要とせずに、カメラのポーズをシームレスに初期化し、洗練することができる。
動的レンダリングベンチマークでは、最先端のパフォーマンスが実証されている。
関連論文リスト
- 4D Gaussian Splatting in the Wild with Uncertainty-Aware Regularization [43.81271239333774]
そこで本研究では,カジュアルに記録されたモノクロビデオから動的シーンを動的に撮影する4DGSアルゴリズムを提案する。
提案手法は,ハンドヘルドモノクラーカメラで撮影した映像から4DGS再構成の性能を向上することを示す。
論文 参考訳（メタデータ） (2024-11-13T18:56:39Z) - MotionGS: Exploring Explicit Motion Guidance for Deformable 3D Gaussian Splatting [56.785233997533794]
我々はMotionGSと呼ばれる新しい変形可能な3次元ガウススプレイティングフレームワークを提案する。
MotionGSは3Dガウスの変形を導くために、前もって明示的な動きを探索する。
モノラルなダイナミックシーンの実験では、MotionGSが最先端の手法を超越していることが確認された。
論文 参考訳（メタデータ） (2024-10-10T08:19:47Z) - MoDGS: Dynamic Gaussian Splatting from Casually-captured Monocular Videos [65.31707882676292]
MoDGSは、カジュアルにキャプチャーされたモノクロビデオから、ダイナミックなシーンの新たなビューを描画する新しいパイプラインだ。
実験では、MoDGSはカジュアルにキャプチャされたモノクロビデオから、ダイナミックシーンの高品質なノベルビュー画像をレンダリングできることを示した。
論文 参考訳（メタデータ） (2024-06-01T13:20:46Z) - SC4D: Sparse-Controlled Video-to-4D Generation and Motion Transfer [57.506654943449796]
動作と外観を分離するSC4Dという,効率的でスパース制御されたビデオ・ツー・4Dフレームワークを提案する。
我々の手法は、品質と効率の両面で既存の手法を超越している。
動作を多種多様な4Dエンティティにシームレスに転送する新しいアプリケーションを考案する。
論文 参考訳（メタデータ） (2024-04-04T18:05:18Z) - Diffusion Priors for Dynamic View Synthesis from Monocular Videos [59.42406064983643]
ダイナミックノベルビュー合成は、ビデオ内の視覚的コンテンツの時間的進化を捉えることを目的としている。
まず、ビデオフレーム上に予め訓練されたRGB-D拡散モデルをカスタマイズ手法を用いて微調整する。
動的および静的なニューラルレイディアンス場を含む4次元表現に、微調整されたモデルから知識を蒸留する。
論文 参考訳（メタデータ） (2024-01-10T23:26:41Z) - Real-time Photorealistic Dynamic Scene Representation and Rendering with
4D Gaussian Splatting [8.078460597825142]
2次元画像から動的3Dシーンを再構成し、時間とともに多様なビューを生成することは、シーンの複雑さと時間的ダイナミクスのために困難である。
本研究では、4次元プリミティブの集合を明示的な幾何学と外観モデルを用いて最適化することにより、動的シーンの基本的な時間的レンダリング量を近似することを提案する。
我々のモデルは概念的に単純であり、異方性楕円によってパラメータ化され、空間と時間で任意に回転する4次元ガウスのパラメータと、4次元球面調和係数で表されるビュー依存および時間進化の外観から構成される。
論文 参考訳（メタデータ） (2023-10-16T17:57:43Z) - Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis [58.5779956899918]
動的シーンビュー合成と6自由度(6-DOF)追跡のタスクを同時に処理する手法を提案する。
我々は、シーンを3Dガウスアンのコレクションとしてモデル化する最近の研究に触発された、分析バイシンセサイザーの枠組みに従う。
我々は,1人称視点合成,動的合成シーン合成,4次元映像編集など,我々の表現によって実現された多数のダウンストリームアプリケーションを紹介した。
論文 参考訳（メタデータ） (2023-08-18T17:59:21Z) - SceNeRFlow: Time-Consistent Reconstruction of General Dynamic Scenes [75.9110646062442]
我々はSceNeRFlowを提案し、時間的一貫性のある方法で一般的な非剛体シーンを再構築する。
提案手法は,カメラパラメータを入力として,静止カメラからのマルチビューRGBビデオと背景画像を取得する。
実験により,小規模動作のみを扱う先行作業とは異なり,スタジオスケール動作の再構築が可能であることが示された。
論文 参考訳（メタデータ） (2023-08-16T09:50:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。