論文の概要: Sync4D: Video Guided Controllable Dynamics for Physics-Based 4D Generation
- arxiv url: http://arxiv.org/abs/2405.16849v2
- Date: Thu, 6 Jun 2024 13:27:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-07 20:13:39.059398
- Title: Sync4D: Video Guided Controllable Dynamics for Physics-Based 4D Generation
- Title（参考訳）: Sync4D:物理ベースの4D生成のためのビデオガイド制御可能なダイナミクス
- Authors: Zhoujie Fu, Jiacheng Wei, Wenhao Shen, Chaoyue Song, Xiaofeng Yang, Fayao Liu, Xulei Yang, Guosheng Lin,
- Abstract要約: そこで我々は, カジュアルにキャプチャした参照ビデオを用いて, 3次元ガウシアンにおける制御可能なダイナミックスを作成する新しい手法を提案する。
提案手法は,参照ビデオから様々なカテゴリで生成された様々な3Dガウスにオブジェクトの動きを転送する。
本手法は, 形状整合性と時間的整合性の両方を維持しながら, 特異かつ高品質な運動伝達を提供する。
- 参考スコア（独自算出の注目度）: 47.203483017875726
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work, we introduce a novel approach for creating controllable dynamics in 3D-generated Gaussians using casually captured reference videos. Our method transfers the motion of objects from reference videos to a variety of generated 3D Gaussians across different categories, ensuring precise and customizable motion transfer. We achieve this by employing blend skinning-based non-parametric shape reconstruction to extract the shape and motion of reference objects. This process involves segmenting the reference objects into motion-related parts based on skinning weights and establishing shape correspondences with generated target shapes. To address shape and temporal inconsistencies prevalent in existing methods, we integrate physical simulation, driving the target shapes with matched motion. This integration is optimized through a displacement loss to ensure reliable and genuine dynamics. Our approach supports diverse reference inputs, including humans, quadrupeds, and articulated objects, and can generate dynamics of arbitrary length, providing enhanced fidelity and applicability. Unlike methods heavily reliant on diffusion video generation models, our technique offers specific and high-quality motion transfer, maintaining both shape integrity and temporal consistency.
- Abstract（参考訳）: 本研究では, カジュアルにキャプチャした参照ビデオを用いて, 3次元ガウシアンに制御可能なダイナミックスを作成する手法を提案する。
提案手法は,オブジェクトの動作を参照ビデオから様々なカテゴリで生成した様々な3Dガウスに転送することで,高精度かつカスタマイズ可能なモーション転送を実現する。
本研究では, 混合スキンを用いた非パラメトリック形状再構成を用いて, 参照物体の形状と動きを抽出する。
このプロセスでは、参照対象をスキンウェイトに基づいて動作関連部分に分割し、生成されたターゲット形状と形状対応を確立する。
既存の手法では, 形状と時間的矛盾に対処するため, 物理シミュレーションを統合し, 目標形状を一致運動で駆動する。
この積分は、信頼性と真のダイナミクスを保証するために変位損失によって最適化される。
提案手法は,人間,四重奏曲,明瞭な対象を含む多様な参照入力をサポートし,任意の長さのダイナミックスを生成し,忠実度と適用性を向上させる。
拡散ビデオ生成モデルに大きく依存する手法とは異なり,本手法は,形状整合性と時間整合性の両方を維持しつつ,特定かつ高品質なモーショントランスファーを提供する。
関連論文リスト
- PhysMotion: Physics-Grounded Dynamics From a Single Image [24.096925413047217]
物理シミュレーションの原理を取り入れた新しいフレームワークであるPhysMotionを導入し,1つの画像から生成された中間3次元表現をガイドする。
我々のアプローチは、従来のデータ駆動生成モデルの限界に対処し、より一貫した物理的に妥当な動きをもたらす。
論文 参考訳（メタデータ） (2024-11-26T07:59:11Z) - EgoGaussian: Dynamic Scene Understanding from Egocentric Video with 3D Gaussian Splatting [95.44545809256473]
エゴガウスアン(EgoGaussian)は、3Dシーンを同時に再構築し、RGBエゴセントリックな入力のみから3Dオブジェクトの動きを動的に追跡する手法である。
動的オブジェクトと背景再構築の品質の両面で,最先端技術と比較して大きな改善が見られた。
論文 参考訳（メタデータ） (2024-06-28T10:39:36Z) - SC4D: Sparse-Controlled Video-to-4D Generation and Motion Transfer [57.506654943449796]
動作と外観を分離するSC4Dという,効率的でスパース制御されたビデオ・ツー・4Dフレームワークを提案する。
我々の手法は、品質と効率の両面で既存の手法を超越している。
動作を多種多様な4Dエンティティにシームレスに転送する新しいアプリケーションを考案する。
論文 参考訳（メタデータ） (2024-04-04T18:05:18Z) - Champ: Controllable and Consistent Human Image Animation with 3D Parametric Guidance [25.346255905155424]
本稿では,潜伏拡散フレームワーク内での3次元人間のパラメトリックモデルを活用することで,人間の画像アニメーションの方法論を提案する。
人間の3次元パラメトリックモデルを動作誘導として表現することにより、基準画像と音源映像の動きの間に人体のパラメトリック形状アライメントを行うことができる。
提案手法は,提案した組込みデータセットに対して,より優れた一般化能力を示す。
論文 参考訳（メタデータ） (2024-03-21T18:52:58Z) - Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis [58.5779956899918]
動的シーンビュー合成と6自由度(6-DOF)追跡のタスクを同時に処理する手法を提案する。
我々は、シーンを3Dガウスアンのコレクションとしてモデル化する最近の研究に触発された、分析バイシンセサイザーの枠組みに従う。
我々は,1人称視点合成,動的合成シーン合成,4次元映像編集など,我々の表現によって実現された多数のダウンストリームアプリケーションを紹介した。
論文 参考訳（メタデータ） (2023-08-18T17:59:21Z) - NeuPhysics: Editable Neural Geometry and Physics from Monocular Videos [82.74918564737591]
本稿では,モノクラーRGBビデオ入力のみから動的シーンの3次元形状と物理パラメータを学習する手法を提案する。
実験により,提案手法は,競合するニューラルフィールドアプローチと比較して,動的シーンのメッシュとビデオの再構成に優れることを示した。
論文 参考訳（メタデータ） (2022-10-22T04:57:55Z) - Differentiable Dynamics for Articulated 3d Human Motion Reconstruction [29.683633237503116]
DiffPhyは、映像から3次元の人間の動きを再現する物理モデルである。
モノクロ映像から物理的に可視な3次元動作を正確に再現できることを実証し,本モデルの有効性を検証した。
論文 参考訳（メタデータ） (2022-05-24T17:58:37Z) - Hierarchical Style-based Networks for Motion Synthesis [150.226137503563]
本研究では,特定の目標地点を達成するために,長距離・多種多様・多様な行動を生成する自己指導手法を提案する。
提案手法は,長距離生成タスクを階層的に分解することで人間の動作をモデル化する。
大規模な骨格データから, 提案手法は長距離, 多様な, もっともらしい動きを合成できることを示す。
論文 参考訳（メタデータ） (2020-08-24T02:11:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。