論文の概要: WonderPlay: Dynamic 3D Scene Generation from a Single Image and Actions
- arxiv url: http://arxiv.org/abs/2505.18151v1
- Date: Fri, 23 May 2025 17:59:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-26 18:08:34.268159
- Title: WonderPlay: Dynamic 3D Scene Generation from a Single Image and Actions
- Title（参考訳）: ワンダープレイ:シングルイメージからダイナミックな3Dシーン生成とアクション
- Authors: Zizhang Li, Hong-Xing Yu, Wei Liu, Yin Yang, Charles Herrmann, Gordon Wetzstein, Jiajun Wu,
- Abstract要約: WonderPlayは物理シミュレーションとビデオ生成を統合するフレームワークである。
アクション条件付き動的3Dシーンを1枚の画像から生成する。
WonderPlayは、ユーザが多様なコンテンツのさまざまなシーンと対話することを可能にする。
- 参考スコア（独自算出の注目度）: 49.43000450846916
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: WonderPlay is a novel framework integrating physics simulation with video generation for generating action-conditioned dynamic 3D scenes from a single image. While prior works are restricted to rigid body or simple elastic dynamics, WonderPlay features a hybrid generative simulator to synthesize a wide range of 3D dynamics. The hybrid generative simulator first uses a physics solver to simulate coarse 3D dynamics, which subsequently conditions a video generator to produce a video with finer, more realistic motion. The generated video is then used to update the simulated dynamic 3D scene, closing the loop between the physics solver and the video generator. This approach enables intuitive user control to be combined with the accurate dynamics of physics-based simulators and the expressivity of diffusion-based video generators. Experimental results demonstrate that WonderPlay enables users to interact with various scenes of diverse content, including cloth, sand, snow, liquid, smoke, elastic, and rigid bodies -- all using a single image input. Code will be made public. Project website: https://kyleleey.github.io/WonderPlay/
- Abstract（参考訳）: WonderPlayは、物理シミュレーションとビデオ生成を統合した新しいフレームワークで、アクション条件付き動的3Dシーンを単一の画像から生成する。
以前の作品は剛体や単純な弾性力学に制限されているが、WonderPlayは様々な3Dダイナミクスを合成するためのハイブリッドな生成シミュレータを備えている。
ハイブリッド生成シミュレータは、まず物理ソルバを使用して粗い3Dダイナミクスをシミュレートし、次にビデオジェネレータを条件に、より細かなよりリアルなモーションでビデオを生成する。
生成されたビデオは、シミュレーションされたダイナミックな3Dシーンを更新し、物理ソルバとビデオジェネレータの間のループを閉じる。
このアプローチにより、直感的なユーザ制御と物理ベースシミュレータの正確なダイナミクスと拡散ベースビデオジェネレータの表現性を組み合わせることができる。
実験結果によると、ワンダープレイでは、布、砂、雪、液体、煙、弾力性、硬い体など、さまざまな種類のコンテンツと対話できる。
コードは公開されます。
プロジェクトウェブサイト: https://kyleleey.github.io/WonderPlay/
関連論文リスト
- Learning 3D-Gaussian Simulators from RGB Videos [20.250137125726265]
3DGSimは、多視点RGBビデオからオブジェクトダイナミクスをエンドツーエンドに学習する3D物理シミュレータである。
画像を3Dガウス粒子表現にエンコードし、トランスフォーマーを介してダイナミクスを伝播し、3Dガウススプレイティングを用いてフレームをレンダリングする。
論文 参考訳（メタデータ） (2025-03-31T12:33:59Z) - Animating the Uncaptured: Humanoid Mesh Animation with Video Diffusion Models [71.78723353724493]
ヒューマノイド文字のアニメーションは、様々なグラフィックス応用において不可欠である。
入力された静的な3次元ヒューマノイドメッシュの4次元アニメーションシーケンスを合成する手法を提案する。
論文 参考訳（メタデータ） (2025-03-20T10:00:22Z) - Gaussians-to-Life: Text-Driven Animation of 3D Gaussian Splatting Scenes [49.26872036160368]
ガウススティング表現における高品質な3Dシーンの一部をアニメーションする手法を提案する。
従来の作業とは対照的に、複雑な既存の3Dシーンのリアルなアニメーションを可能にする。
論文 参考訳（メタデータ） (2024-11-28T16:01:58Z) - PhysGen: Rigid-Body Physics-Grounded Image-to-Video Generation [29.831214435147583]
本稿では,新しい画像対ビデオ生成法であるPhysGenを提案する。
リアルで、物理的にもっともらしく、時間的に一貫したビデオを生み出す。
我々の重要な洞察は、モデルに基づく物理シミュレーションとデータ駆動のビデオ生成プロセスを統合することである。
論文 参考訳（メタデータ） (2024-09-27T17:59:57Z) - VideoPhy: Evaluating Physical Commonsense for Video Generation [93.28748850301949]
生成したビデオが現実世界のアクティビティの物理的常識に従うかどうかを評価するためのベンチマークであるVideoPhyを提示する。
そして、さまざまな最先端のテキスト・ビデオ生成モデルからキャプションに条件付けされたビデオを生成する。
人間の評価では、既存のモデルには、与えられたテキストプロンプトに付着したビデオを生成する能力が欠けていることが判明した。
論文 参考訳（メタデータ） (2024-06-05T17:53:55Z) - DreamPhysics: Learning Physics-Based 3D Dynamics with Video Diffusion Priors [75.83647027123119]
本稿では,映像拡散前の物体の物理的特性を学習することを提案する。
次に,物理に基づくMaterial-Point-Methodシミュレータを用いて,現実的な動きを伴う4Dコンテンツを生成する。
論文 参考訳（メタデータ） (2024-06-03T16:05:25Z) - Generative Camera Dolly: Extreme Monocular Dynamic Novel View Synthesis [43.02778060969546]
制御可能な単分子動的ビュー合成パイプラインを提案する。
我々のモデルは入力として深度を必要としないし、明示的に3次元シーン形状をモデル化しない。
私たちのフレームワークは、リッチな動的シーン理解、ロボット工学の知覚、バーチャルリアリティのためのインタラクティブな3Dビデオ視聴体験において、強力なアプリケーションをアンロックできる可能性があると考えています。
論文 参考訳（メタデータ） (2024-05-23T17:59:52Z) - Learning 3D Particle-based Simulators from RGB-D Videos [15.683877597215494]
本研究では,シミュレータを直接観測から学習する手法を提案する。
視覚粒子ダイナミクス(VPD)は、3Dシーンの潜在粒子ベースの表現を共同で学習する。
既存の2Dビデオ予測モデルとは異なり、VPDの3D構造はシーン編集と長期予測を可能にする。
論文 参考訳（メタデータ） (2023-12-08T20:45:34Z) - Playable Environments: Video Manipulation in Space and Time [98.0621309257937]
再生可能な環境 - 空間と時間におけるインタラクティブなビデオ生成と操作のための新しい表現。
提案フレームワークでは,1枚の画像を推論時に生成し,対象物を3次元に移動させ,所望のアクションを連続して生成する。
提案手法は,各フレームの環境状態を構築し,提案したアクションモジュールで操作し,ボリュームレンダリングで画像空間に復号化することができる。
論文 参考訳（メタデータ） (2022-03-03T18:51:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。