論文の概要: WonderPlay: Dynamic 3D Scene Generation from a Single Image and Actions
- arxiv url: http://arxiv.org/abs/2505.18151v1
- Date: Fri, 23 May 2025 17:59:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-26 18:08:34.268159
- Title: WonderPlay: Dynamic 3D Scene Generation from a Single Image and Actions
- Title（参考訳）: ワンダープレイ:シングルイメージからダイナミックな3Dシーン生成とアクション
- Authors: Zizhang Li, Hong-Xing Yu, Wei Liu, Yin Yang, Charles Herrmann, Gordon Wetzstein, Jiajun Wu,
- Abstract要約: WonderPlayは物理シミュレーションとビデオ生成を統合するフレームワークである。
アクション条件付き動的3Dシーンを1枚の画像から生成する。
WonderPlayは、ユーザが多様なコンテンツのさまざまなシーンと対話することを可能にする。
- 参考スコア（独自算出の注目度）: 49.43000450846916
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: WonderPlay is a novel framework integrating physics simulation with video generation for generating action-conditioned dynamic 3D scenes from a single image. While prior works are restricted to rigid body or simple elastic dynamics, WonderPlay features a hybrid generative simulator to synthesize a wide range of 3D dynamics. The hybrid generative simulator first uses a physics solver to simulate coarse 3D dynamics, which subsequently conditions a video generator to produce a video with finer, more realistic motion. The generated video is then used to update the simulated dynamic 3D scene, closing the loop between the physics solver and the video generator. This approach enables intuitive user control to be combined with the accurate dynamics of physics-based simulators and the expressivity of diffusion-based video generators. Experimental results demonstrate that WonderPlay enables users to interact with various scenes of diverse content, including cloth, sand, snow, liquid, smoke, elastic, and rigid bodies -- all using a single image input. Code will be made public. Project website: https://kyleleey.github.io/WonderPlay/
- Abstract（参考訳）: WonderPlayは、物理シミュレーションとビデオ生成を統合した新しいフレームワークで、アクション条件付き動的3Dシーンを単一の画像から生成する。
以前の作品は剛体や単純な弾性力学に制限されているが、WonderPlayは様々な3Dダイナミクスを合成するためのハイブリッドな生成シミュレータを備えている。
ハイブリッド生成シミュレータは、まず物理ソルバを使用して粗い3Dダイナミクスをシミュレートし、次にビデオジェネレータを条件に、より細かなよりリアルなモーションでビデオを生成する。
生成されたビデオは、シミュレーションされたダイナミックな3Dシーンを更新し、物理ソルバとビデオジェネレータの間のループを閉じる。
このアプローチにより、直感的なユーザ制御と物理ベースシミュレータの正確なダイナミクスと拡散ベースビデオジェネレータの表現性を組み合わせることができる。
実験結果によると、ワンダープレイでは、布、砂、雪、液体、煙、弾力性、硬い体など、さまざまな種類のコンテンツと対話できる。
コードは公開されます。
プロジェクトウェブサイト: https://kyleleey.github.io/WonderPlay/
関連論文リスト
- Learning 3D-Gaussian Simulators from RGB Videos [20.250137125726265]
3DGSimは、多視点RGBビデオからオブジェクトダイナミクスをエンドツーエンドに学習する3D物理シミュレータである。
画像を3Dガウス粒子表現にエンコードし、トランスフォーマーを介してダイナミクスを伝播し、3Dガウススプレイティングを用いてフレームをレンダリングする。
論文 参考訳（メタデータ） (2025-03-31T12:33:59Z) - Gaussians-to-Life: Text-Driven Animation of 3D Gaussian Splatting Scenes [49.26872036160368]
ガウススティング表現における高品質な3Dシーンの一部をアニメーションする手法を提案する。
従来の作業とは対照的に、複雑な既存の3Dシーンのリアルなアニメーションを可能にする。
論文 参考訳（メタデータ） (2024-11-28T16:01:58Z) - PhysGen: Rigid-Body Physics-Grounded Image-to-Video Generation [29.831214435147583]
本稿では,新しい画像対ビデオ生成法であるPhysGenを提案する。
リアルで、物理的にもっともらしく、時間的に一貫したビデオを生み出す。
我々の重要な洞察は、モデルに基づく物理シミュレーションとデータ駆動のビデオ生成プロセスを統合することである。
論文 参考訳（メタデータ） (2024-09-27T17:59:57Z) - VideoPhy: Evaluating Physical Commonsense for Video Generation [93.28748850301949]
生成したビデオが現実世界のアクティビティの物理的常識に従うかどうかを評価するためのベンチマークであるVideoPhyを提示する。
そして、さまざまな最先端のテキスト・ビデオ生成モデルからキャプションに条件付けされたビデオを生成する。
人間の評価では、既存のモデルには、与えられたテキストプロンプトに付着したビデオを生成する能力が欠けていることが判明した。
論文 参考訳（メタデータ） (2024-06-05T17:53:55Z) - DreamPhysics: Learning Physics-Based 3D Dynamics with Video Diffusion Priors [75.83647027123119]
本稿では,映像拡散前の物体の物理的特性を学習することを提案する。
次に,物理に基づくMaterial-Point-Methodシミュレータを用いて,現実的な動きを伴う4Dコンテンツを生成する。
論文 参考訳（メタデータ） (2024-06-03T16:05:25Z) - Generative Camera Dolly: Extreme Monocular Dynamic Novel View Synthesis [43.02778060969546]
制御可能な単分子動的ビュー合成パイプラインを提案する。
我々のモデルは入力として深度を必要としないし、明示的に3次元シーン形状をモデル化しない。
私たちのフレームワークは、リッチな動的シーン理解、ロボット工学の知覚、バーチャルリアリティのためのインタラクティブな3Dビデオ視聴体験において、強力なアプリケーションをアンロックできる可能性があると考えています。
論文 参考訳（メタデータ） (2024-05-23T17:59:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。