論文の概要: Phy124: Fast Physics-Driven 4D Content Generation from a Single Image
- arxiv url: http://arxiv.org/abs/2409.07179v1
- Date: Wed, 11 Sep 2024 10:41:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-12 14:49:40.636234
- Title: Phy124: Fast Physics-Driven 4D Content Generation from a Single Image
- Title（参考訳）: Phy124: 単一画像からの高速物理駆動4Dコンテンツ生成
- Authors: Jiajing Lin, Zhenzhong Wang, Yongjie Hou, Yuzhou Tang, Min Jiang,
- Abstract要約: 単一画像から4Dコンテンツを生成する新しい高速物理駆動方式であるPhy124を紹介する。
Phy124は物理シミュレーションを直接4D生成プロセスに統合し、結果の4Dコンテンツが自然の物理法則に従うことを保証する。
実験により、Phy124は推論時間を大幅に短縮した高忠実度4Dコンテンツを生成することが示された。
- 参考スコア（独自算出の注目度）: 3.0613673973976625
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 4D content generation focuses on creating dynamic 3D objects that change over time. Existing methods primarily rely on pre-trained video diffusion models, utilizing sampling processes or reference videos. However, these approaches face significant challenges. Firstly, the generated 4D content often fails to adhere to real-world physics since video diffusion models do not incorporate physical priors. Secondly, the extensive sampling process and the large number of parameters in diffusion models result in exceedingly time-consuming generation processes. To address these issues, we introduce Phy124, a novel, fast, and physics-driven method for controllable 4D content generation from a single image. Phy124 integrates physical simulation directly into the 4D generation process, ensuring that the resulting 4D content adheres to natural physical laws. Phy124 also eliminates the use of diffusion models during the 4D dynamics generation phase, significantly speeding up the process. Phy124 allows for the control of 4D dynamics, including movement speed and direction, by manipulating external forces. Extensive experiments demonstrate that Phy124 generates high-fidelity 4D content with significantly reduced inference times, achieving stateof-the-art performance. The code and generated 4D content are available at the provided link: https://anonymous.4open.science/r/BBF2/.
- Abstract（参考訳）: 4Dコンテンツ生成は、時間とともに変化する動的な3Dオブジェクトの作成に焦点を当てている。
既存の方法は、主にサンプリングプロセスや参照ビデオを利用して、トレーニング済みのビデオ拡散モデルに依存している。
しかし、これらのアプローチは重大な課題に直面している。
第一に、生成した4Dコンテンツは、ビデオ拡散モデルに物理の先入観が組み込まれていないため、現実世界の物理に従わないことが多い。
第二に、拡散モデルにおける広範囲なサンプリングプロセスと多数のパラメータは、非常に時間を要する生成プロセスをもたらす。
これらの問題に対処するために、単一画像から4Dコンテンツを生成する新しい高速物理駆動方式であるPhy124を紹介する。
Phy124は物理シミュレーションを直接4D生成プロセスに統合し、結果の4Dコンテンツが自然の物理法則に従うことを保証する。
Phy124はまた、4Dダイナミックス生成フェーズにおける拡散モデルの使用を排除し、プロセスを大幅に高速化する。
Phy124は、外力を操作することで、移動速度や方向を含む4Dダイナミックスの制御を可能にする。
広汎な実験により,Phy124は推論時間を大幅に短縮した高忠実度4Dコンテンツを生成し,最先端の性能を実現した。
コードと生成された4Dコンテンツは、 https://anonymous.4open.science/r/BBF2/.com/で公開されている。
関連論文リスト
- Phys4DGen: A Physics-Driven Framework for Controllable and Efficient 4D Content Generation from a Single Image [3.131272328696594]
既存の方法は、4Dコンテンツのダイナミクスを導くために、事前訓練されたビデオ拡散モデルに大きく依存している。
物理対応の4Dコンテンツを生成する新しいフレームワークであるPhys4DGenを提案する。
物理的特性を視覚的に推測する人間の能力に触発され,物理知覚モジュールが導入された。
論文 参考訳（メタデータ） (2024-11-25T12:12:38Z) - DreamPhysics: Learning Physical Properties of Dynamic 3D Gaussians with Video Diffusion Priors [75.83647027123119]
本稿では,映像拡散前の物体の物理的特性を学習することを提案する。
次に,物理に基づくMaterial-Point-Methodシミュレータを用いて,現実的な動きを伴う4Dコンテンツを生成する。
論文 参考訳（メタデータ） (2024-06-03T16:05:25Z) - 4Diffusion: Multi-view Video Diffusion Model for 4D Generation [55.82208863521353]
現在の4D生成法は, 高度な拡散生成モデルの助けを借りて, 有意義な有効性を実現している。
モノクロビデオから空間的・時間的に一貫した4Dコンテンツを生成することを目的とした,新しい4D生成パイプライン,すなわち4Diffusionを提案する。
論文 参考訳（メタデータ） (2024-05-31T08:18:39Z) - Diffusion4D: Fast Spatial-temporal Consistent 4D Generation via Video Diffusion Models [116.31344506738816]
高速でスケーラブルな4Dコンテンツ生成のための新しいフレームワーク textbfDiffusion4D を提案する。
ダイナミックな3Dアセットの軌道ビューを合成できる4D対応ビデオ拡散モデルを開発した。
提案手法は, 生成効率と4次元幾何整合性の観点から, 従来の最先端技術を超えている。
論文 参考訳（メタデータ） (2024-05-26T17:47:34Z) - SC4D: Sparse-Controlled Video-to-4D Generation and Motion Transfer [57.506654943449796]
動作と外観を分離するSC4Dという,効率的でスパース制御されたビデオ・ツー・4Dフレームワークを提案する。
我々の手法は、品質と効率の両面で既存の手法を超越している。
動作を多種多様な4Dエンティティにシームレスに転送する新しいアプリケーションを考案する。
論文 参考訳（メタデータ） (2024-04-04T18:05:18Z) - AnimateMe: 4D Facial Expressions via Diffusion Models [72.63383191654357]
拡散モデルの最近の進歩により、2次元アニメーションにおける生成モデルの能力が向上した。
グラフニューラルネットワーク(GNN)は,メッシュ空間上で直接拡散過程を定式化し,新しい手法で拡散モデルを記述する。
これにより、メッシュ拡散モデルによる顔の変形の発生が容易になる。
論文 参考訳（メタデータ） (2024-03-25T21:40:44Z) - Efficient4D: Fast Dynamic 3D Object Generation from a Single-view Video [42.10482273572879]
本稿では,効率的な4Dオブジェクト生成フレームワークであるEfficient4Dを提案する。
異なるカメラビューの下で高品質な時空一貫性の画像を生成し、ラベル付きデータとして使用する。
合成ビデオと実ビデオの両方の実験によると、Efficient4Dのスピードは10倍に向上している。
論文 参考訳（メタデータ） (2024-01-16T18:58:36Z) - Animate124: Animating One Image to 4D Dynamic Scene [108.17635645216214]
Animate124は、テキストによる動作記述を通じて、単一のWildイメージを3Dビデオにアニメーションする最初の作品である。
提案手法は,既存のベースラインよりも大幅に進歩したことを示す。
論文 参考訳（メタデータ） (2023-11-24T16:47:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。