論文の概要: PhysCtrl: Generative Physics for Controllable and Physics-Grounded Video Generation
- arxiv url: http://arxiv.org/abs/2509.20358v1
- Date: Wed, 24 Sep 2025 17:58:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-25 20:53:19.933678
- Title: PhysCtrl: Generative Physics for Controllable and Physics-Grounded Video Generation
- Title(参考訳): PhysCtrl:制御可能・物理周囲のビデオ生成のための生成物理
- Authors: Chen Wang, Chuhao Chen, Yiming Huang, Zhiyang Dou, Yuan Liu, Jiatao Gu, Lingjie Liu,
- Abstract要約: 既存の世代モデルは、テキストや画像から写真リアリスティックなビデオを作るのに優れているが、物理的な可視性と3D制御性に欠けることが多い。
本稿では物理パラメータと力制御を備えた物理地上画像生成のための新しいフレームワークであるPhysCtrlを紹介する。
実験によると、PhysCtrlは現実的な物理地上の運動軌跡を生成し、画像とビデオのモデルを駆動する際に高忠実で制御可能なビデオを生成する。
- 参考スコア(独自算出の注目度): 53.06495362038348
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing video generation models excel at producing photo-realistic videos from text or images, but often lack physical plausibility and 3D controllability. To overcome these limitations, we introduce PhysCtrl, a novel framework for physics-grounded image-to-video generation with physical parameters and force control. At its core is a generative physics network that learns the distribution of physical dynamics across four materials (elastic, sand, plasticine, and rigid) via a diffusion model conditioned on physics parameters and applied forces. We represent physical dynamics as 3D point trajectories and train on a large-scale synthetic dataset of 550K animations generated by physics simulators. We enhance the diffusion model with a novel spatiotemporal attention block that emulates particle interactions and incorporates physics-based constraints during training to enforce physical plausibility. Experiments show that PhysCtrl generates realistic, physics-grounded motion trajectories which, when used to drive image-to-video models, yield high-fidelity, controllable videos that outperform existing methods in both visual quality and physical plausibility. Project Page: https://cwchenwang.github.io/physctrl
- Abstract(参考訳): 既存のビデオ生成モデルは、テキストや画像から写真リアリスティックなビデオを作るのに優れるが、物理的な可視性と3D制御性に欠けることが多い。
これらの制限を克服するために,物理パラメータと力制御を備えた物理地上画像生成のための新しいフレームワークであるPhysCtrlを紹介する。
中心となる物理ネットワークは、物理パラメータと応用力に基づく拡散モデルにより、4つの材料(弾性、砂、プラスチック、硬質)にまたがる物理力学の分布を学習する生成物理ネットワークである。
物理力学を3次元点軌道として表現し,物理シミュレータによって生成された550Kアニメーションの大規模合成データセットを訓練する。
粒子相互作用をエミュレートする新しい時空間的注意ブロックを用いて拡散モデルを強化し,物理的妥当性を強制するトレーニング中に物理に基づく制約を組み込む。
実験により、PhysCtrlは、映像から映像へのモデルを駆動する際に、視覚的品質と身体的可視性の両方において既存の手法より優れた、高忠実で制御可能なビデオを生成する、現実的な物理地上の運動軌跡を生成することが示された。
プロジェクトページ: https://cwchenwang.github.io/physctrl
関連論文リスト
- Think Before You Diffuse: LLMs-Guided Physics-Aware Video Generation [55.046699347579455]
DiffPhyは、物理的に正確でリアルなビデオ生成を可能にする汎用的なフレームワークである。
本手法は大規模言語モデル(LLM)を活用し,テキストプロンプトから包括的物理的文脈を明示的に推論する。
また、多様な植物行動やイベントを含む高品質な物理ビデオデータセットを構築し、効果的な微調整を容易にする。
論文 参考訳(メタデータ) (2025-05-27T18:26:43Z) - Morpheus: Benchmarking Physical Reasoning of Video Generative Models with Real Physical Experiments [55.465371691714296]
物理推論に基づく映像生成モデル評価のためのベンチマークであるMorpheusを紹介する。
物理現象を捉えた80の現実世界のビデオが保存法によってガイドされている。
我々の研究結果によると、プロンプトやビデオコンディショニングが進んだとしても、現在のモデルは物理原理をエンコードするのに苦労している。
論文 参考訳(メタデータ) (2025-04-03T15:21:17Z) - PhysGen3D: Crafting a Miniature Interactive World from a Single Image [31.41059199853702]
PhysGen3Dは、単一の画像をアモーダルでカメラ中心のインタラクティブな3Dシーンに変換する新しいフレームワークだ。
中心となるPhysGen3Dは、物体の3D形状、ポーズ、物理的および照明特性を推定する。
我々はPhysGen3Dの性能を、Pika、Kling、Gen-3など、クローズド・ソース・オブ・ザ・アート(SOTA)画像・ビデオモデルと比較した。
論文 参考訳(メタデータ) (2025-03-26T17:31:04Z) - PhysGen: Rigid-Body Physics-Grounded Image-to-Video Generation [29.831214435147583]
本稿では,新しい画像対ビデオ生成法であるPhysGenを提案する。
リアルで、物理的にもっともらしく、時間的に一貫したビデオを生み出す。
我々の重要な洞察は、モデルに基づく物理シミュレーションとデータ駆動のビデオ生成プロセスを統合することである。
論文 参考訳(メタデータ) (2024-09-27T17:59:57Z) - Physics3D: Learning Physical Properties of 3D Gaussians via Video Diffusion [35.71595369663293]
ビデオ拡散モデルを用いて3Dオブジェクトの様々な物理的特性を学習する新しい手法である textbfPhysics3D を提案する。
本手法では,粘弾性材料モデルに基づく高一般化物理シミュレーションシステムを設計する。
弾性材料とプラスチック材料の両方を用いて, 本手法の有効性を実証した。
論文 参考訳(メタデータ) (2024-06-06T17:59:47Z) - DreamPhysics: Learning Physics-Based 3D Dynamics with Video Diffusion Priors [75.83647027123119]
本稿では,映像拡散前の物体の物理的特性を学習することを提案する。
次に,物理に基づくMaterial-Point-Methodシミュレータを用いて,現実的な動きを伴う4Dコンテンツを生成する。
論文 参考訳(メタデータ) (2024-06-03T16:05:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。