論文の概要: PhysWorld: From Real Videos to World Models of Deformable Objects via Physics-Aware Demonstration Synthesis
- arxiv url: http://arxiv.org/abs/2510.21447v1
- Date: Fri, 24 Oct 2025 13:25:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-28 09:00:15.485278
- Title: PhysWorld: From Real Videos to World Models of Deformable Objects via Physics-Aware Demonstration Synthesis
- Title(参考訳): PhysWorld:物理を意識したデモ合成によるリアルビデオから変形可能な物体の世界モデル
- Authors: Yu Yang, Zhilu Zhang, Xiang Zhang, Yihan Zeng, Hui Li, Wangmeng Zuo,
- Abstract要約: 物理的に妥当で多様な実演を合成し、効率的な世界モデルを学ぶためのフレームワークであるPhysWorldを提案する。
実験により、PhysWorldは、最新の最先端手法、すなわちPhysTwinよりも47倍高速な推論速度を実現しつつ、競争性能を持つことが示された。
- 参考スコア(独自算出の注目度): 52.905353023326306
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Interactive world models that simulate object dynamics are crucial for robotics, VR, and AR. However, it remains a significant challenge to learn physics-consistent dynamics models from limited real-world video data, especially for deformable objects with spatially-varying physical properties. To overcome the challenge of data scarcity, we propose PhysWorld, a novel framework that utilizes a simulator to synthesize physically plausible and diverse demonstrations to learn efficient world models. Specifically, we first construct a physics-consistent digital twin within MPM simulator via constitutive model selection and global-to-local optimization of physical properties. Subsequently, we apply part-aware perturbations to the physical properties and generate various motion patterns for the digital twin, synthesizing extensive and diverse demonstrations. Finally, using these demonstrations, we train a lightweight GNN-based world model that is embedded with physical properties. The real video can be used to further refine the physical properties. PhysWorld achieves accurate and fast future predictions for various deformable objects, and also generalizes well to novel interactions. Experiments show that PhysWorld has competitive performance while enabling inference speeds 47 times faster than the recent state-of-the-art method, i.e., PhysTwin.
- Abstract(参考訳): オブジェクトのダイナミクスをシミュレートするインタラクティブな世界モデルは、ロボティクス、VR、ARにとって不可欠である。
しかし、特に空間的に変化する物理特性を持つ変形可能な物体について、限られた実世界の映像データから物理一貫性のある力学モデルを学ぶことは依然として重要な課題である。
データ不足の課題を克服するために,シミュレータを用いて物理的に妥当で多様な実演を合成し,効率的な世界モデルを学習する新しいフレームワークであるPhysWorldを提案する。
具体的には、構成モデル選択と物理特性のグローバル・ローカル最適化により、MPMシミュレータ内で物理一貫性のあるディジタルツインを構築する。
その後,デジタル双生児の身体特性に部分認識摂動を適用し,様々な動作パターンを生成し,広範かつ多様なデモンストレーションを合成する。
最後に、これらのデモンストレーションを用いて、物理特性を組み込んだ軽量なGNNベースの世界モデルを訓練する。
実際のビデオは、物理的特性をさらに洗練するために使用することができる。
PhysWorldは、様々な変形可能なオブジェクトの正確かつ高速な将来予測を実現し、新しい相互作用をうまく一般化する。
実験により、PhysWorldは、最新の最先端手法、すなわちPhysTwinよりも47倍高速な推論速度を実現しつつ、競争性能を持つことが示された。
関連論文リスト
- PhysCtrl: Generative Physics for Controllable and Physics-Grounded Video Generation [53.06495362038348]
既存の世代モデルは、テキストや画像から写真リアリスティックなビデオを作るのに優れているが、物理的な可視性と3D制御性に欠けることが多い。
本稿では物理パラメータと力制御を備えた物理地上画像生成のための新しいフレームワークであるPhysCtrlを紹介する。
実験によると、PhysCtrlは現実的な物理地上の運動軌跡を生成し、画像とビデオのモデルを駆動する際に高忠実で制御可能なビデオを生成する。
論文 参考訳(メタデータ) (2025-09-24T17:58:04Z) - PhysGaia: A Physics-Aware Dataset of Multi-Body Interactions for Dynamic Novel View Synthesis [62.283499219361595]
PhysGaiaは動的ノベルビュー合成(DyNVS)のために設計された物理対応のデータセットである。
私たちのデータセットは、複数のオブジェクト間のリッチな相互作用を伴う複雑な動的シナリオを提供します。
PhysGaiaは、動的ビュー合成、物理に基づくシーン理解、および物理シミュレーションと統合されたディープラーニングモデルの研究を著しく前進させる。
論文 参考訳(メタデータ) (2025-06-03T12:19:18Z) - PhysTwin: Physics-Informed Reconstruction and Simulation of Deformable Objects from Videos [21.441062722848265]
PhysTwinは、対話中の動的オブジェクトのスパースビデオを使用して、写真と物理的にリアルでリアルタイムなインタラクティブなレプリカを生成する新しいフレームワークである。
提案手法は,(1)現実的な物理シミュレーションのためにバネ質量モデルを組み合わせた物理インフォームド表現,および幾何学のための生成形状モデル,およびレンダリングのためのガウススプラットである。
本手法は,視覚的知覚の手がかりと逆物理の枠組みを統合し,部分的,隠蔽的,限定的な視点からでも高忠実度復元を可能にする。
論文 参考訳(メタデータ) (2025-03-23T07:49:19Z) - Physics3D: Learning Physical Properties of 3D Gaussians via Video Diffusion [35.71595369663293]
ビデオ拡散モデルを用いて3Dオブジェクトの様々な物理的特性を学習する新しい手法である textbfPhysics3D を提案する。
本手法では,粘弾性材料モデルに基づく高一般化物理シミュレーションシステムを設計する。
弾性材料とプラスチック材料の両方を用いて, 本手法の有効性を実証した。
論文 参考訳(メタデータ) (2024-06-06T17:59:47Z) - DreamPhysics: Learning Physics-Based 3D Dynamics with Video Diffusion Priors [75.83647027123119]
本稿では,映像拡散前の物体の物理的特性を学習することを提案する。
次に,物理に基づくMaterial-Point-Methodシミュレータを用いて,現実的な動きを伴う4Dコンテンツを生成する。
論文 参考訳(メタデータ) (2024-06-03T16:05:25Z) - PhysDreamer: Physics-Based Interaction with 3D Objects via Video Generation [62.53760963292465]
PhysDreamerは物理に基づくアプローチで、静的な3Dオブジェクトにインタラクティブなダイナミクスを与える。
本稿では, 弾性物体の多様な例について考察し, ユーザスタディを通じて合成された相互作用の現実性を評価する。
論文 参考訳(メタデータ) (2024-04-19T17:41:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。