論文の概要: PhysMotion: Physics-Grounded Dynamics From a Single Image
- arxiv url: http://arxiv.org/abs/2411.17189v2
- Date: Thu, 28 Nov 2024 05:49:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-02 11:38:19.476367
- Title: PhysMotion: Physics-Grounded Dynamics From a Single Image
- Title（参考訳）: PhysMotion:1枚の画像から物理を取り巻くダイナミクス
- Authors: Xiyang Tan, Ying Jiang, Xuan Li, Zeshun Zong, Tianyi Xie, Yin Yang, Chenfanfu Jiang,
- Abstract要約: 本稿では、物理シミュレーションを利用した新しいフレームワークであるPhysMotionを紹介し、一つの画像と入力条件から生成された中間3次元表現をガイドする。
我々のアプローチは、従来のデータ駆動生成モデルの限界に対処し、より一貫した物理的に妥当な動きをもたらす。
- 参考スコア（独自算出の注目度）: 24.096925413047217
- License:
- Abstract: We introduce PhysMotion, a novel framework that leverages principled physics-based simulations to guide intermediate 3D representations generated from a single image and input conditions (e.g., applied force and torque), producing high-quality, physically plausible video generation. By utilizing continuum mechanics-based simulations as a prior knowledge, our approach addresses the limitations of traditional data-driven generative models and result in more consistent physically plausible motions. Our framework begins by reconstructing a feed-forward 3D Gaussian from a single image through geometry optimization. This representation is then time-stepped using a differentiable Material Point Method (MPM) with continuum mechanics-based elastoplasticity models, which provides a strong foundation for realistic dynamics, albeit at a coarse level of detail. To enhance the geometry, appearance and ensure spatiotemporal consistency, we refine the initial simulation using a text-to-image (T2I) diffusion model with cross-frame attention, resulting in a physically plausible video that retains intricate details comparable to the input image. We conduct comprehensive qualitative and quantitative evaluations to validate the efficacy of our method. Our project page is available at: https://supertan0204.github.io/physmotion_website/.
- Abstract（参考訳）: PhysMotionは、物理シミュレーションの原理を利用して、1つの画像と入力条件(例えば、応用力とトルク)から生成された中間3D表現を誘導し、高品質で物理的に可視な映像を生成する新しいフレームワークである。
連続体力学に基づくシミュレーションを先行知識として活用することにより、従来のデータ駆動型生成モデルの限界に対処し、より一貫した物理的に妥当な動きをもたらす。
我々のフレームワークは、幾何最適化により単一の画像からフィードフォワード3Dガウスを再構成することから始まる。
この表現は、連続体力学に基づく弾塑性モデルを持つ微分可能な材料ポイント法(MPM)を用いて時間ステップで行われる。
形状,外観,時空間整合性を確保するため,テキスト・トゥ・イメージ(T2I)拡散モデルを用いて初期シミュレーションを改良し,入力画像に匹敵する複雑な細部を物理的に検証可能なビデオを生成する。
本手法の有効性を検証するため, 包括的質的, 定量的評価を行った。
私たちのプロジェクトページは、https://supertan0204.github.io/physmotion_website/.com/で利用可能です。
関連論文リスト
- Unleashing the Potential of Multi-modal Foundation Models and Video Diffusion for 4D Dynamic Physical Scene Simulation [9.306758077479472]
マルチモーダル基礎モデルとビデオ拡散を利用して、4次元動的シーンシミュレーションを実現する新しい手法を提案する。
この統合フレームワークは、現実世界のシナリオにおける動的相互作用の正確な予測と現実的なシミュレーションを可能にする。
論文 参考訳（メタデータ） (2024-11-21T18:55:23Z) - PhysGen: Rigid-Body Physics-Grounded Image-to-Video Generation [29.831214435147583]
本稿では,新しい画像対ビデオ生成法であるPhysGenを提案する。
リアルで、物理的にもっともらしく、時間的に一貫したビデオを生み出す。
我々の重要な洞察は、モデルに基づく物理シミュレーションとデータ駆動のビデオ生成プロセスを統合することである。
論文 参考訳（メタデータ） (2024-09-27T17:59:57Z) - Latent Intuitive Physics: Learning to Transfer Hidden Physics from A 3D Video [58.043569985784806]
本稿では,物理シミュレーションのための伝達学習フレームワークである潜在直観物理学を紹介する。
単一の3Dビデオから流体の隠れた性質を推測し、新しいシーンで観察された流体をシミュレートすることができる。
我々は,本モデルの有効性を3つの方法で検証する: (i) 学習されたビジュアルワールド物理を用いた新しいシーンシミュレーション, (ii) 観測された流体力学の将来予測, (iii) 教師付き粒子シミュレーション。
論文 参考訳（メタデータ） (2024-06-18T16:37:44Z) - Physics3D: Learning Physical Properties of 3D Gaussians via Video Diffusion [35.71595369663293]
ビデオ拡散モデルを用いて3Dオブジェクトの様々な物理的特性を学習する新しい手法である textbfPhysics3D を提案する。
本手法では,粘弾性材料モデルに基づく高一般化物理シミュレーションシステムを設計する。
弾性材料とプラスチック材料の両方を用いて, 本手法の有効性を実証した。
論文 参考訳（メタデータ） (2024-06-06T17:59:47Z) - DreamPhysics: Learning Physical Properties of Dynamic 3D Gaussians with Video Diffusion Priors [75.83647027123119]
本稿では,映像拡散前の物体の物理的特性を学習することを提案する。
次に,物理に基づくMaterial-Point-Methodシミュレータを用いて,現実的な動きを伴う4Dコンテンツを生成する。
論文 参考訳（メタデータ） (2024-06-03T16:05:25Z) - Physically Compatible 3D Object Modeling from a Single Image [109.98124149566927]
単一画像を3次元物理オブジェクトに変換するフレームワークを提案する。
我々のフレームワークは、リコンストラクションプロセスに物理的な互換性を組み込む。
既存の手法よりも3Dモデルの物理的リアリズムを一貫して強化する。
論文 参考訳（メタデータ） (2024-05-30T21:59:29Z) - PhyRecon: Physically Plausible Neural Scene Reconstruction [81.73129450090684]
PHYRECONは、微分可能なレンダリングと微分可能な物理シミュレーションの両方を利用して暗黙的な表面表現を学習する最初のアプローチである。
この設計の中心は、SDFに基づく暗黙の表現と明示的な表面点の間の効率的な変換である。
また,物理シミュレータの安定性も向上し,全データセットに対して少なくとも40%の改善が得られた。
論文 参考訳（メタデータ） (2024-04-25T15:06:58Z) - Differentiable Dynamics for Articulated 3d Human Motion Reconstruction [29.683633237503116]
DiffPhyは、映像から3次元の人間の動きを再現する物理モデルである。
モノクロ映像から物理的に可視な3次元動作を正確に再現できることを実証し,本モデルの有効性を検証した。
論文 参考訳（メタデータ） (2022-05-24T17:58:37Z) - {\phi}-SfT: Shape-from-Template with a Physics-Based Deformation Model [69.27632025495512]
Shape-from-Template (SfT) 法では、単一の単眼RGBカメラから3次元表面の変形を推定する。
本稿では,物理シミュレーションによる2次元観察を解説する新しいSfT手法を提案する。
論文 参考訳（メタデータ） (2022-03-22T17:59:57Z) - gradSim: Differentiable simulation for system identification and
visuomotor control [66.37288629125996]
本稿では,微分可能マルチフィジカルシミュレーションと微分可能レンダリングを活用し,3次元監督への依存を克服するフレームワークであるgradsimを提案する。
当社の統合グラフは、状態ベースの(3D)監督に頼ることなく、挑戦的なバイスモメータ制御タスクで学習を可能にします。
論文 参考訳（メタデータ） (2021-04-06T16:32:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。