論文の概要: Physics3D: Learning Physical Properties of 3D Gaussians via Video Diffusion
- arxiv url: http://arxiv.org/abs/2406.04338v2
- Date: Fri, 7 Jun 2024 01:30:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-10 12:43:28.504520
- Title: Physics3D: Learning Physical Properties of 3D Gaussians via Video Diffusion
- Title（参考訳）: 物理3D:ビデオ拡散による3Dガウスの物理特性の学習
- Authors: Fangfu Liu, Hanyang Wang, Shunyu Yao, Shengjun Zhang, Jie Zhou, Yueqi Duan,
- Abstract要約: ビデオ拡散モデルを用いて3Dオブジェクトの様々な物理的特性を学習する新しい手法である textbfPhysics3D を提案する。
本手法では,粘弾性材料モデルに基づく高一般化物理シミュレーションシステムを設計する。
弾性材料とプラスチック材料の両方を用いて, 本手法の有効性を実証した。
- 参考スコア（独自算出の注目度）: 35.71595369663293
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, there has been rapid development in 3D generation models, opening up new possibilities for applications such as simulating the dynamic movements of 3D objects and customizing their behaviors. However, current 3D generative models tend to focus only on surface features such as color and shape, neglecting the inherent physical properties that govern the behavior of objects in the real world. To accurately simulate physics-aligned dynamics, it is essential to predict the physical properties of materials and incorporate them into the behavior prediction process. Nonetheless, predicting the diverse materials of real-world objects is still challenging due to the complex nature of their physical attributes. In this paper, we propose \textbf{Physics3D}, a novel method for learning various physical properties of 3D objects through a video diffusion model. Our approach involves designing a highly generalizable physical simulation system based on a viscoelastic material model, which enables us to simulate a wide range of materials with high-fidelity capabilities. Moreover, we distill the physical priors from a video diffusion model that contains more understanding of realistic object materials. Extensive experiments demonstrate the effectiveness of our method with both elastic and plastic materials. Physics3D shows great potential for bridging the gap between the physical world and virtual neural space, providing a better integration and application of realistic physical principles in virtual environments. Project page: https://liuff19.github.io/Physics3D.
- Abstract（参考訳）: 近年,3次元オブジェクトの動的動きをシミュレートしたり,動作をカスタマイズしたりといった応用の可能性が高まっている。
しかし、現在の3D生成モデルは、現実世界の物体の挙動を規定する固有の物理的特性を無視し、色や形状のような表面的特徴にのみ焦点をあてる傾向にある。
物理に整合した力学を正確にシミュレートするためには、材料の物性を予測し、それらを挙動予測プロセスに組み込むことが不可欠である。
それでも、現実世界の物体の様々な物質を予測することは、それらの物理的特性の複雑な性質のため、依然として困難である。
本稿では,映像拡散モデルを用いて3次元物体の様々な物理的特性を学習する新しい手法である「textbf{Physics3D}」を提案する。
本手法では, 粘弾性材料モデルに基づく高汎化可能な物理シミュレーションシステムを設計し, 高忠実度機能を有する幅広い材料をシミュレートする。
さらに,現実的な対象物のより深い理解を含むビデオ拡散モデルから,物理先行情報を抽出する。
本手法の有効性を, 弾性材料とプラスチック材料の両方で実証した。
物理3Dは、物理世界と仮想神経空間のギャップを埋める大きな可能性を示し、仮想環境における現実的な物理原理のより良い統合と応用を提供する。
プロジェクトページ: https://liuff19.github.io/Physics3D。
関連論文リスト
- Phys4DGen: A Physics-Driven Framework for Controllable and Efficient 4D Content Generation from a Single Image [3.131272328696594]
既存の方法は、4Dコンテンツのダイナミクスを導くために、事前訓練されたビデオ拡散モデルに大きく依存している。
物理対応の4Dコンテンツを生成する新しいフレームワークであるPhys4DGenを提案する。
物理的特性を視覚的に推測する人間の能力に触発され,物理知覚モジュールが導入された。
論文 参考訳（メタデータ） (2024-11-25T12:12:38Z) - Automated 3D Physical Simulation of Open-world Scene with Gaussian Splatting [22.40115216094332]
Sim Anythingは、静的な3Dオブジェクトにインタラクティブなダイナミクスを与える物理ベースのアプローチである。
人間の視覚的推論に触発されて,MLLMに基づく物理特性知覚を提案する。
また、物理幾何学的適応サンプリングを用いて粒子をサンプリングして、オープンワールドシーンでオブジェクトをシミュレートする。
論文 参考訳（メタデータ） (2024-11-19T12:52:21Z) - PhysGen: Rigid-Body Physics-Grounded Image-to-Video Generation [29.831214435147583]
本稿では,新しい画像対ビデオ生成法であるPhysGenを提案する。
リアルで、物理的にもっともらしく、時間的に一貫したビデオを生み出す。
我々の重要な洞察は、モデルに基づく物理シミュレーションとデータ駆動のビデオ生成プロセスを統合することである。
論文 参考訳（メタデータ） (2024-09-27T17:59:57Z) - Latent Intuitive Physics: Learning to Transfer Hidden Physics from A 3D Video [58.043569985784806]
本稿では,物理シミュレーションのための伝達学習フレームワークである潜在直観物理学を紹介する。
単一の3Dビデオから流体の隠れた性質を推測し、新しいシーンで観察された流体をシミュレートすることができる。
我々は,本モデルの有効性を3つの方法で検証する: (i) 学習されたビジュアルワールド物理を用いた新しいシーンシミュレーション, (ii) 観測された流体力学の将来予測, (iii) 教師付き粒子シミュレーション。
論文 参考訳（メタデータ） (2024-06-18T16:37:44Z) - DreamPhysics: Learning Physical Properties of Dynamic 3D Gaussians with Video Diffusion Priors [75.83647027123119]
本稿では,映像拡散前の物体の物理的特性を学習することを提案する。
次に,物理に基づくMaterial-Point-Methodシミュレータを用いて,現実的な動きを伴う4Dコンテンツを生成する。
論文 参考訳（メタデータ） (2024-06-03T16:05:25Z) - PhysDreamer: Physics-Based Interaction with 3D Objects via Video Generation [62.53760963292465]
PhysDreamerは物理に基づくアプローチで、静的な3Dオブジェクトにインタラクティブなダイナミクスを与える。
本稿では, 弾性物体の多様な例について考察し, ユーザスタディを通じて合成された相互作用の現実性を評価する。
論文 参考訳（メタデータ） (2024-04-19T17:41:05Z) - ThreeDWorld: A Platform for Interactive Multi-Modal Physical Simulation [75.0278287071591]
ThreeDWorld (TDW) はインタラクティブなマルチモーダル物理シミュレーションのためのプラットフォームである。
TDWは、リッチな3D環境において、高忠実な感覚データのシミュレーションと、移動体エージェントとオブジェクト間の物理的相互作用を可能にする。
我々は、コンピュータビジョン、機械学習、認知科学における新たな研究方向において、TDWによって実現された初期実験を提示する。
論文 参考訳（メタデータ） (2020-07-09T17:33:27Z) - Visual Grounding of Learned Physical Models [66.04898704928517]
人間は、物体の物理的特性を直感的に認識し、複雑な相互作用に従事している場合でも、その動きを予測する。
我々は、物理を同時に推論し、視覚と力学の先行に基づく将来の予測を行うニューラルモデルを提案する。
実験により、我々のモデルはいくつかの観測範囲内で物理的特性を推測できることが示され、モデルが目に見えないシナリオに迅速に適応し、将来正確な予測を行うことができる。
論文 参考訳（メタデータ） (2020-04-28T17:06:38Z) - Predicting the Physical Dynamics of Unseen 3D Objects [65.49291702488436]
インパルス力を受ける平面上での3次元物体の動的挙動の予測に焦点をあてる。
我々の手法は、訓練中に目に見えない物体の形状や初期条件に一般化することができる。
我々のモデルは物理エンジンと実世界の両方のデータによるトレーニングをサポートすることができる。
論文 参考訳（メタデータ） (2020-01-16T06:27:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。