論文の概要: PhysDreamer: Physics-Based Interaction with 3D Objects via Video Generation
- arxiv url: http://arxiv.org/abs/2404.13026v2
- Date: Mon, 07 Oct 2024 06:08:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-08 13:42:27.226476
- Title: PhysDreamer: Physics-Based Interaction with 3D Objects via Video Generation
- Title（参考訳）: PhysDreamer:ビデオ生成による物理と3Dオブジェクトのインタラクション
- Authors: Tianyuan Zhang, Hong-Xing Yu, Rundi Wu, Brandon Y. Feng, Changxi Zheng, Noah Snavely, Jiajun Wu, William T. Freeman,
- Abstract要約: PhysDreamerは物理に基づくアプローチで、静的な3Dオブジェクトにインタラクティブなダイナミクスを与える。
本稿では, 弾性物体の多様な例について考察し, ユーザスタディを通じて合成された相互作用の現実性を評価する。
- 参考スコア（独自算出の注目度）: 62.53760963292465
- License:
- Abstract: Realistic object interactions are crucial for creating immersive virtual experiences, yet synthesizing realistic 3D object dynamics in response to novel interactions remains a significant challenge. Unlike unconditional or text-conditioned dynamics generation, action-conditioned dynamics requires perceiving the physical material properties of objects and grounding the 3D motion prediction on these properties, such as object stiffness. However, estimating physical material properties is an open problem due to the lack of material ground-truth data, as measuring these properties for real objects is highly difficult. We present PhysDreamer, a physics-based approach that endows static 3D objects with interactive dynamics by leveraging the object dynamics priors learned by video generation models. By distilling these priors, PhysDreamer enables the synthesis of realistic object responses to novel interactions, such as external forces or agent manipulations. We demonstrate our approach on diverse examples of elastic objects and evaluate the realism of the synthesized interactions through a user study. PhysDreamer takes a step towards more engaging and realistic virtual experiences by enabling static 3D objects to dynamically respond to interactive stimuli in a physically plausible manner. See our project page at https://physdreamer.github.io/.
- Abstract（参考訳）: 現実的な物体の相互作用は没入型仮想体験を作るには不可欠であるが、新しい相互作用に対応するために現実的な3Dオブジェクトのダイナミクスを合成することは大きな課題である。
非条件やテキスト条件のダイナミックス生成とは異なり、アクション条件付きダイナミクスはオブジェクトの物理的物質特性を知覚し、オブジェクトの剛性のようなこれらの特性に基づいて3Dの運動予測を行う必要がある。
しかし, 実物に対してこれらの特性を測定することは極めて困難であるため, 物質的地絡データの欠如により, 物質的特性の推定はオープンな問題である。
本稿では、静的な3次元オブジェクトにインタラクティブなダイナミクスを付与する物理ベースのアプローチであるPhysDreamerを提案する。
これらの前駆体を蒸留することにより、PhysDreamerは外部力やエージェント操作のような新しい相互作用に対する現実的なオブジェクト応答を合成することができる。
本研究では, 弾性物体の多種多様な例に対するアプローチを実証し, ユーザスタディを通じて合成された相互作用の現実性を評価する。
PhysDreamerは、静的な3Dオブジェクトが物理的に妥当な方法でインタラクティブな刺激に動的に反応できるようにすることによって、より魅力的でリアルな仮想体験へと一歩前進する。
プロジェクトページはhttps://physdreamer.github.io/にある。
関連論文リスト
- PhysPart: Physically Plausible Part Completion for Interactable Objects [28.91080122885566]
我々は、相互作用可能なオブジェクトに対する物理的に妥当な部分補完の問題に取り組む。
幾何学的条件付けを利用した拡散型部分生成モデルを提案する。
また、3Dプリンティング、ロボット操作、シーケンシャル部分生成にも応用しています。
論文 参考訳（メタデータ） (2024-08-25T04:56:09Z) - Physics3D: Learning Physical Properties of 3D Gaussians via Video Diffusion [35.71595369663293]
ビデオ拡散モデルを用いて3Dオブジェクトの様々な物理的特性を学習する新しい手法である textbfPhysics3D を提案する。
本手法では,粘弾性材料モデルに基づく高一般化物理シミュレーションシステムを設計する。
弾性材料とプラスチック材料の両方を用いて, 本手法の有効性を実証した。
論文 参考訳（メタデータ） (2024-06-06T17:59:47Z) - DreamPhysics: Learning Physical Properties of Dynamic 3D Gaussians with Video Diffusion Priors [75.83647027123119]
本稿では,映像拡散前の物体の物理的特性を学習することを提案する。
次に,物理に基づくMaterial-Point-Methodシミュレータを用いて,現実的な動きを伴う4Dコンテンツを生成する。
論文 参考訳（メタデータ） (2024-06-03T16:05:25Z) - Dynamic Visual Reasoning by Learning Differentiable Physics Models from
Video and Language [92.7638697243969]
視覚概念を協調的に学習し,映像や言語から物体の物理モデルを推定する統合フレームワークを提案する。
これは視覚認識モジュール、概念学習モジュール、微分可能な物理エンジンの3つのコンポーネントをシームレスに統合することで実現される。
論文 参考訳（メタデータ） (2021-10-28T17:59:13Z) - SPACE: A Simulator for Physical Interactions and Causal Learning in 3D
Environments [2.105564340986074]
本研究では,3次元環境における物理インタラクションと因果学習のためのシミュレータSPACEを紹介する。
SPACEデータセットは、毎日のオブジェクトインタラクションにインスパイアされ、封じ込め、安定性、接触という3種類の物理的なイベントを描写したビデオで構成されている。
SPACEデータセットは、カリキュラム学習にインスパイアされたアプローチにより、直感的な物理学の学習を改善する。
論文 参考訳（メタデータ） (2021-08-13T11:49:46Z) - Object Properties Inferring from and Transfer for Human Interaction
Motions [51.896592493436984]
本稿では,人間のインタラクション動作のみからオブジェクト特性を推測する,きめ細かい動作認識手法を提案する。
我々は、慣性モーションキャプチャー装置を用いて、演奏者の多数のビデオと3D骨格の動きを収集する。
特に, 相互作用対象の重み, 脆弱性, デリカシーを推定することにより, 相互作用対象の同定を学習する。
論文 参考訳（メタデータ） (2020-08-20T14:36:34Z) - Hindsight for Foresight: Unsupervised Structured Dynamics Models from
Physical Interaction [24.72947291987545]
エージェントが世界と対話することを学ぶための鍵となる課題は、オブジェクトの物理的性質を推論することである。
本研究では,ラベルのない3次元点群と画像から直接,ロボットのインタラクションのダイナミクスをモデル化するための新しいアプローチを提案する。
論文 参考訳（メタデータ） (2020-08-02T11:04:49Z) - ThreeDWorld: A Platform for Interactive Multi-Modal Physical Simulation [75.0278287071591]
ThreeDWorld (TDW) はインタラクティブなマルチモーダル物理シミュレーションのためのプラットフォームである。
TDWは、リッチな3D環境において、高忠実な感覚データのシミュレーションと、移動体エージェントとオブジェクト間の物理的相互作用を可能にする。
我々は、コンピュータビジョン、機械学習、認知科学における新たな研究方向において、TDWによって実現された初期実験を提示する。
論文 参考訳（メタデータ） (2020-07-09T17:33:27Z) - Visual Grounding of Learned Physical Models [66.04898704928517]
人間は、物体の物理的特性を直感的に認識し、複雑な相互作用に従事している場合でも、その動きを予測する。
我々は、物理を同時に推論し、視覚と力学の先行に基づく将来の予測を行うニューラルモデルを提案する。
実験により、我々のモデルはいくつかの観測範囲内で物理的特性を推測できることが示され、モデルが目に見えないシナリオに迅速に適応し、将来正確な予測を行うことができる。
論文 参考訳（メタデータ） (2020-04-28T17:06:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。