論文の概要: DreamPhysics: Learning Physical Properties of Dynamic 3D Gaussians with Video Diffusion Priors

• arxiv url: http://arxiv.org/abs/2406.01476v1
• Date: Mon, 3 Jun 2024 16:05:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 22:10:43.875837
• Title: DreamPhysics: Learning Physical Properties of Dynamic 3D Gaussians with Video Diffusion Priors
• Title（参考訳）: DreamPhysics:ビデオ拡散プリミティブを用いた動的3次元ガウスの物理特性の学習
• Authors: Tianyu Huang, Yihan Zeng, Hui Li, Wangmeng Zuo, Rynson W. H. Lau,
• Abstract要約: 本稿では,3次元ガウス散乱の物理特性をビデオ拡散先行値で推定するDreamPhysicsを提案する。 本手法は,適切な物理パラメータを持つ物質点法シミュレータに基づいて,現実的な動きを持つ4次元コンテンツを生成する。
• 参考スコア（独自算出の注目度）: 77.34056839349076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dynamic 3D interaction has witnessed great interest in recent works, while creating such 4D content remains challenging. One solution is to animate 3D scenes with physics-based simulation, and the other is to learn the deformation of static 3D objects with the distillation of video generative models. The former one requires assigning precise physical properties to the target object, otherwise the simulated results would become unnatural. The latter tends to formulate the video with minor motions and discontinuous frames, due to the absence of physical constraints in deformation learning. We think that video generative models are trained with real-world captured data, capable of judging physical phenomenon in simulation environments. To this end, we propose DreamPhysics in this work, which estimates physical properties of 3D Gaussian Splatting with video diffusion priors. DreamPhysics supports both image- and text-conditioned guidance, optimizing physical parameters via score distillation sampling with frame interpolation and log gradient. Based on a material point method simulator with proper physical parameters, our method can generate 4D content with realistic motions. Experimental results demonstrate that, by distilling the prior knowledge of video diffusion models, inaccurate physical properties can be gradually refined for high-quality simulation. Codes are released at: https://github.com/tyhuang0428/DreamPhysics.
• Abstract（参考訳）: ダイナミックな3Dインタラクションは、最近の作品で大きな関心を集めている。 1つの解決策は物理シミュレーションによる3Dシーンのアニメーションであり、もう1つはビデオ生成モデルの蒸留により静的な3Dオブジェクトの変形を学習することである。 前者はターゲットオブジェクトに正確な物理的プロパティを割り当てる必要があり、そうでなければシミュレーション結果が不自然なものになる。 後者は、変形学習における物理的な制約がないため、動画を小さな動きと不連続なフレームで定式化する傾向がある。 映像生成モデルは実世界の撮影データを用いて訓練されており、シミュレーション環境における物理現象を判断できると考えている。 そこで本研究では,映像拡散前の3次元ガウス散乱の物理特性を推定するDreamPhysicsを提案する。 DreamPhysicsは画像とテキストによるガイダンスの両方をサポートし、フレーム補間とログ勾配によるスコア蒸留サンプリングによって物理パラメータを最適化する。 本手法は,適切な物理パラメータを持つ物質点法シミュレータに基づいて,現実的な動きを持つ4次元コンテンツを生成する。 実験結果から,ビデオ拡散モデルの事前知識を蒸留することにより,不正確な物理特性を徐々に洗練し,高品質なシミュレーションを行うことができた。 コードはhttps://github.com/tyhuang0428/DreamPhysics.comで公開されている。

関連論文リスト

• PhysMotion: Physics-Grounded Dynamics From a Single Image [24.096925413047217]
  本稿では、物理シミュレーションを利用した新しいフレームワークであるPhysMotionを紹介し、一つの画像と入力条件から生成された中間3次元表現をガイドする。 我々のアプローチは、従来のデータ駆動生成モデルの限界に対処し、より一貫した物理的に妥当な動きをもたらす。
  論文  参考訳（メタデータ） (2024-11-26T07:59:11Z)
• Phys4DGen: A Physics-Driven Framework for Controllable and Efficient 4D Content Generation from a Single Image [3.131272328696594]
  既存の方法は、4Dコンテンツのダイナミクスを導くために、事前訓練されたビデオ拡散モデルに大きく依存している。 物理対応の4Dコンテンツを生成する新しいフレームワークであるPhys4DGenを提案する。 物理的特性を視覚的に推測する人間の能力に触発され,物理知覚モジュールが導入された。
  論文  参考訳（メタデータ） (2024-11-25T12:12:38Z)
• Automated 3D Physical Simulation of Open-world Scene with Gaussian Splatting [22.40115216094332]
  Sim Anythingは、静的な3Dオブジェクトにインタラクティブなダイナミクスを与える物理ベースのアプローチである。 人間の視覚的推論に触発されて,MLLMに基づく物理特性知覚を提案する。 また、物理幾何学的適応サンプリングを用いて粒子をサンプリングして、オープンワールドシーンでオブジェクトをシミュレートする。
  論文  参考訳（メタデータ） (2024-11-19T12:52:21Z)
• Physics3D: Learning Physical Properties of 3D Gaussians via Video Diffusion [35.71595369663293]
  ビデオ拡散モデルを用いて3Dオブジェクトの様々な物理的特性を学習する新しい手法である textbfPhysics3D を提案する。 本手法では,粘弾性材料モデルに基づく高一般化物理シミュレーションシステムを設計する。 弾性材料とプラスチック材料の両方を用いて, 本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-06-06T17:59:47Z)
• PhysDreamer: Physics-Based Interaction with 3D Objects via Video Generation [62.53760963292465]
  PhysDreamerは物理に基づくアプローチで、静的な3Dオブジェクトにインタラクティブなダイナミクスを与える。 本稿では, 弾性物体の多様な例について考察し, ユーザスタディを通じて合成された相互作用の現実性を評価する。
  論文  参考訳（メタデータ） (2024-04-19T17:41:05Z)
• DO3D: Self-supervised Learning of Decomposed Object-aware 3D Motion and Depth from Monocular Videos [76.01906393673897]
  本研究では,モノクラービデオから3次元運動と深度を協調的に学習する自己教師手法を提案する。 本システムでは,深度を推定する深度推定モジュールと,エゴモーションと3次元物体の動きを推定する新しい分解対象3次元運動推定モジュールを備える。 我々のモデルは評価されたすべての設定において優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-03-09T12:22:46Z)
• NeuPhysics: Editable Neural Geometry and Physics from Monocular Videos [82.74918564737591]
  本稿では,モノクラーRGBビデオ入力のみから動的シーンの3次元形状と物理パラメータを学習する手法を提案する。 実験により,提案手法は,競合するニューラルフィールドアプローチと比較して,動的シーンのメッシュとビデオの再構成に優れることを示した。
  論文  参考訳（メタデータ） (2022-10-22T04:57:55Z)
• Contact and Human Dynamics from Monocular Video [73.47466545178396]
  既存のディープモデルは、ほぼ正確に見えるエラーを含むビデオから2Dと3Dキネマティックのポーズを予測する。 本稿では,最初の2次元と3次元のポーズ推定を入力として,映像系列から3次元の人間の動きを推定する物理に基づく手法を提案する。
  論文  参考訳（メタデータ） (2020-07-22T21:09:11Z)
• Occlusion resistant learning of intuitive physics from videos [52.25308231683798]
  人工システムの鍵となる能力は、オブジェクト間の物理的相互作用を理解し、状況の将来的な結果を予測することである。 この能力は直感的な物理学と呼ばれ、近年注目されており、ビデオシーケンスからこれらの物理規則を学ぶためのいくつかの方法が提案されている。
  論文  参考訳（メタデータ） (2020-04-30T19:35:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。