論文の概要: DreamPhysics: Learning Physical Properties of Dynamic 3D Gaussians with Video Diffusion Priors

• arxiv url: http://arxiv.org/abs/2406.01476v2
• Date: Fri, 30 Aug 2024 14:09:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-02 19:51:26.069192
• Title: DreamPhysics: Learning Physical Properties of Dynamic 3D Gaussians with Video Diffusion Priors
• Title（参考訳）: DreamPhysics:ビデオ拡散プリミティブを用いた動的3次元ガウスの物理特性の学習
• Authors: Tianyu Huang, Haoze Zhang, Yihan Zeng, Zhilu Zhang, Hui Li, Wangmeng Zuo, Rynson W. H. Lau,
• Abstract要約: 本稿では,映像拡散前の物体の物理的特性を学習することを提案する。 次に,物理に基づくMaterial-Point-Methodシミュレータを用いて,現実的な動きを伴う4Dコンテンツを生成する。
• 参考スコア（独自算出の注目度）: 75.83647027123119
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dynamic 3D interaction has been attracting a lot of attention recently. However, creating such 4D content remains challenging. One solution is to animate 3D scenes with physics-based simulation, which requires manually assigning precise physical properties to the object or the simulated results would become unnatural. Another solution is to learn the deformation of 3D objects with the distillation of video generative models, which, however, tends to produce 3D videos with small and discontinuous motions due to the inappropriate extraction and application of physical prior. In this work, combining the strengths and complementing shortcomings of the above two solutions, we propose to learn the physical properties of a material field with video diffusion priors, and then utilize a physics-based Material-Point-Method (MPM) simulator to generate 4D content with realistic motions. In particular, we propose motion distillation sampling to emphasize video motion information during distillation. Moreover, to facilitate the optimization, we further propose a KAN-based material field with frame boosting. Experimental results demonstrate that our method enjoys more realistic motion than state-of-the-arts. Codes are released at: https://github.com/tyhuang0428/DreamPhysics.
• Abstract（参考訳）: 動的3Dインタラクションは最近、多くの注目を集めています。 しかし、4Dコンテンツを作るのはまだ難しい。 1つの解決策は、物理に基づくシミュレーションで3Dシーンをアニメーションすることであり、オブジェクトに正確な物理的特性を手動で割り当てるか、シミュレーション結果が不自然なものになる。 もう一つの解決策は、ビデオ生成モデルの蒸留により3Dオブジェクトの変形を学習することであり、これは、物理前の不適切な抽出と適用により、小さく連続的な動きを持つ3Dビデオを生成する傾向がある。 本研究は, 上記の2つの解の長所と短所を組み合わせ, 映像拡散前の物質場の物理的特性を学習し, 物理に基づく物質点法シミュレータを用いて現実的な動きを伴う4次元コンテンツを生成することを提案する。 特に,本研究では,蒸留中の映像の動作情報を強調するため,モーション蒸留サンプリングを提案する。 さらに, この最適化を容易にするために, フレームブースティングを施したkan系材料フィールドを提案する。 実験により,本手法は最先端技術よりもリアルな動きを楽しめることが示された。 コードはhttps://github.com/tyhuang0428/DreamPhysics.comで公開されている。

関連論文リスト

• PhysMotion: Physics-Grounded Dynamics From a Single Image [24.096925413047217]
  本稿では、物理シミュレーションを利用した新しいフレームワークであるPhysMotionを紹介し、一つの画像と入力条件から生成された中間3次元表現をガイドする。 我々のアプローチは、従来のデータ駆動生成モデルの限界に対処し、より一貫した物理的に妥当な動きをもたらす。
  論文  参考訳（メタデータ） (2024-11-26T07:59:11Z)
• Phys4DGen: A Physics-Driven Framework for Controllable and Efficient 4D Content Generation from a Single Image [3.131272328696594]
  既存の方法は、4Dコンテンツのダイナミクスを導くために、事前訓練されたビデオ拡散モデルに大きく依存している。 物理対応の4Dコンテンツを生成する新しいフレームワークであるPhys4DGenを提案する。 物理的特性を視覚的に推測する人間の能力に触発され,物理知覚モジュールが導入された。
  論文  参考訳（メタデータ） (2024-11-25T12:12:38Z)
• Automated 3D Physical Simulation of Open-world Scene with Gaussian Splatting [22.40115216094332]
  Sim Anythingは、静的な3Dオブジェクトにインタラクティブなダイナミクスを与える物理ベースのアプローチである。 人間の視覚的推論に触発されて,MLLMに基づく物理特性知覚を提案する。 また、物理幾何学的適応サンプリングを用いて粒子をサンプリングして、オープンワールドシーンでオブジェクトをシミュレートする。
  論文  参考訳（メタデータ） (2024-11-19T12:52:21Z)
• Physics3D: Learning Physical Properties of 3D Gaussians via Video Diffusion [35.71595369663293]
  ビデオ拡散モデルを用いて3Dオブジェクトの様々な物理的特性を学習する新しい手法である textbfPhysics3D を提案する。 本手法では,粘弾性材料モデルに基づく高一般化物理シミュレーションシステムを設計する。 弾性材料とプラスチック材料の両方を用いて, 本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-06-06T17:59:47Z)
• PhysDreamer: Physics-Based Interaction with 3D Objects via Video Generation [62.53760963292465]
  PhysDreamerは物理に基づくアプローチで、静的な3Dオブジェクトにインタラクティブなダイナミクスを与える。 本稿では, 弾性物体の多様な例について考察し, ユーザスタディを通じて合成された相互作用の現実性を評価する。
  論文  参考訳（メタデータ） (2024-04-19T17:41:05Z)
• DO3D: Self-supervised Learning of Decomposed Object-aware 3D Motion and Depth from Monocular Videos [76.01906393673897]
  本研究では,モノクラービデオから3次元運動と深度を協調的に学習する自己教師手法を提案する。 本システムでは,深度を推定する深度推定モジュールと,エゴモーションと3次元物体の動きを推定する新しい分解対象3次元運動推定モジュールを備える。 我々のモデルは評価されたすべての設定において優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-03-09T12:22:46Z)
• NeuPhysics: Editable Neural Geometry and Physics from Monocular Videos [82.74918564737591]
  本稿では,モノクラーRGBビデオ入力のみから動的シーンの3次元形状と物理パラメータを学習する手法を提案する。 実験により,提案手法は,競合するニューラルフィールドアプローチと比較して,動的シーンのメッシュとビデオの再構成に優れることを示した。
  論文  参考訳（メタデータ） (2022-10-22T04:57:55Z)
• Contact and Human Dynamics from Monocular Video [73.47466545178396]
  既存のディープモデルは、ほぼ正確に見えるエラーを含むビデオから2Dと3Dキネマティックのポーズを予測する。 本稿では,最初の2次元と3次元のポーズ推定を入力として,映像系列から3次元の人間の動きを推定する物理に基づく手法を提案する。
  論文  参考訳（メタデータ） (2020-07-22T21:09:11Z)
• Occlusion resistant learning of intuitive physics from videos [52.25308231683798]
  人工システムの鍵となる能力は、オブジェクト間の物理的相互作用を理解し、状況の将来的な結果を予測することである。 この能力は直感的な物理学と呼ばれ、近年注目されており、ビデオシーケンスからこれらの物理規則を学ぶためのいくつかの方法が提案されている。
  論文  参考訳（メタデータ） (2020-04-30T19:35:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。