論文の概要: Phys4DGen: Physics-Compliant 4D Generation with Multi-Material Composition Perception

• arxiv url: http://arxiv.org/abs/2411.16800v4
• Date: Sun, 13 Apr 2025 07:07:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:45:30.612955
• Title: Phys4DGen: Physics-Compliant 4D Generation with Multi-Material Composition Perception
• Title（参考訳）: Phys4DGen:多成分知覚を用いた物理対応4D生成
• Authors: Jiajing Lin, Zhenzhong Wang, Dejun Xu, Shu Jiang, YunPeng Gong, Min Jiang,
• Abstract要約: Phys4DGenは、多物質合成知覚と物理シミュレーションを統合する新しい4D生成フレームワークである。 このフレームワークは、3つの革新的なモジュールを通して、自動化され、物理的に妥当な4D生成を実現する。 合成と実世界の両方のデータセットの実験により、Phys4DGenは物理的リアリズムを持つ高忠実な4Dコンテンツを生成可能であることが示された。
• 参考スコア（独自算出の注目度）: 4.054634170768821
• License:
• Abstract: 4D content generation aims to create dynamically evolving 3D content that responds to specific input objects such as images or 3D representations. Current approaches typically incorporate physical priors to animate 3D representations, but these methods suffer from significant limitations: they not only require users lacking physics expertise to manually specify material properties but also struggle to effectively handle the generation of multi-material composite objects. To address these challenges, we propose Phys4DGen, a novel 4D generation framework that integrates multi-material composition perception with physical simulation. The framework achieves automated, physically plausible 4D generation through three innovative modules: first, the 3D Material Grouping module partitions heterogeneous material regions on 3D representation surfaces via semantic segmentation; second, the Internal Physical Structure Discovery module constructs the mechanical structure of object interiors; finally, we distill physical prior knowledge from multimodal large language models to enable rapid and automatic material properties identification for both objects' surfaces and interiors. Experiments on both synthetic and real-world datasets demonstrate that Phys4DGen can generate high-fidelity 4D content with physical realism in open-world scenarios, significantly outperforming state-of-the-art methods.
• Abstract（参考訳）: 4Dコンテンツ生成は、画像や3D表現などの特定の入力オブジェクトに応答する動的に進化する3Dコンテンツを作成することを目的としている。 現状のアプローチでは、3D表現をアニメーション化するために物理的に先入観を取り入れているが、これらの手法には重大な制限が伴っている。 これらの課題に対処するために,多物質合成認識と物理シミュレーションを統合する新しい4D生成フレームワークであるPhys4DGenを提案する。 このフレームワークは,3つの革新的なモジュールを通じて,3次元マテリアル・グルーピング・モジュールが3次元表現面上の異種物質領域をセマンティック・セグメンテーションにより分割し,内部物理構造探索モジュールがオブジェクト内部の機械的構造を構築し,さらに,マルチモーダルな大規模言語モデルから物理的事前知識を抽出することにより,オブジェクト表面と内部の両方の物質特性の迅速かつ自動同定を可能にする。 合成と実世界の両方のデータセットの実験により、Phys4DGenは、オープンワールドシナリオにおける物理リアリズムによる高忠実な4Dコンテンツを生成することができ、最先端の手法よりも著しく優れていることが示された。

関連論文リスト

• PhysMotion: Physics-Grounded Dynamics From a Single Image [24.096925413047217]
  本稿では、物理シミュレーションを利用した新しいフレームワークであるPhysMotionを紹介し、一つの画像と入力条件から生成された中間3次元表現をガイドする。 我々のアプローチは、従来のデータ駆動生成モデルの限界に対処し、より一貫した物理的に妥当な動きをもたらす。
  論文  参考訳（メタデータ） (2024-11-26T07:59:11Z)
• PhysGen: Rigid-Body Physics-Grounded Image-to-Video Generation [29.831214435147583]
  本稿では,新しい画像対ビデオ生成法であるPhysGenを提案する。 リアルで、物理的にもっともらしく、時間的に一貫したビデオを生み出す。 我々の重要な洞察は、モデルに基づく物理シミュレーションとデータ駆動のビデオ生成プロセスを統合することである。
  論文  参考訳（メタデータ） (2024-09-27T17:59:57Z)
• Phy124: Fast Physics-Driven 4D Content Generation from a Single Image [3.0613673973976625]
  単一画像から4Dコンテンツを生成する新しい高速物理駆動方式であるPhy124を紹介する。 Phy124は物理シミュレーションを直接4D生成プロセスに統合し、結果の4Dコンテンツが自然の物理法則に従うことを保証する。 実験により、Phy124は推論時間を大幅に短縮した高忠実度4Dコンテンツを生成することが示された。
  論文  参考訳（メタデータ） (2024-09-11T10:41:46Z)
• Physics3D: Learning Physical Properties of 3D Gaussians via Video Diffusion [35.71595369663293]
  ビデオ拡散モデルを用いて3Dオブジェクトの様々な物理的特性を学習する新しい手法である textbfPhysics3D を提案する。 本手法では,粘弾性材料モデルに基づく高一般化物理シミュレーションシステムを設計する。 弾性材料とプラスチック材料の両方を用いて, 本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-06-06T17:59:47Z)
• DreamPhysics: Learning Physics-Based 3D Dynamics with Video Diffusion Priors [75.83647027123119]
  本稿では,映像拡散前の物体の物理的特性を学習することを提案する。 次に,物理に基づくMaterial-Point-Methodシミュレータを用いて,現実的な動きを伴う4Dコンテンツを生成する。
  論文  参考訳（メタデータ） (2024-06-03T16:05:25Z)
• PhysDreamer: Physics-Based Interaction with 3D Objects via Video Generation [62.53760963292465]
  PhysDreamerは物理に基づくアプローチで、静的な3Dオブジェクトにインタラクティブなダイナミクスを与える。 本稿では, 弾性物体の多様な例について考察し, ユーザスタディを通じて合成された相互作用の現実性を評価する。
  論文  参考訳（メタデータ） (2024-04-19T17:41:05Z)
• SC4D: Sparse-Controlled Video-to-4D Generation and Motion Transfer [57.506654943449796]
  動作と外観を分離するSC4Dという,効率的でスパース制御されたビデオ・ツー・4Dフレームワークを提案する。 我々の手法は、品質と効率の両面で既存の手法を超越している。 動作を多種多様な4Dエンティティにシームレスに転送する新しいアプリケーションを考案する。
  論文  参考訳（メタデータ） (2024-04-04T18:05:18Z)
• D&D: Learning Human Dynamics from Dynamic Camera [55.60512353465175]
  本稿では、物理の法則を活かしたD&D(Learning Human Dynamics from Dynamic Camera)を紹介する。 私たちのアプローチは完全にニューラルネットワークで、物理エンジンのオフライン最適化やシミュレーションなしで動作します。
  論文  参考訳（メタデータ） (2022-09-19T06:51:02Z)
• Dynamic Visual Reasoning by Learning Differentiable Physics Models from Video and Language [92.7638697243969]
  視覚概念を協調的に学習し,映像や言語から物体の物理モデルを推定する統合フレームワークを提案する。 これは視覚認識モジュール、概念学習モジュール、微分可能な物理エンジンの3つのコンポーネントをシームレスに統合することで実現される。
  論文  参考訳（メタデータ） (2021-10-28T17:59:13Z)
• Contact and Human Dynamics from Monocular Video [73.47466545178396]
  既存のディープモデルは、ほぼ正確に見えるエラーを含むビデオから2Dと3Dキネマティックのポーズを予測する。 本稿では,最初の2次元と3次元のポーズ推定を入力として,映像系列から3次元の人間の動きを推定する物理に基づく手法を提案する。
  論文  参考訳（メタデータ） (2020-07-22T21:09:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。