論文の概要: OmniPhysGS: 3D Constitutive Gaussians for General Physics-Based Dynamics Generation
- arxiv url: http://arxiv.org/abs/2501.18982v1
- Date: Fri, 31 Jan 2025 09:28:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-03 14:01:55.211552
- Title: OmniPhysGS: 3D Constitutive Gaussians for General Physics-Based Dynamics Generation
- Title（参考訳）: OmniPhysGS:一般物理に基づくダイナミクス生成のための3次元構成ガウス
- Authors: Yuchen Lin, Chenguo Lin, Jianjin Xu, Yadong Mu,
- Abstract要約: より一般的な物体からなる物理に基づく3次元動的シーンを合成するためのOmniPhysGSを提案する。
本手法は,視覚的品質とテキストアライメントの指標において,既存の手法を約3%から16%上回っている。
- 参考スコア（独自算出の注目度）: 25.790371838717284
- License:
- Abstract: Recently, significant advancements have been made in the reconstruction and generation of 3D assets, including static cases and those with physical interactions. To recover the physical properties of 3D assets, existing methods typically assume that all materials belong to a specific predefined category (e.g., elasticity). However, such assumptions ignore the complex composition of multiple heterogeneous objects in real scenarios and tend to render less physically plausible animation given a wider range of objects. We propose OmniPhysGS for synthesizing a physics-based 3D dynamic scene composed of more general objects. A key design of OmniPhysGS is treating each 3D asset as a collection of constitutive 3D Gaussians. For each Gaussian, its physical material is represented by an ensemble of 12 physical domain-expert sub-models (rubber, metal, honey, water, etc.), which greatly enhances the flexibility of the proposed model. In the implementation, we define a scene by user-specified prompts and supervise the estimation of material weighting factors via a pretrained video diffusion model. Comprehensive experiments demonstrate that OmniPhysGS achieves more general and realistic physical dynamics across a broader spectrum of materials, including elastic, viscoelastic, plastic, and fluid substances, as well as interactions between different materials. Our method surpasses existing methods by approximately 3% to 16% in metrics of visual quality and text alignment.
- Abstract（参考訳）: 近年,静的な場合や物理的相互作用のある場合を含む3Dアセットの再構築・生成において,大きな進展が見られた。
3Dアセットの物理的性質を回復するために、既存の方法では、すべての物質は特定の予め定義された圏(例えば弾性性)に属すると仮定する。
しかし、そのような仮定は実シナリオにおける複数の異種天体の複雑な構成を無視し、より広い範囲の物体に対して、より物理的に妥当なアニメーションをレンダリングする傾向がある。
より一般的な物体からなる物理に基づく3次元動的シーンを合成するためのOmniPhysGSを提案する。
OmniPhysGSの重要な設計は、それぞれの3D資産を構成的な3Dガウスのコレクションとして扱うことである。
それぞれのガウスについて、その物理材料は12の物理的ドメインエキスパートサブモデル(ゴム、金属、蜂蜜、水など)のアンサンブルで表現され、提案されたモデルの柔軟性を大幅に向上させる。
本実装では,ユーザが指定したプロンプトを用いてシーンを定義し,事前学習したビデオ拡散モデルを用いて材料重み付け係数の推定を監督する。
総合的な実験により、OmniPhysGSは、弾性、粘弾性、プラスチック、流体物質を含む幅広い物質と、異なる物質間の相互作用を含む、より一般的な、より現実的な物理力学を達成できることを示した。
本手法は,視覚的品質とテキストアライメントの指標において,既存の手法を約3%から16%上回っている。
関連論文リスト
- GaussianProperty: Integrating Physical Properties to 3D Gaussians with LMMs [21.3615403516602]
視覚データに対する物理的特性の推定は、コンピュータビジョン、グラフィックス、ロボット工学において重要な課題である。
教材の物理的特性を3Dガウスアンに割り当てる学習自由フレームワークであるガウスプロパティを紹介する。
物理特性アノテーションを持つ3次元ガウスアンが物理に基づく動的シミュレーションやロボットグルーピングに応用できることを実証する。
論文 参考訳（メタデータ） (2024-12-15T17:44:10Z) - Automated 3D Physical Simulation of Open-world Scene with Gaussian Splatting [22.40115216094332]
Sim Anythingは、静的な3Dオブジェクトにインタラクティブなダイナミクスを与える物理ベースのアプローチである。
人間の視覚的推論に触発されて,MLLMに基づく物理特性知覚を提案する。
また、物理幾何学的適応サンプリングを用いて粒子をサンプリングして、オープンワールドシーンでオブジェクトをシミュレートする。
論文 参考訳（メタデータ） (2024-11-19T12:52:21Z) - Latent Intuitive Physics: Learning to Transfer Hidden Physics from A 3D Video [58.043569985784806]
本稿では,物理シミュレーションのための伝達学習フレームワークである潜在直観物理学を紹介する。
単一の3Dビデオから流体の隠れた性質を推測し、新しいシーンで観察された流体をシミュレートすることができる。
我々は,本モデルの有効性を3つの方法で検証する: (i) 学習されたビジュアルワールド物理を用いた新しいシーンシミュレーション, (ii) 観測された流体力学の将来予測, (iii) 教師付き粒子シミュレーション。
論文 参考訳（メタデータ） (2024-06-18T16:37:44Z) - Physics3D: Learning Physical Properties of 3D Gaussians via Video Diffusion [35.71595369663293]
ビデオ拡散モデルを用いて3Dオブジェクトの様々な物理的特性を学習する新しい手法である textbfPhysics3D を提案する。
本手法では,粘弾性材料モデルに基づく高一般化物理シミュレーションシステムを設計する。
弾性材料とプラスチック材料の両方を用いて, 本手法の有効性を実証した。
論文 参考訳（メタデータ） (2024-06-06T17:59:47Z) - DreamPhysics: Learning Physics-Based 3D Dynamics with Video Diffusion Priors [75.83647027123119]
本稿では,映像拡散前の物体の物理的特性を学習することを提案する。
次に,物理に基づくMaterial-Point-Methodシミュレータを用いて,現実的な動きを伴う4Dコンテンツを生成する。
論文 参考訳（メタデータ） (2024-06-03T16:05:25Z) - PhysDreamer: Physics-Based Interaction with 3D Objects via Video Generation [62.53760963292465]
PhysDreamerは物理に基づくアプローチで、静的な3Dオブジェクトにインタラクティブなダイナミクスを与える。
本稿では, 弾性物体の多様な例について考察し, ユーザスタディを通じて合成された相互作用の現実性を評価する。
論文 参考訳（メタデータ） (2024-04-19T17:41:05Z) - Reconstruction and Simulation of Elastic Objects with Spring-Mass 3D Gaussians [23.572267290979045]
Spring-Gausは、複数の視点からオブジェクトのビデオから弾性オブジェクトを再構成し、シミュレーションするための3D物理オブジェクト表現である。
本研究では,3次元Spring-Massモデルを3次元ガウスカーネルに実装し,オブジェクトの視覚的外観,形状,物理力学の再構築を可能にする。
合成と実世界の両方のデータセット上でSpring-Gausを評価し,弾性物体の正確な再構成とシミュレーションを実証した。
論文 参考訳（メタデータ） (2024-03-14T14:25:10Z) - ThreeDWorld: A Platform for Interactive Multi-Modal Physical Simulation [75.0278287071591]
ThreeDWorld (TDW) はインタラクティブなマルチモーダル物理シミュレーションのためのプラットフォームである。
TDWは、リッチな3D環境において、高忠実な感覚データのシミュレーションと、移動体エージェントとオブジェクト間の物理的相互作用を可能にする。
我々は、コンピュータビジョン、機械学習、認知科学における新たな研究方向において、TDWによって実現された初期実験を提示する。
論文 参考訳（メタデータ） (2020-07-09T17:33:27Z) - Occlusion resistant learning of intuitive physics from videos [52.25308231683798]
人工システムの鍵となる能力は、オブジェクト間の物理的相互作用を理解し、状況の将来的な結果を予測することである。
この能力は直感的な物理学と呼ばれ、近年注目されており、ビデオシーケンスからこれらの物理規則を学ぶためのいくつかの方法が提案されている。
論文 参考訳（メタデータ） (2020-04-30T19:35:54Z) - Visual Grounding of Learned Physical Models [66.04898704928517]
人間は、物体の物理的特性を直感的に認識し、複雑な相互作用に従事している場合でも、その動きを予測する。
我々は、物理を同時に推論し、視覚と力学の先行に基づく将来の予測を行うニューラルモデルを提案する。
実験により、我々のモデルはいくつかの観測範囲内で物理的特性を推測できることが示され、モデルが目に見えないシナリオに迅速に適応し、将来正確な予測を行うことができる。
論文 参考訳（メタデータ） (2020-04-28T17:06:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。