論文の概要: Reconstruction and Simulation of Elastic Objects with Spring-Mass 3D Gaussians
- arxiv url: http://arxiv.org/abs/2403.09434v2
- Date: Sun, 7 Apr 2024 13:05:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 00:37:15.822273
- Title: Reconstruction and Simulation of Elastic Objects with Spring-Mass 3D Gaussians
- Title(参考訳): スプリングマス3次元ガウスによる弾性物体の復元とシミュレーション
- Authors: Licheng Zhong, Hong-Xing Yu, Jiajun Wu, Yunzhu Li,
- Abstract要約: Spring-Gausは、複数の視点からオブジェクトのビデオから弾性オブジェクトを再構成し、シミュレーションするための3D物理オブジェクト表現である。
本研究では,3次元Spring-Massモデルを3次元ガウスカーネルに実装し,オブジェクトの視覚的外観,形状,物理力学の再構築を可能にする。
合成と実世界の両方のデータセット上でSpring-Gausを評価し,弾性物体の正確な再構成とシミュレーションを実証した。
- 参考スコア(独自算出の注目度): 23.572267290979045
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reconstructing and simulating elastic objects from visual observations is crucial for applications in computer vision and robotics. Existing methods, such as 3D Gaussians, model 3D appearance and geometry, but lack the ability to estimate physical properties for objects and simulate them. The core challenge lies in integrating an expressive yet efficient physical dynamics model. We propose Spring-Gaus, a 3D physical object representation for reconstructing and simulating elastic objects from videos of the object from multiple viewpoints. In particular, we develop and integrate a 3D Spring-Mass model into 3D Gaussian kernels, enabling the reconstruction of the visual appearance, shape, and physical dynamics of the object. Our approach enables future prediction and simulation under various initial states and environmental properties. We evaluate Spring-Gaus on both synthetic and real-world datasets, demonstrating accurate reconstruction and simulation of elastic objects. Project page: https://zlicheng.com/spring_gaus.
- Abstract(参考訳): 視覚的な観察から弾性物体を再構成し、シミュレーションすることは、コンピュータビジョンやロボット工学の応用に不可欠である。
3Dガウスやモデル3Dの外観や幾何学といった既存の手法では、物体の物理的特性を推定し、それらをシミュレートする能力は欠如している。
中心となる課題は、表現的だが効率的な物理力学モデルを統合することである。
複数の視点からオブジェクトのビデオから弾性物体を再構成・シミュレーションするための3次元物理オブジェクト表現であるSpring-Gausを提案する。
特に、3次元Spring-Massモデルを3次元ガウスカーネルに開発・統合し、オブジェクトの視覚的外観、形状、物理力学の再構築を可能にする。
本手法は,様々な初期状態と環境特性下での将来の予測とシミュレーションを可能にする。
合成と実世界の両方のデータセット上でSpring-Gausを評価し,弾性物体の正確な再構成とシミュレーションを実証した。
プロジェクトページ: https://zlicheng.com/spring_gaus.com
関連論文リスト
- PhyRecon: Physically Plausible Neural Scene Reconstruction [83.26912712054391]
我々はPhyReconを紹介した。これは、異なるレンダリングと微分可能な物理シミュレーションを利用して、暗黙的な表面表現を学習する。
本フレームワークは,ニューラル暗黙表現とシームレスに統合された,新しい微分可能なパーティクルベース物理シミュレータを提案する。
我々の再構成結果は、Isaac Gym氏によって検証され、すべてのデータセットで少なくとも40%改善された、優れた物理的安定性をもたらす。
論文 参考訳(メタデータ) (2024-04-25T15:06:58Z) - PhysDreamer: Physics-Based Interaction with 3D Objects via Video Generation [62.53760963292465]
PhysDreamerは物理に基づくアプローチで、静的な3Dオブジェクトにインタラクティブなダイナミクスを与える。
本稿では, 弾性物体の多様な例について考察し, ユーザスタディを通じて合成された相互作用の現実性を評価する。
論文 参考訳(メタデータ) (2024-04-19T17:41:05Z) - Feature Splatting: Language-Driven Physics-Based Scene Synthesis and Editing [11.46530458561589]
物理に基づく動的シーン合成をリッチなセマンティクスと統合する手法であるFeature Splattingを導入する。
私たちの最初の貢献は、高品質でオブジェクト中心の視覚言語機能を3Dガウスに抽出する方法です。
2つ目の貢献は、粒子ベースのシミュレーターを用いて、他の静的シーンから物理ベースのダイナミクスを合成する方法である。
論文 参考訳(メタデータ) (2024-04-01T16:31:04Z) - Physics-Based Rigid Body Object Tracking and Friction Filtering From
RGB-D Videos [8.753377180289265]
本稿では,RGB-D画像から剛体物体を3次元追跡し,物体の物理的特性を推定する手法を提案する。
拡張カルマンフィルタにおける状態遷移モデルとして微分可能な物理シミュレーションを用いる。
実世界のデータセット上で、我々のアプローチを実証し、評価する。
論文 参考訳(メタデータ) (2023-09-27T14:46:01Z) - 3D-IntPhys: Towards More Generalized 3D-grounded Visual Intuitive
Physics under Challenging Scenes [68.66237114509264]
複雑なシーンと流体の映像から3次元的な視覚的直感的な物理モデルを学習できるフレームワークを提案する。
本モデルでは,生画像から学習し,明示的な3次元表現空間を用いないモデルよりもはるかに優れた将来予測が可能であることを示す。
論文 参考訳(メタデータ) (2023-04-22T19:28:49Z) - Fixing Malfunctional Objects With Learned Physical Simulation and
Functional Prediction [158.74130075865835]
機能不全な3Dオブジェクトが与えられたら、人間はその機能を推論し、どのように修正するかを理解するために精神シミュレーションを行うことができる。
人間の心的シミュレーションプロセスの模倣として,知覚と物理力学をシームレスに組み込んだ新しいフレームワークであるFixNetを提案する。
論文 参考訳(メタデータ) (2022-05-05T17:59:36Z) - Virtual Elastic Objects [18.228492027143307]
現実のオブジェクトのように振る舞う仮想オブジェクトを構築します。
我々は、微分可能な粒子ベースシミュレータを用いて、変形場を用いて代表材料パラメータを探索する。
各種力場下で12個のオブジェクトのデータセットを用いて実験を行い,コミュニティと共有する。
論文 参考訳(メタデータ) (2022-01-12T18:59:03Z) - 3D-OES: Viewpoint-Invariant Object-Factorized Environment Simulators [24.181604511269096]
本稿では、3次元ニューラルシーン表現空間におけるオブジェクトとエージェントの相互作用によるシーン変化を予測できる動作条件動的モデルを提案する。
この空間では、オブジェクトは互いに干渉せず、その外観は時間と視点にわたって持続する。
本モデルでは,対話対象の個数や外観,カメラ視点の多様さにまたがる予測をよく一般化することを示す。
論文 参考訳(メタデータ) (2020-11-12T16:15:52Z) - Occlusion resistant learning of intuitive physics from videos [52.25308231683798]
人工システムの鍵となる能力は、オブジェクト間の物理的相互作用を理解し、状況の将来的な結果を予測することである。
この能力は直感的な物理学と呼ばれ、近年注目されており、ビデオシーケンスからこれらの物理規則を学ぶためのいくつかの方法が提案されている。
論文 参考訳(メタデータ) (2020-04-30T19:35:54Z) - Predicting the Physical Dynamics of Unseen 3D Objects [65.49291702488436]
インパルス力を受ける平面上での3次元物体の動的挙動の予測に焦点をあてる。
我々の手法は、訓練中に目に見えない物体の形状や初期条件に一般化することができる。
我々のモデルは物理エンジンと実世界の両方のデータによるトレーニングをサポートすることができる。
論文 参考訳(メタデータ) (2020-01-16T06:27:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。