論文の概要: GaussianProperty: Integrating Physical Properties to 3D Gaussians with LMMs
- arxiv url: http://arxiv.org/abs/2412.11258v1
- Date: Sun, 15 Dec 2024 17:44:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-17 13:59:32.751927
- Title: GaussianProperty: Integrating Physical Properties to 3D Gaussians with LMMs
- Title（参考訳）: Gaussian Property:LMMを用いた3次元ガウスへの物理特性の統合
- Authors: Xinli Xu, Wenhang Ge, Dicong Qiu, ZhiFei Chen, Dongyu Yan, Zhuoyun Liu, Haoyu Zhao, Hanfeng Zhao, Shunsi Zhang, Junwei Liang, Ying-Cong Chen,
- Abstract要約: 視覚データに対する物理的特性の推定は、コンピュータビジョン、グラフィックス、ロボット工学において重要な課題である。
教材の物理的特性を3Dガウスアンに割り当てる学習自由フレームワークであるガウスプロパティを紹介する。
物理特性アノテーションを持つ3次元ガウスアンが物理に基づく動的シミュレーションやロボットグルーピングに応用できることを実証する。
- 参考スコア（独自算出の注目度）: 21.3615403516602
- License:
- Abstract: Estimating physical properties for visual data is a crucial task in computer vision, graphics, and robotics, underpinning applications such as augmented reality, physical simulation, and robotic grasping. However, this area remains under-explored due to the inherent ambiguities in physical property estimation. To address these challenges, we introduce GaussianProperty, a training-free framework that assigns physical properties of materials to 3D Gaussians. Specifically, we integrate the segmentation capability of SAM with the recognition capability of GPT-4V(ision) to formulate a global-local physical property reasoning module for 2D images. Then we project the physical properties from multi-view 2D images to 3D Gaussians using a voting strategy. We demonstrate that 3D Gaussians with physical property annotations enable applications in physics-based dynamic simulation and robotic grasping. For physics-based dynamic simulation, we leverage the Material Point Method (MPM) for realistic dynamic simulation. For robot grasping, we develop a grasping force prediction strategy that estimates a safe force range required for object grasping based on the estimated physical properties. Extensive experiments on material segmentation, physics-based dynamic simulation, and robotic grasping validate the effectiveness of our proposed method, highlighting its crucial role in understanding physical properties from visual data. Online demo, code, more cases and annotated datasets are available on \href{https://Gaussian-Property.github.io}{this https URL}.
- Abstract（参考訳）: 視覚データの物理的特性を推定することは、コンピュータビジョン、グラフィックス、ロボット工学において重要な課題であり、拡張現実、物理シミュレーション、ロボットグルーピングなどの応用を支える。
しかし、この領域は、物理的性質推定の固有の曖昧さのため、未探索のままである。
これらの課題に対処するために,教材の物理的特性を3次元ガウスアンに割り当てるトレーニングフリーフレームワークであるガウスプロパティを紹介する。
具体的には、SAMのセグメンテーション機能とGPT-4V(ision)の認識機能を統合し、2次元画像のグローバルな物理特性推論モジュールを定式化する。
そして、投票戦略を用いて、多視点2D画像から3Dガウスに物理特性を投影する。
物理特性アノテーションを持つ3次元ガウスアンが物理に基づく動的シミュレーションやロボットグルーピングに応用できることを実証する。
物理に基づく動的シミュレーションでは,物質点法(MPM)を用いて現実的な動的シミュレーションを行う。
本研究は,ロボットグルーピングにおいて,物体グルーピングに必要な安全力範囲を推定する把持力予測戦略を開発する。
物質セグメンテーション,物理に基づく動的シミュレーション,ロボットグルーピングの広範な実験により,提案手法の有効性が検証され,視覚データから物性を理解する上で重要な役割を担っている。
オンラインデモ、コード、より多くのケース、注釈付きデータセットは、 \href{https://Gaussian-Property.github.io}{this https URL}で入手できる。
関連論文リスト
- GauSim: Registering Elastic Objects into Digital World by Gaussian Simulator [55.02281855589641]
GauSimは、ガウスカーネルを通して表現される現実の弾性物体の動的挙動をキャプチャするために設計された、ニューラルネットワークベースの新しいシミュレータである。
我々は連続体力学を活用し、各カーネルを連続体としてモデル化し、理想化された仮定なしに現実的な変形を考慮に入れた。
ガウシムは質量や運動量保存などの明示的な物理制約を取り入れ、解釈可能な結果と堅牢で物理的に妥当なシミュレーションを確実にする。
論文 参考訳（メタデータ） (2024-12-23T18:58:17Z) - Automated 3D Physical Simulation of Open-world Scene with Gaussian Splatting [22.40115216094332]
Sim Anythingは、静的な3Dオブジェクトにインタラクティブなダイナミクスを与える物理ベースのアプローチである。
人間の視覚的推論に触発されて,MLLMに基づく物理特性知覚を提案する。
また、物理幾何学的適応サンプリングを用いて粒子をサンプリングして、オープンワールドシーンでオブジェクトをシミュレートする。
論文 参考訳（メタデータ） (2024-11-19T12:52:21Z) - Neural Material Adaptor for Visual Grounding of Intrinsic Dynamics [48.99021224773799]
本稿では,既存の物理法則を学習的補正と統合するニューラルネットワーク (NeuMA) を提案する。
また,粒子駆動型3次元ガウス平滑化モデルであるParticle-GSを提案する。
論文 参考訳（メタデータ） (2024-10-10T17:43:36Z) - GIC: Gaussian-Informed Continuum for Physical Property Identification and Simulation [60.33467489955188]
本稿では,視覚的観察を通して物理特性(システム同定)を推定する問題について検討する。
物理特性推定における幾何学的ガイダンスを容易にするために,我々は新しいハイブリッドフレームワークを提案する。
本研究では,3次元ガウス点集合としてオブジェクトを復元する動き分解に基づく動的3次元ガウスフレームワークを提案する。
抽出された物体表面に加えて、ガウスインフォームド連続体はシミュレーション中の物体マスクのレンダリングを可能にする。
論文 参考訳（メタデータ） (2024-06-21T07:37:17Z) - Latent Intuitive Physics: Learning to Transfer Hidden Physics from A 3D Video [58.043569985784806]
本稿では,物理シミュレーションのための伝達学習フレームワークである潜在直観物理学を紹介する。
単一の3Dビデオから流体の隠れた性質を推測し、新しいシーンで観察された流体をシミュレートすることができる。
我々は,本モデルの有効性を3つの方法で検証する: (i) 学習されたビジュアルワールド物理を用いた新しいシーンシミュレーション, (ii) 観測された流体力学の将来予測, (iii) 教師付き粒子シミュレーション。
論文 参考訳（メタデータ） (2024-06-18T16:37:44Z) - Physics3D: Learning Physical Properties of 3D Gaussians via Video Diffusion [35.71595369663293]
ビデオ拡散モデルを用いて3Dオブジェクトの様々な物理的特性を学習する新しい手法である textbfPhysics3D を提案する。
本手法では,粘弾性材料モデルに基づく高一般化物理シミュレーションシステムを設計する。
弾性材料とプラスチック材料の両方を用いて, 本手法の有効性を実証した。
論文 参考訳（メタデータ） (2024-06-06T17:59:47Z) - PhysDreamer: Physics-Based Interaction with 3D Objects via Video Generation [62.53760963292465]
PhysDreamerは物理に基づくアプローチで、静的な3Dオブジェクトにインタラクティブなダイナミクスを与える。
本稿では, 弾性物体の多様な例について考察し, ユーザスタディを通じて合成された相互作用の現実性を評価する。
論文 参考訳（メタデータ） (2024-04-19T17:41:05Z) - Feature Splatting: Language-Driven Physics-Based Scene Synthesis and Editing [11.46530458561589]
物理に基づく動的シーン合成をリッチなセマンティクスと統合する手法であるFeature Splattingを導入する。
私たちの最初の貢献は、高品質でオブジェクト中心の視覚言語機能を3Dガウスに抽出する方法です。
2つ目の貢献は、粒子ベースのシミュレーターを用いて、他の静的シーンから物理ベースのダイナミクスを合成する方法である。
論文 参考訳（メタデータ） (2024-04-01T16:31:04Z) - Reconstruction and Simulation of Elastic Objects with Spring-Mass 3D Gaussians [23.572267290979045]
Spring-Gausは、複数の視点からオブジェクトのビデオから弾性オブジェクトを再構成し、シミュレーションするための3D物理オブジェクト表現である。
本研究では,3次元Spring-Massモデルを3次元ガウスカーネルに実装し,オブジェクトの視覚的外観,形状,物理力学の再構築を可能にする。
合成と実世界の両方のデータセット上でSpring-Gausを評価し,弾性物体の正確な再構成とシミュレーションを実証した。
論文 参考訳（メタデータ） (2024-03-14T14:25:10Z) - 3D-IntPhys: Towards More Generalized 3D-grounded Visual Intuitive
Physics under Challenging Scenes [68.66237114509264]
複雑なシーンと流体の映像から3次元的な視覚的直感的な物理モデルを学習できるフレームワークを提案する。
本モデルでは,生画像から学習し,明示的な3次元表現空間を用いないモデルよりもはるかに優れた将来予測が可能であることを示す。
論文 参考訳（メタデータ） (2023-04-22T19:28:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。