論文の概要: Gaussian-Informed Continuum for Physical Property Identification and Simulation
- arxiv url: http://arxiv.org/abs/2406.14927v1
- Date: Fri, 21 Jun 2024 07:37:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-24 14:23:19.119643
- Title: Gaussian-Informed Continuum for Physical Property Identification and Simulation
- Title（参考訳）: 物性同定とシミュレーションのためのガウスインフォームド連続体
- Authors: Junhao Cai, Yuji Yang, Weihao Yuan, Yisheng He, Zilong Dong, Liefeng Bo, Hui Cheng, Qifeng Chen,
- Abstract要約: 本稿では,視覚的観察を通して物理特性(システム同定)を推定する問題について検討する。
本稿では,3次元ガウス表現を活用して明示的な形状を捉え,学習中に暗黙的な形状を推定する新しいハイブリッドフレームワークを提案する。
私たちのパイプラインは、複数のベンチマークとメトリクスで最先端のパフォーマンスを実現しています。
- 参考スコア（独自算出の注目度）: 60.33467489955188
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper studies the problem of estimating physical properties (system identification) through visual observations. To facilitate geometry-aware guidance in physical property estimation, we introduce a novel hybrid framework that leverages 3D Gaussian representation to not only capture explicit shapes but also enable the simulated continuum to deduce implicit shapes during training. We propose a new dynamic 3D Gaussian framework based on motion factorization to recover the object as 3D Gaussian point sets across different time states. Furthermore, we develop a coarse-to-fine filling strategy to generate the density fields of the object from the Gaussian reconstruction, allowing for the extraction of object continuums along with their surfaces and the integration of Gaussian attributes into these continuums. In addition to the extracted object surfaces, the Gaussian-informed continuum also enables the rendering of object masks during simulations, serving as implicit shape guidance for physical property estimation. Extensive experimental evaluations demonstrate that our pipeline achieves state-of-the-art performance across multiple benchmarks and metrics. Additionally, we illustrate the effectiveness of the proposed method through real-world demonstrations, showcasing its practical utility. Our project page is at https://jukgei.github.io/project/gic.
- Abstract（参考訳）: 本稿では,視覚的観察を通して物理特性(システム同定)を推定する問題について検討する。
物理特性推定における幾何学的ガイダンスを容易にするために,3次元ガウス表現を利用した新しいハイブリッドフレームワークを導入する。
運動因子化に基づく新しい動的3次元ガウスの枠組みを提案し、異なる時間状態における3次元ガウス点集合としてオブジェクトを復元する。
さらに,ガウス的再構成から物体の密度場を生成するための粗大で微細な充填戦略を開発し,対象の連続体とその表面を抽出し,ガウス的属性をこれらの連続体に統合する。
抽出した物体表面に加えて、ガウスインフォームド連続体はシミュレーション中の物体マスクのレンダリングを可能にし、物理的特性推定のための暗黙の形状ガイダンスとして機能する。
大規模な実験的評価は、パイプラインが複数のベンチマークとメトリクスで最先端のパフォーマンスを達成することを示している。
さらに,実世界の実演を通して提案手法の有効性を説明し,実用性を示す。
私たちのプロジェクトページはhttps://jukgei.github.io/project/gic.comです。
関連論文リスト
- GASP: Gaussian Splatting for Physic-Based Simulations [0.42881773214459123]
既存の物理モデルでは、三角形や四面体メッシュ、マーチングキューブ、ケージメッシュなどのメッシュ機構が追加されている。
我々は3次元ガウス成分と整合するように、基底のニュートン力学を修正した。
結果の解は、ブラックボックスとして扱われるあらゆる物理エンジンに統合できる。
論文 参考訳（メタデータ） (2024-09-09T17:28:57Z) - Reconstructing and Simulating Dynamic 3D Objects with Mesh-adsorbed Gaussian Splatting [26.382349137191547]
本稿では,このようなジレンマを解決するために,メッシュ吸着型ガウス平滑化法(MaGS)を提案する。
MaGSは3Dガウスをメッシュ表面にホバリングすることを制約し、相互に吸着したメッシュ-ガウスの3D表現を生成する。
メッシュ、3Dガウス、RDFを共同最適化することで、MaGSは高いレンダリング精度とリアルな変形を実現する。
論文 参考訳（メタデータ） (2024-06-03T17:59:51Z) - GaussianFormer: Scene as Gaussians for Vision-Based 3D Semantic Occupancy Prediction [70.65250036489128]
3Dのセマンティック占有予測は,周囲のシーンの3Dの微細な形状とセマンティックスを得ることを目的としている。
本稿では,3Dシーンを3Dセマンティック・ガウシアンで表現するオブジェクト中心表現を提案する。
GaussianFormerは17.8%から24.8%のメモリ消費しか持たない最先端のメソッドで同等のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2024-05-27T17:59:51Z) - HUGS: Holistic Urban 3D Scene Understanding via Gaussian Splatting [53.6394928681237]
RGB画像に基づく都市景観の全体的理解は、難しいが重要な問題である。
我々の主な考え方は、静的な3Dガウスと動的なガウスの組合せを用いた幾何学、外観、意味論、運動の合同最適化である。
提案手法は,2次元および3次元のセマンティック情報を高精度に生成し,新たな視点をリアルタイムに描画する機能を提供する。
論文 参考訳（メタデータ） (2024-03-19T13:39:05Z) - GeoGS3D: Single-view 3D Reconstruction via Geometric-aware Diffusion Model and Gaussian Splatting [81.03553265684184]
単視点画像から詳細な3Dオブジェクトを再構成するフレームワークであるGeoGS3Dを紹介する。
本稿では,GDS(Gaussian Divergence Significance)という新しい指標を提案する。
実験により、GeoGS3Dはビュー間で高い一貫性を持つ画像を生成し、高品質な3Dオブジェクトを再構成することを示した。
論文 参考訳（メタデータ） (2024-03-15T12:24:36Z) - Reconstruction and Simulation of Elastic Objects with Spring-Mass 3D Gaussians [23.572267290979045]
Spring-Gausは、複数の視点からオブジェクトのビデオから弾性オブジェクトを再構成し、シミュレーションするための3D物理オブジェクト表現である。
本研究では,3次元Spring-Massモデルを3次元ガウスカーネルに実装し,オブジェクトの視覚的外観,形状,物理力学の再構築を可能にする。
合成と実世界の両方のデータセット上でSpring-Gausを評価し,弾性物体の正確な再構成とシミュレーションを実証した。
論文 参考訳（メタデータ） (2024-03-14T14:25:10Z) - Mesh-based Gaussian Splatting for Real-time Large-scale Deformation [58.18290393082119]
ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。
我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。
提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
論文 参考訳（メタデータ） (2024-02-07T12:36:54Z) - BEV-IO: Enhancing Bird's-Eye-View 3D Detection with Instance Occupancy [58.92659367605442]
我々は,BEV表現をインスタンス占有情報で拡張する新しい3次元検出パラダイムであるBEV-IOを提案する。
BEV-IOは、パラメータや計算オーバーヘッドの無視できる増加しか加えず、最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-05-26T11:16:12Z) - Joint stereo 3D object detection and implicit surface reconstruction [39.30458073540617]
本稿では,SO(3)の正確なオブジェクト指向を復元し,ステレオRGB画像から暗黙的な剛性形状を同時に予測できる学習ベースのフレームワークS-3D-RCNNを提案する。
方向推定のためには、局所的な外観を観測角度にマッピングする従来の研究とは対照的に、意味のある幾何学的表現(IGR)を抽出して進歩的なアプローチを提案する。
このアプローチは、知覚強度を1つか2つのビューからオブジェクト部分座標に変換するディープモデルにより、カメラ座標系において、直接自我中心のオブジェクト指向推定を実現する。
3次元境界ボックス内におけるより詳細な記述を実現するため,ステレオ画像からの暗黙的形状推定問題について検討する。
論文 参考訳（メタデータ） (2021-11-25T05:52:30Z) - Leveraging Planar Regularities for Point Line Visual-Inertial Odometry [13.51108336267342]
モノクラー・ビジュアル・慣性オドメトリー(VIO)システムでは、3Dポイント・クラウドとカメラ・モーションを同時に推定することができる。
平面規則性だけでなく点特徴や線特徴を利用するPLP-VIOを提案する。
提案手法の有効性を,合成データと公開データセットの両方で検証した。
論文 参考訳（メタデータ） (2020-04-16T18:20:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。