論文の概要: PUGS: Zero-shot Physical Understanding with Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2502.12231v2
- Date: Fri, 21 Mar 2025 11:50:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-24 15:40:09.960776
- Title: PUGS: Zero-shot Physical Understanding with Gaussian Splatting
- Title（参考訳）: PUGS:ガウススプラッティングによるゼロショット物理理解
- Authors: Yinghao Shuai, Ran Yu, Yuantao Chen, Zijian Jiang, Xiaowei Song, Nan Wang, Jv Zheng, Jianzhu Ma, Meng Yang, Zhicheng Wang, Wenbo Ding, Hao Zhao,
- Abstract要約: 現在のロボットシステムは、オブジェクトのカテゴリやポーズをよく理解することができる。
しかし、質量、摩擦、硬さといった物理的性質を理解することは、野生では難しいままです。
ガウススプラッティング表現を用いて3次元オブジェクトを再構成し、ゼロショット方式で様々な物理特性を予測できる新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 23.343865500013887
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Current robotic systems can understand the categories and poses of objects well. But understanding physical properties like mass, friction, and hardness, in the wild, remains challenging. We propose a new method that reconstructs 3D objects using the Gaussian splatting representation and predicts various physical properties in a zero-shot manner. We propose two techniques during the reconstruction phase: a geometry-aware regularization loss function to improve the shape quality and a region-aware feature contrastive loss function to promote region affinity. Two other new techniques are designed during inference: a feature-based property propagation module and a volume integration module tailored for the Gaussian representation. Our framework is named as zero-shot physical understanding with Gaussian splatting, or PUGS. PUGS achieves new state-of-the-art results on the standard benchmark of ABO-500 mass prediction. We provide extensive quantitative ablations and qualitative visualization to demonstrate the mechanism of our designs. We show the proposed methodology can help address challenging real-world grasping tasks. Our codes, data, and models are available at https://github.com/EverNorif/PUGS
- Abstract（参考訳）: 現在のロボットシステムは、オブジェクトのカテゴリやポーズをよく理解することができる。
しかし、質量、摩擦、硬さといった物理的性質を理解することは、野生では難しいままです。
ガウススプラッティング表現を用いて3次元オブジェクトを再構成し、ゼロショット方式で様々な物理特性を予測できる新しい手法を提案する。
本研究では, 形状品質向上のための幾何対応正規化損失関数と, 領域親和性向上のための領域認識特徴損失関数の2つの手法を提案する。
その他の2つの新しいテクニックは、機能ベースのプロパティ伝搬モジュールとガウス表現に適したボリューム統合モジュールである。
我々のフレームワークはガウススプラッティング(PUGS)を用いたゼロショット物理理解(ゼロショット物理理解)として名付けられている。
PUGSは、ABO-500質量予測の標準ベンチマークにおいて、最先端の新たな結果を達成する。
設計のメカニズムを実証するために、広範に定量化と定性的な可視化を提供する。
提案手法は,現実の把握課題に挑戦する上で有効であることを示す。
私たちのコード、データ、モデルはhttps://github.com/EverNorif/PUGSで利用可能です。
関連論文リスト
- GaussianGraph: 3D Gaussian-based Scene Graph Generation for Open-world Scene Understanding [20.578106363482018]
本稿では,セマンティッククラスタリングとシーングラフ生成を統合し,3DGSに基づくシーン理解を強化する新しいフレームワークを提案する。
本稿では,シーンスケールや特徴分布に動的に対応し,特徴圧縮を回避する"Control-Follow"クラスタリング戦略を提案する。
2次元基礎モデルから抽出したオブジェクト属性と空間関係を統合することでシーン表現を充実させる。
論文 参考訳（メタデータ） (2025-03-06T02:36:59Z) - ArtGS: Building Interactable Replicas of Complex Articulated Objects via Gaussian Splatting [66.29782808719301]
コンピュータビジョンにおいて、音声で表現されたオブジェクトを構築することが重要な課題である。
既存のメソッドは、しばしば異なるオブジェクト状態間で効果的に情報を統合できない。
3次元ガウスを柔軟かつ効率的な表現として活用する新しいアプローチであるArtGSを紹介する。
論文 参考訳（メタデータ） (2025-02-26T10:25:32Z) - UrbanGS: Semantic-Guided Gaussian Splatting for Urban Scene Reconstruction [86.4386398262018]
UrbanGSは2Dセマンティックマップと既存の動的ガウスアプローチを使って静的オブジェクトとシーンを区別する。
動的オブジェクトに対して、学習可能な時間埋め込みを用いて時間情報を集約する。
提案手法は, 修復の質と効率性において, 最先端の手法より優れている。
論文 参考訳（メタデータ） (2024-12-04T16:59:49Z) - HFGaussian: Learning Generalizable Gaussian Human with Integrated Human Features [23.321087432786605]
HFGaussianと呼ばれる新しいアプローチでは、25FPSでスパルス入力画像から3Dスケルトン、3Dキーポイント、高密度ポーズなどの新しいビューや人間の特徴をリアルタイムで推定できる。
我々は,HFGaussの手法をヒトガウススプラッティングにおける最新の最先端技術に対して徹底的に評価し,そのリアルタイム,最先端性能を示す。
論文 参考訳（メタデータ） (2024-11-05T13:31:04Z) - GIC: Gaussian-Informed Continuum for Physical Property Identification and Simulation [60.33467489955188]
本稿では,視覚的観察を通して物理特性(システム同定)を推定する問題について検討する。
物理特性推定における幾何学的ガイダンスを容易にするために,我々は新しいハイブリッドフレームワークを提案する。
本研究では,3次元ガウス点集合としてオブジェクトを復元する動き分解に基づく動的3次元ガウスフレームワークを提案する。
抽出された物体表面に加えて、ガウスインフォームド連続体はシミュレーション中の物体マスクのレンダリングを可能にする。
論文 参考訳（メタデータ） (2024-06-21T07:37:17Z) - Effective Rank Analysis and Regularization for Enhanced 3D Gaussian Splatting [33.01987451251659]
3D Gaussian Splatting(3DGS)は、高品質な3D再構成によるリアルタイムレンダリングが可能な有望な技術として登場した。
その可能性にもかかわらず、3DGSは針状アーティファクト、準最適ジオメトリー、不正確な正常といった課題に遭遇する。
正規化として有効ランクを導入し、ガウスの構造を制約する。
論文 参考訳（メタデータ） (2024-06-17T15:51:59Z) - SAGS: Structure-Aware 3D Gaussian Splatting [53.6730827668389]
本研究では,シーンの形状を暗黙的に符号化する構造認識型ガウス散乱法(SAGS)を提案する。
SAGSは、最先端のレンダリング性能と、ベンチマークノベルビュー合成データセットのストレージ要件の削減を反映している。
論文 参考訳（メタデータ） (2024-04-29T23:26:30Z) - Mesh-based Gaussian Splatting for Real-time Large-scale Deformation [58.18290393082119]
ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。
我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。
提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
論文 参考訳（メタデータ） (2024-02-07T12:36:54Z) - GaussianBody: Clothed Human Reconstruction via 3d Gaussian Splatting [14.937297984020821]
本稿では,3次元ガウシアンスプラッティングをベースとした,ガウシアンボディと呼ばれる新しい布地復元手法を提案する。
静的な3次元ガウススメッティングモデルを動的復元問題に適用することは、複雑な非剛性変形とリッチな布の細部のために非自明である。
本手法は,ダイナミックな衣料人体に高精細な画質で,最先端のフォトリアリスティックなノベルビューレンダリングを実現できることを示す。
論文 参考訳（メタデータ） (2024-01-18T04:48:13Z) - PhysGaussian: Physics-Integrated 3D Gaussians for Generative Dynamics [22.4647573375673]
我々はPhysGaussianを紹介した。これは3次元ガウス内に物理的に基底付けられたニュートン力学をシームレスに統合する新しい方法である。
本手法の特長は,物理シミュレーションと視覚レンダリングのシームレスな統合である。
本手法は多種多様な材料にまたがる優れた汎用性を示す。
論文 参考訳（メタデータ） (2023-11-20T21:34:52Z) - Coarse-to-fine Animal Pose and Shape Estimation [67.39635503744395]
単一画像から3次元動物メッシュを再構成する粗大なアプローチを提案する。
粗い推定段階はまずSMALモデルのポーズ、形状、翻訳パラメータを推定する。
次に、推定メッシュをグラフ畳み込みネットワーク(GCN)によって開始点として使用し、精製段階における頂点毎の変形を予測する。
論文 参考訳（メタデータ） (2021-11-16T01:27:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。