論文の概要: PUGS: Zero-shot Physical Understanding with Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2502.12231v1
• Date: Mon, 17 Feb 2025 18:59:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:07:19.059601
• Title: PUGS: Zero-shot Physical Understanding with Gaussian Splatting
• Title（参考訳）: PUGS:ガウススプラッティングによるゼロショット物理理解
• Authors: Yinghao Shuai, Ran Yu, Yuantao Chen, Zijian Jiang, Xiaowei Song, Nan Wang, Jv Zheng, Jianzhu Ma, Meng Yang, Zhicheng Wang, Wenbo Ding, Hao Zhao,
• Abstract要約: 現在のロボットシステムは、オブジェクトのカテゴリやポーズをよく理解することができる。 しかし、質量、摩擦、硬さといった物理的性質を理解することは、野生では難しいままです。 ガウススプラッティング表現を用いて3次元オブジェクトを再構成し、ゼロショット方式で様々な物理特性を予測できる新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 23.343865500013887
• License:
• Abstract: Current robotic systems can understand the categories and poses of objects well. But understanding physical properties like mass, friction, and hardness, in the wild, remains challenging. We propose a new method that reconstructs 3D objects using the Gaussian splatting representation and predicts various physical properties in a zero-shot manner. We propose two techniques during the reconstruction phase: a geometry-aware regularization loss function to improve the shape quality and a region-aware feature contrastive loss function to promote region affinity. Two other new techniques are designed during inference: a feature-based property propagation module and a volume integration module tailored for the Gaussian representation. Our framework is named as zero-shot physical understanding with Gaussian splatting, or PUGS. PUGS achieves new state-of-the-art results on the standard benchmark of ABO-500 mass prediction. We provide extensive quantitative ablations and qualitative visualization to demonstrate the mechanism of our designs. We show the proposed methodology can help address challenging real-world grasping tasks. Our codes, data, and models are available at https://github.com/EverNorif/PUGS
• Abstract（参考訳）: 現在のロボットシステムは、オブジェクトのカテゴリやポーズをよく理解することができる。 しかし、質量、摩擦、硬さといった物理的性質を理解することは、野生では難しいままです。 ガウススプラッティング表現を用いて3次元オブジェクトを再構成し、ゼロショット方式で様々な物理特性を予測できる新しい手法を提案する。 本研究では, 形状品質向上のための幾何対応正規化損失関数と, 領域親和性向上のための領域認識特徴損失関数の2つの手法を提案する。 その他の2つの新しいテクニックは、機能ベースのプロパティ伝搬モジュールとガウス表現に適したボリューム統合モジュールである。 我々のフレームワークはガウススプラッティング(PUGS)を用いたゼロショット物理理解(ゼロショット物理理解)として名付けられている。 PUGSは、ABO-500質量予測の標準ベンチマークにおいて、最先端の新たな結果を達成する。 設計のメカニズムを実証するために、広範に定量化と定性的な可視化を提供する。 提案手法は,現実の把握課題に挑戦する上で有効であることを示す。 私たちのコード、データ、モデルはhttps://github.com/EverNorif/PUGSで利用可能です。

関連論文リスト

• NovelGS: Consistent Novel-view Denoising via Large Gaussian Reconstruction Model [57.92709692193132]
  NovelGSは、スパースビュー画像が与えられたガウススプラッティングの拡散モデルである。 我々は3Dガウスを生成するためにトランスフォーマーネットワークを経由する新しい視点を利用する。
  論文  参考訳（メタデータ） (2024-11-25T07:57:17Z)
• HFGaussian: Learning Generalizable Gaussian Human with Integrated Human Features [23.321087432786605]
  HFGaussianと呼ばれる新しいアプローチでは、25FPSでスパルス入力画像から3Dスケルトン、3Dキーポイント、高密度ポーズなどの新しいビューや人間の特徴をリアルタイムで推定できる。 我々は,HFGaussの手法をヒトガウススプラッティングにおける最新の最先端技術に対して徹底的に評価し,そのリアルタイム,最先端性能を示す。
  論文  参考訳（メタデータ） (2024-11-05T13:31:04Z)
• Masked Generative Extractor for Synergistic Representation and 3D Generation of Point Clouds [6.69660410213287]
  我々は,3次元表現学習と生成学習を深く統合する利点を探るため,Point-MGEと呼ばれる革新的なフレームワークを提案する。 形状分類において、Point-MGEはModelNet40データセットで94.2%(+1.0%)、ScanObjectNNデータセットで92.9%(+5.5%)の精度を達成した。 また,非条件条件と条件条件条件条件の両方で,Point-MGEが高品質な3D形状を生成可能であることを確認した。
  論文  参考訳（メタデータ） (2024-06-25T07:57:03Z)
• GIC: Gaussian-Informed Continuum for Physical Property Identification and Simulation [60.33467489955188]
  本稿では,視覚的観察を通して物理特性(システム同定)を推定する問題について検討する。 物理特性推定における幾何学的ガイダンスを容易にするために,我々は新しいハイブリッドフレームワークを提案する。 本研究では,3次元ガウス点集合としてオブジェクトを復元する動き分解に基づく動的3次元ガウスフレームワークを提案する。 抽出された物体表面に加えて、ガウスインフォームド連続体はシミュレーション中の物体マスクのレンダリングを可能にする。
  論文  参考訳（メタデータ） (2024-06-21T07:37:17Z)
• Effective Rank Analysis and Regularization for Enhanced 3D Gaussian Splatting [33.01987451251659]
  3D Gaussian Splatting(3DGS)は、高品質な3D再構成によるリアルタイムレンダリングが可能な有望な技術として登場した。 その可能性にもかかわらず、3DGSは針状アーティファクト、準最適ジオメトリー、不正確な正常といった課題に遭遇する。 正規化として有効ランクを導入し、ガウスの構造を制約する。
  論文  参考訳（メタデータ） (2024-06-17T15:51:59Z)
• SAGS: Structure-Aware 3D Gaussian Splatting [53.6730827668389]
  本研究では,シーンの形状を暗黙的に符号化する構造認識型ガウス散乱法(SAGS)を提案する。 SAGSは、最先端のレンダリング性能と、ベンチマークノベルビュー合成データセットのストレージ要件の削減を反映している。
  論文  参考訳（メタデータ） (2024-04-29T23:26:30Z)
• HUGS: Holistic Urban 3D Scene Understanding via Gaussian Splatting [53.6394928681237]
  RGB画像に基づく都市景観の全体的理解は、難しいが重要な問題である。 我々の主な考え方は、静的な3Dガウスと動的なガウスの組合せを用いた幾何学、外観、意味論、運動の合同最適化である。 提案手法は,2次元および3次元のセマンティック情報を高精度に生成し,新たな視点をリアルタイムに描画する機能を提供する。
  論文  参考訳（メタデータ） (2024-03-19T13:39:05Z)
• Mesh-based Gaussian Splatting for Real-time Large-scale Deformation [58.18290393082119]
  ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。 我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。 提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
  論文  参考訳（メタデータ） (2024-02-07T12:36:54Z)
• PhysGaussian: Physics-Integrated 3D Gaussians for Generative Dynamics [22.4647573375673]
  我々はPhysGaussianを紹介した。これは3次元ガウス内に物理的に基底付けられたニュートン力学をシームレスに統合する新しい方法である。 本手法の特長は,物理シミュレーションと視覚レンダリングのシームレスな統合である。 本手法は多種多様な材料にまたがる優れた汎用性を示す。
  論文  参考訳（メタデータ） (2023-11-20T21:34:52Z)
• Coarse-to-fine Animal Pose and Shape Estimation [67.39635503744395]
  単一画像から3次元動物メッシュを再構成する粗大なアプローチを提案する。 粗い推定段階はまずSMALモデルのポーズ、形状、翻訳パラメータを推定する。 次に、推定メッシュをグラフ畳み込みネットワーク(GCN)によって開始点として使用し、精製段階における頂点毎の変形を予測する。
  論文  参考訳（メタデータ） (2021-11-16T01:27:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。