論文の概要: GraspSplats: Efficient Manipulation with 3D Feature Splatting

• arxiv url: http://arxiv.org/abs/2409.02084v1
• Date: Tue, 3 Sep 2024 17:35:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 00:04:31.247350
• Title: GraspSplats: Efficient Manipulation with 3D Feature Splatting
• Title（参考訳）: GraspSplats: 3D特徴分割による効率的な操作
• Authors: Mazeyu Ji, Ri-Zhao Qiu, Xueyan Zou, Xiaolong Wang,
• Abstract要約: 我々は60秒未満で高品質なシーン表現を生成するGraspSplatsを提案する。 フランカロボットの広範な実験により,GraspSplatsが既存手法よりも優れていたことが実証された。
• 参考スコア（独自算出の注目度）: 13.654484429008964
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ability for robots to perform efficient and zero-shot grasping of object parts is crucial for practical applications and is becoming prevalent with recent advances in Vision-Language Models (VLMs). To bridge the 2D-to-3D gap for representations to support such a capability, existing methods rely on neural fields (NeRFs) via differentiable rendering or point-based projection methods. However, we demonstrate that NeRFs are inappropriate for scene changes due to their implicitness and point-based methods are inaccurate for part localization without rendering-based optimization. To amend these issues, we propose GraspSplats. Using depth supervision and a novel reference feature computation method, GraspSplats generates high-quality scene representations in under 60 seconds. We further validate the advantages of Gaussian-based representation by showing that the explicit and optimized geometry in GraspSplats is sufficient to natively support (1) real-time grasp sampling and (2) dynamic and articulated object manipulation with point trackers. With extensive experiments on a Franka robot, we demonstrate that GraspSplats significantly outperforms existing methods under diverse task settings. In particular, GraspSplats outperforms NeRF-based methods like F3RM and LERF-TOGO, and 2D detection methods.
• Abstract（参考訳）: ロボットが物体部品を効率よくゼロショットでつかむ能力は、実用上極めて重要であり、近年のビジョン・ランゲージ・モデル(VLM)の発展とともに普及しつつある。 このような能力をサポートするために表現のための2Dから3Dのギャップを埋めるために、既存の手法は、微分可能なレンダリングやポイントベースプロジェクションメソッドを通じて、ニューラルネットワーク(NeRF)に依存している。 しかし,NeRFは暗黙性のためシーン変更には不適切であり,点ベース手法はレンダリングベース最適化を使わずに部分ローカライゼーションには不正確であることを示す。 これらの問題を解決するため、我々はGraspSplatsを提案する。 深度監視と新しい参照特徴計算法を用いて,60秒未満で高品質なシーン表現を生成する。 さらに,GraspSplatsにおける明示的かつ最適化された幾何は,(1)リアルタイムグリップサンプリングと(2)ポイントトラッカーを用いた動的・明瞭なオブジェクト操作をネイティブにサポートするのに十分であることを示すことにより,ガウス表現の利点を検証した。 フランカロボットの広範な実験により,GraspSplatsはタスク設定の異なる既存手法よりも優れていたことが実証された。 特にGraspSplatsは、F3RMやLERF-TOGOのようなNeRFベースの手法と2D検出方法より優れている。

関連論文リスト

• GSplatLoc: Grounding Keypoint Descriptors into 3D Gaussian Splatting for Improved Visual Localization [1.4466437171584356]
  3D Gaussian Splatting (3DGS) は、空間的特徴を持つ3次元幾何学とシーンの外観の両方をコンパクトに符号化することができる。 モデルの空間的理解を改善するために,高密度キーポイント記述子を3DGSに蒸留することを提案する。 提案手法はNeRFMatchやPNeRFLocなど,最先端のニューラル・レンダー・ポース(NRP)法を超越した手法である。
  論文  参考訳（メタデータ） (2024-09-24T23:18:32Z)
• SplatLoc: 3D Gaussian Splatting-based Visual Localization for Augmented Reality [50.179377002092416]
  より少ないパラメータで高品質なレンダリングが可能な効率的なビジュアルローカライズ手法を提案する。 提案手法は,最先端の暗黙的視覚的ローカライゼーションアプローチに対して,より優れた,あるいは同等なレンダリングとローカライゼーション性能を実現する。
  論文  参考訳（メタデータ） (2024-09-21T08:46:16Z)
• SpotlessSplats: Ignoring Distractors in 3D Gaussian Splatting [44.42317312908314]
  3D Gaussian Splatting (3DGS)は、3D再構成のための有望な技術であり、効率的なトレーニングとレンダリング速度を提供する。 現在の手法では、3DGSのビュー間の一貫性の仮定を満たすために、高度に制御された環境が必要である。 SpotLessSplatsは、トレーニング済みと汎用の機能と頑健な最適化を併用して、過渡的障害を効果的に無視するアプローチである。
  論文  参考訳（メタデータ） (2024-06-28T17:07:11Z)
• LP-3DGS: Learning to Prune 3D Gaussian Splatting [71.97762528812187]
  本稿では,トレーニング可能な2値マスクを重要度に応用し,最適プルーニング比を自動的に検出する3DGSを提案する。 実験の結果,LP-3DGSは効率と高品質の両面において良好なバランスを保っていることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T05:58:34Z)
• Semantic Gaussians: Open-Vocabulary Scene Understanding with 3D Gaussian Splatting [27.974762304763694]
  セマンティック・ガウシアン(Semantic Gaussians)は,3次元ガウシアン・スプレイティングをベースとした,新しいオープン語彙シーン理解手法である。 既存の手法とは異なり、様々な2次元意味的特徴を3次元ガウスの新たな意味的構成要素にマッピングする多目的投影手法を設計する。 我々は,高速な推論のために,生の3Dガウスから意味成分を直接予測する3Dセマンティックネットワークを構築した。
  論文  参考訳（メタデータ） (2024-03-22T21:28:19Z)
• Feature 3DGS: Supercharging 3D Gaussian Splatting to Enable Distilled Feature Fields [54.482261428543985]
  ニューラル・ラジアンス・フィールドを使用する手法は、新しいビュー合成のような従来のタスクに汎用的である。 3次元ガウシアンスプラッティングは, 実時間ラディアンス場レンダリングにおける最先端の性能を示した。 この問題を効果的に回避するために,アーキテクチャとトレーニングの変更を提案する。
  論文  参考訳（メタデータ） (2023-12-06T00:46:30Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)
• GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
  我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。 提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。 提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
  論文  参考訳（メタデータ） (2023-11-20T12:08:23Z)
• PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [114.47216525866435]
  本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。 PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。