論文の概要: 3D Foundation Models Enable Simultaneous Geometry and Pose Estimation of Grasped Objects

• arxiv url: http://arxiv.org/abs/2407.10331v1
• Date: Sun, 14 Jul 2024 21:02:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 18:39:42.558996
• Title: 3D Foundation Models Enable Simultaneous Geometry and Pose Estimation of Grasped Objects
• Title（参考訳）: グラフト物体の同時幾何とポス推定を可能にする3次元基礎モデル
• Authors: Weiming Zhi, Haozhan Tang, Tianyi Zhang, Matthew Johnson-Roberson,
• Abstract要約: 本研究では,ロボットが把握した物体の形状と姿勢を共同で推定する手法を提案する。 提案手法は,推定幾何をロボットの座標フレームに変換する。 我々は,実世界の多様な物体の集合を保持するロボットマニピュレータに対する我々のアプローチを実証的に評価した。
• 参考スコア（独自算出の注目度）: 13.58353565350936
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans have the remarkable ability to use held objects as tools to interact with their environment. For this to occur, humans internally estimate how hand movements affect the object's movement. We wish to endow robots with this capability. We contribute methodology to jointly estimate the geometry and pose of objects grasped by a robot, from RGB images captured by an external camera. Notably, our method transforms the estimated geometry into the robot's coordinate frame, while not requiring the extrinsic parameters of the external camera to be calibrated. Our approach leverages 3D foundation models, large models pre-trained on huge datasets for 3D vision tasks, to produce initial estimates of the in-hand object. These initial estimations do not have physically correct scales and are in the camera's frame. Then, we formulate, and efficiently solve, a coordinate-alignment problem to recover accurate scales, along with a transformation of the objects to the coordinate frame of the robot. Forward kinematics mappings can subsequently be defined from the manipulator's joint angles to specified points on the object. These mappings enable the estimation of points on the held object at arbitrary configurations, enabling robot motion to be designed with respect to coordinates on the grasped objects. We empirically evaluate our approach on a robot manipulator holding a diverse set of real-world objects.
• Abstract（参考訳）: 人間は、保持されたオブジェクトを環境と対話するツールとして使うという驚くべき能力を持っています。 これが起こるためには、人間が内部的に手の動きが物体の動きにどのように影響するかを推定する。 私たちはこの能力でロボットを養うことを望んでいます。 本研究では,外部カメラが捉えたRGB画像から,ロボットが把握した物体の形状と姿勢を共同で推定する手法を提案する。 特に,本手法では,外部カメラの外部パラメータを校正することなく,推定した形状をロボットの座標フレームに変換する。 提案手法では,3次元視覚タスクのための巨大なデータセット上に事前訓練された大規模モデルである3次元ファンデーションモデルを用いて,手動物体の初期推定値を生成する。 これらの初期推定は物理的に正しいスケールを持たず、カメラのフレームにある。 そこで我々は,ロボットの座標フレームへの変換とともに,正確なスケールを復元するための座標調整問題を定式化し,効率的に解決する。 フォワードキネマティクス写像はその後、マニピュレータの関節角から対象の特定の点への写像を定義することができる。 これらのマッピングにより、保持されたオブジェクト上の点を任意の構成で推定することができ、掴んだオブジェクトの座標に関してロボットの動きを設計することができる。 我々は,実世界の多様な物体の集合を保持するロボットマニピュレータに対する我々のアプローチを実証的に評価した。

関連論文リスト

• Fit-NGP: Fitting Object Models to Neural Graphics Primitives [19.513102875891775]
  本研究では, 高精度なポーズ推定法として, 最先端の高効率放射場再構成法によって生成された密度場が適していることを示す。 本稿では,手首にカメラを装着したロボットアームを用いた完全自動ポーズ推定システムを提案する。
  論文  参考訳（メタデータ） (2024-01-04T16:57:56Z)
• LocaliseBot: Multi-view 3D object localisation with differentiable rendering for robot grasping [9.690844449175948]
  オブジェクトのポーズ推定に重点を置いています。 このアプローチは,オブジェクトの複数ビュー,それらの視点におけるカメラのパラメータ,オブジェクトの3次元CADモデルという3つの情報に依存している。 推定対象のポーズが99.65%の精度で真理把握候補を把握できることが示される。
  論文  参考訳（メタデータ） (2023-11-14T14:27:53Z)
• ROAM: Robust and Object-Aware Motion Generation Using Neural Pose Descriptors [73.26004792375556]
  本稿では,3次元オブジェクト認識キャラクタ合成における新しいシーンオブジェクトへのロバストさと一般化が,参照オブジェクトを1つも持たないモーションモデルをトレーニングすることで実現可能であることを示す。 我々は、オブジェクト専用のデータセットに基づいて訓練された暗黙的な特徴表現を活用し、オブジェクトの周りのSE(3)-同変記述体フィールドをエンコードする。 本研究では,3次元仮想キャラクタの動作と相互作用の質,および未知のオブジェクトを持つシナリオに対するロバスト性を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-08-24T17:59:51Z)
• ShapeShift: Superquadric-based Object Pose Estimation for Robotic Grasping [85.38689479346276]
  現在の技術は参照3Dオブジェクトに大きく依存しており、その一般化性を制限し、新しいオブジェクトカテゴリに拡張するのにコストがかかる。 本稿では,オブジェクトに適合するプリミティブな形状に対してオブジェクトのポーズを予測する,オブジェクトのポーズ推定のためのスーパークワッドリックベースのフレームワークであるShapeShiftを提案する。
  論文  参考訳（メタデータ） (2023-04-10T20:55:41Z)
• What's in your hands? 3D Reconstruction of Generic Objects in Hands [49.12461675219253]
  我々の研究は、単一のRGB画像からハンドヘルドオブジェクトを再構築することを目的としている。 通常、既知の3Dテンプレートを仮定し、問題を3Dポーズ推定に還元する以前の作業とは対照的に、我々の作業は3Dテンプレートを知らずに汎用的なハンドヘルドオブジェクトを再構成する。
  論文  参考訳（メタデータ） (2022-04-14T17:59:02Z)
• 6-DoF Pose Estimation of Household Objects for Robotic Manipulation: An Accessible Dataset and Benchmark [17.493403705281008]
  本稿では,ロボット操作研究を中心に,既知の物体の6-DoFポーズ推定のための新しいデータセットを提案する。 我々は、おもちゃの食料品の3Dスキャンされたテクスチャモデルと、難解で散らかったシーンにおけるオブジェクトのRGBD画像を提供する。 半自動RGBD-to-modelテクスチャ対応を用いて、画像は数ミリ以内の精度で実証された地上の真実のポーズで注釈付けされる。 また,ADD-Hと呼ばれる新しいポーズ評価尺度を提案し,対象形状の対称性に頑健なハンガリー代入アルゴリズムについて,その明示的な列挙を必要とせず提案する。
  論文  参考訳（メタデータ） (2022-03-11T01:19:04Z)
• Estimating 3D Motion and Forces of Human-Object Interactions from Internet Videos [49.52070710518688]
  一つのRGBビデオからオブジェクトと対話する人の3D動作を再構築する手法を提案する。 本手法では,被験者の3次元ポーズを物体のポーズ,接触位置,人体の接触力とともに推定する。
  論文  参考訳（メタデータ） (2021-11-02T13:40:18Z)
• Towards unconstrained joint hand-object reconstruction from RGB videos [81.97694449736414]
  ハンドオブジェクト操作の再構築は、ロボット工学と人間のデモから学ぶ大きな可能性を秘めている。 まず,手動物体の相互作用をシームレスに処理できる学習不要な手動物体再構成手法を提案する。
  論文  参考訳（メタデータ） (2021-08-16T12:26:34Z)
• Object Detection and Pose Estimation from RGB and Depth Data for Real-time, Adaptive Robotic Grasping [0.0]
  動的ロボットの把握を目的として,リアルタイム物体検出とポーズ推定を行うシステムを提案する。 提案されたアプローチは、ロボットが物体のアイデンティティとその実際のポーズを検出し、新しいポーズで使用するために正準の把握を適応させることを可能にする。 訓練のためのシステムは、ロボットの手首に取り付けられたグリッパーに対する対象の相対的な姿勢を捉えることで、標準的な把握を定義する。 テスト中、新しいポーズが検出されると、物体の正準的な把握が識別され、ロボットアームの関節角度を調整して動的に適応されます。
  論文  参考訳（メタデータ） (2021-01-18T22:22:47Z)
• Nothing But Geometric Constraints: A Model-Free Method for Articulated Object Pose Estimation [89.82169646672872]
  本稿では,ロボットアームの関節構成を,モデルに先入観を持たずにRGBまたはRGB-D画像のシーケンスから推定する,教師なし視覚ベースシステムを提案する。 我々は,古典幾何学的定式化と深層学習を組み合わせることで,この課題を解決するために,極性多剛体制約を拡張した。
  論文  参考訳（メタデータ） (2020-11-30T20:46:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。