論文の概要: Visuo-Tactile Object Pose Estimation for a Multi-Finger Robot Hand with Low-Resolution In-Hand Tactile Sensing

• arxiv url: http://arxiv.org/abs/2503.19893v1
• Date: Tue, 25 Mar 2025 17:53:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 16:53:54.994090
• Title: Visuo-Tactile Object Pose Estimation for a Multi-Finger Robot Hand with Low-Resolution In-Hand Tactile Sensing
• Title（参考訳）: 低分解能手指触覚センサを用いた多指ロボットハンドの視覚触覚オブジェクトポース推定
• Authors: Lukas Mack, Felix Grüninger, Benjamin A. Richardson, Regine Lendway, Katherine J. Kuchenbecker, Joerg Stueckler,
• Abstract要約: 把握された物体の正確な3Dポーズ推定は、ロボットが組み立てや手動操作を行うための重要な前提条件である。 本稿では,視覚情報とプロバイオセプションを2値の低解像度触覚接触測定と組み合わせることで,この問題を軽減することを提案する。
• 参考スコア（独自算出の注目度）: 9.970043211592058
• License:
• Abstract: Accurate 3D pose estimation of grasped objects is an important prerequisite for robots to perform assembly or in-hand manipulation tasks, but object occlusion by the robot's own hand greatly increases the difficulty of this perceptual task. Here, we propose that combining visual information and proprioception with binary, low-resolution tactile contact measurements from across the interior surface of an articulated robotic hand can mitigate this issue. The visuo-tactile object-pose-estimation problem is formulated probabilistically in a factor graph. The pose of the object is optimized to align with the three kinds of measurements using a robust cost function to reduce the influence of visual or tactile outlier readings. The advantages of the proposed approach are first demonstrated in simulation: a custom 15-DoF robot hand with one binary tactile sensor per link grasps 17 YCB objects while observed by an RGB-D camera. This low-resolution in-hand tactile sensing significantly improves object-pose estimates under high occlusion and also high visual noise. We also show these benefits through grasping tests with a preliminary real version of our tactile hand, obtaining reasonable visuo-tactile estimates of object pose at approximately 13.3 Hz on average.
• Abstract（参考訳）: 把握された物体の正確な3Dポーズ推定は、組み立て作業や手操作作業を行うロボットにとって重要な前提条件であるが、ロボット自身の手による物体の隠蔽は、この知覚作業の難しさを大幅に増大させる。 そこで本研究では,視覚情報とプロバイオセプションと,ロボットハンドの内面を横断する低分解能触覚接触測定を併用することにより,この問題を軽減することを提案する。 Visuo-tactile の目的推定問題は因子グラフで確率的に定式化される。 オブジェクトのポーズは、堅牢なコスト関数を用いて3種類の測定値と整合するように最適化され、視覚的または触覚的外れ値の影響を低減する。 提案手法の利点は、RGB-Dカメラで観察された17個のYCBオブジェクトを1リンク当たり1本の2元触覚センサを備えた15-DoFロボットハンドのシミュレーションで実証された。 この低分解能な触覚センサは、高い閉塞下での物体位置推定を著しく改善すると同時に、高い視覚ノイズも改善する。 また, 触覚ハンドの予備的な実版を用いて, 平均13.3Hzの被写体ポーズの適度な視触覚推定値を得ることにより, これらの利点を示す。

関連論文リスト

• HOGSA: Bimanual Hand-Object Interaction Understanding with 3D Gaussian Splatting Based Data Augmentation [29.766317710266765]
  本稿では,2次元手動物体間相互作用のための3次元ガウススプラッティングに基づくデータ拡張フレームワークを提案する。 メッシュベースの3DGSを用いてオブジェクトとハンドをモデル化し、マルチレゾリューション入力画像によるレンダリングのぼかし問題に対処する。 両手オブジェクトに対する片手握りポーズ最適化モジュールを拡張し、両手オブジェクト間相互作用のさまざまなポーズを生成する。
  論文  参考訳（メタデータ） (2025-01-06T08:48:17Z)
• 3D Foundation Models Enable Simultaneous Geometry and Pose Estimation of Grasped Objects [13.58353565350936]
  本研究では,ロボットが把握した物体の形状と姿勢を共同で推定する手法を提案する。 提案手法は,推定幾何をロボットの座標フレームに変換する。 我々は,実世界の多様な物体の集合を保持するロボットマニピュレータに対する我々のアプローチを実証的に評価した。
  論文  参考訳（メタデータ） (2024-07-14T21:02:55Z)
• Benchmarks and Challenges in Pose Estimation for Egocentric Hand Interactions with Objects [89.95728475983263]
  ロボティクス、AR/VR、アクション認識、モーション生成といったタスクにおいて、自己中心的な視点からこのようなインタラクションを理解することが重要である。 我々は、AmblyHandsとARCTICデータセットに基づいたHANDS23チャレンジを、慎重に設計されたトレーニングとテストの分割に基づいて設計する。 提案手法の結果と近年のリーダーボードのベースラインに基づいて,3Dハンド(オブジェクト)再構成タスクの徹底的な解析を行う。
  論文  参考訳（メタデータ） (2024-03-25T05:12:21Z)
• Fit-NGP: Fitting Object Models to Neural Graphics Primitives [19.513102875891775]
  本研究では, 高精度なポーズ推定法として, 最先端の高効率放射場再構成法によって生成された密度場が適していることを示す。 本稿では,手首にカメラを装着したロボットアームを用いた完全自動ポーズ推定システムを提案する。
  論文  参考訳（メタデータ） (2024-01-04T16:57:56Z)
• Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
  人間は触覚と触覚に頼っている。 視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。 本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
  論文  参考訳（メタデータ） (2023-03-10T16:27:37Z)
• Monocular 3D Reconstruction of Interacting Hands via Collision-Aware Factorized Refinements [96.40125818594952]
  単眼のRGB画像から3Dインタラクションハンドを再構築する試みを初めて行った。 提案手法では, 高精度な3次元ポーズと最小の衝突で3次元ハンドメッシュを生成することができる。
  論文  参考訳（メタデータ） (2021-11-01T08:24:10Z)
• Towards unconstrained joint hand-object reconstruction from RGB videos [81.97694449736414]
  ハンドオブジェクト操作の再構築は、ロボット工学と人間のデモから学ぶ大きな可能性を秘めている。 まず,手動物体の相互作用をシームレスに処理できる学習不要な手動物体再構成手法を提案する。
  論文  参考訳（メタデータ） (2021-08-16T12:26:34Z)
• Physics-Based Dexterous Manipulations with Estimated Hand Poses and Residual Reinforcement Learning [52.37106940303246]
  ノイズの多い入力ポーズをターゲットの仮想ポーズにマッピングするモデルを学習する。 モデルフリーハイブリッドRL+ILアプローチを用いて残留条件下で訓練する。 筆者らは,VRにおける手動物体の相互作用と,それを用いた手動物体の動作再構成という,手動姿勢推定を用いた2つのアプリケーションで,我々のフレームワークを検証した。
  論文  参考訳（メタデータ） (2020-08-07T17:34:28Z)
• Measuring Generalisation to Unseen Viewpoints, Articulations, Shapes and Objects for 3D Hand Pose Estimation under Hand-Object Interaction [137.28465645405655]
  HANDS'19は、現在の3Dハンドポーズ推定器(HPE)がトレーニングセットのポーズを補間し、外挿する能力を評価するための課題である。 本研究では,最先端手法の精度が低下し,トレーニングセットから外れたポーズでほとんど失敗することを示す。
  論文  参考訳（メタデータ） (2020-03-30T19:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。