論文の概要: VisuoTactile 6D Pose Estimation of an In-Hand Object using Vision and Tactile Sensor Data
- arxiv url: http://arxiv.org/abs/2601.01675v1
- Date: Sun, 04 Jan 2026 21:59:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-23 08:17:40.628194
- Title: VisuoTactile 6D Pose Estimation of an In-Hand Object using Vision and Tactile Sensor Data
- Title（参考訳）: VisuoTactile 6D Pose Estimation of a In-Hand Object using Vision and Tactile Sensor Data (特集:バイオサイバネティックスとバイオサイバネティックス)
- Authors: Snehal s. Dikhale, Karankumar Patel, Daksh Dhingra, Itoshi Naramura, Akinobu Hayashi, Soshi Iba, Nawid Jamali,
- Abstract要約: 本稿では,触覚データと視覚データを用いて,ロボットの手でつかんだ物体のポーズを推定する手法を提案する。
その結果,視覚データに加えて触覚データを用いることで6次元ポーズ推定が向上することが示唆された。
- 参考スコア（独自算出の注目度）: 2.913961247998284
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge of the 6D pose of an object can benefit in-hand object manipulation. In-hand 6D object pose estimation is challenging because of heavy occlusion produced by the robot's grippers, which can have an adverse effect on methods that rely on vision data only. Many robots are equipped with tactile sensors at their fingertips that could be used to complement vision data. In this paper, we present a method that uses both tactile and vision data to estimate the pose of an object grasped in a robot's hand. To address challenges like lack of standard representation for tactile data and sensor fusion, we propose the use of point clouds to represent object surfaces in contact with the tactile sensor and present a network architecture based on pixel-wise dense fusion. We also extend NVIDIA's Deep Learning Dataset Synthesizer to produce synthetic photo-realistic vision data and corresponding tactile point clouds. Results suggest that using tactile data in addition to vision data improves the 6D pose estimate, and our network generalizes successfully from synthetic training to real physical robots.
- Abstract（参考訳）: オブジェクトの6Dポーズの知識は、手作業でオブジェクトを操作するのに役立ちます。
ロボットのグリップパーによって生成される重閉塞のため、手動6Dオブジェクトのポーズ推定は困難であり、視覚データのみに依存する手法に悪影響を及ぼす可能性がある。
多くのロボットは、視覚データを補完するのに使える触覚センサーを指先に装備している。
本稿では,触覚データと視覚データを用いて,ロボットの手でつかんだ物体のポーズを推定する手法を提案する。
触覚データに対する標準表現の欠如やセンサ融合といった課題に対処するため,触覚センサに接触する物体表面を表す点雲の利用を提案し,画素単位の高密度融合に基づくネットワークアーキテクチャを提案する。
また、NVIDIAのDeep Learning Dataset Synthesizerを拡張して、合成フォトリアリスティック視覚データと対応する触覚点雲を生成する。
その結果,視覚データに加えて触覚データを用いることで6次元ポーズ推定が向上することが示唆された。
関連論文リスト
- Object Pose Estimation through Dexterous Touch [27.99244228962149]
本手法では,ロボットハンドを積極的に制御し,物体と対話する。
本手法は,物体表面を積極的に探索し,物体の形状を事前に知ることなく重要なポーズ特徴を識別できることを実証する。
論文 参考訳（メタデータ） (2025-09-16T23:25:05Z) - Manipulation as in Simulation: Enabling Accurate Geometry Perception in Robots [55.43376513158555]
カメラ深度モデル (CDMs) は日用深度カメラの単純なプラグインである。
我々は,ディープカメラのノイズパターンをモデル化することにより,シミュレーションから高品質なペアデータを生成するニューラルデータエンジンを開発した。
私たちの実験では、ノイズや現実世界の微調整を必要とせず、生のシミュレートされた深さで訓練されたポリシーが、現実のロボットにシームレスに一般化されることを初めて実証しました。
論文 参考訳（メタデータ） (2025-09-02T17:29:38Z) - Visuo-Tactile Object Pose Estimation for a Multi-Finger Robot Hand with Low-Resolution In-Hand Tactile Sensing [9.970043211592058]
把握された物体の正確な3Dポーズ推定は、ロボットが組み立てや手動操作を行うための重要な前提条件である。
本稿では,視覚情報とプロバイオセプションを2値の低解像度触覚接触測定と組み合わせることで,この問題を軽減することを提案する。
論文 参考訳（メタデータ） (2025-03-25T17:53:53Z) - CordViP: Correspondence-based Visuomotor Policy for Dexterous Manipulation in Real-World [20.52894595103719]
CordViPは、オブジェクトのロバストな6Dポーズ推定とロボットのプロプリセプションを活用することで、通信を構築し、学習する新しいフレームワークである。
提案手法は,6つの実世界のタスクにおいて,最先端の性能を達成し,極めて巧妙な操作能力を示す。
論文 参考訳（メタデータ） (2025-02-12T14:41:14Z) - EgoPressure: A Dataset for Hand Pressure and Pose Estimation in Egocentric Vision [69.1005706608681]
EgoPressureは、詳細なタッチ接触と圧力相互作用をキャプチャする、新しいエゴセントリックなデータセットである。
本データセットは,頭部に装着した1台のKinectカメラと静止した7台のKinectカメラで同時に捉えた21人の被験者からの5時間の対話を収録した。
論文 参考訳（メタデータ） (2024-09-03T18:53:32Z) - Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
人間は触覚と触覚に頼っている。
視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。
本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
論文 参考訳（メタデータ） (2023-03-10T16:27:37Z) - Enhancing Generalizable 6D Pose Tracking of an In-Hand Object with
Tactile Sensing [31.49529551069215]
TEG-Trackは触覚による6Dポーズトラッキングシステムである。
手に持たない物体を追跡できる。
その結果,TEG-Trackは最先端の一般化可能な6Dポーズトラッカーを一貫して強化することを示した。
論文 参考訳（メタデータ） (2022-10-08T13:47:03Z) - Visual-Tactile Multimodality for Following Deformable Linear Objects
Using Reinforcement Learning [15.758583731036007]
本稿では,視覚と触覚入力を併用して変形可能な線形物体を追従するタスクを完遂する問題について検討する。
我々は,異なる感覚モーダルを用いた強化学習エージェントを作成し,その動作をどのように促進するかを検討する。
実験の結果,視覚入力と触覚入力の両方を使用することで,最大92%の症例で作業が完了することがわかった。
論文 参考訳（メタデータ） (2022-03-31T21:59:08Z) - Dynamic Modeling of Hand-Object Interactions via Tactile Sensing [133.52375730875696]
本研究では,高分解能な触覚グローブを用いて,多種多様な物体に対して4種類のインタラクティブな動作を行う。
我々は,クロスモーダル学習フレームワーク上にモデルを構築し,視覚処理パイプラインを用いてラベルを生成し,触覚モデルを監督する。
この研究は、高密度触覚センシングによる手動物体相互作用における動的モデリングの一歩を踏み出す。
論文 参考訳（メタデータ） (2021-09-09T16:04:14Z) - Where is my hand? Deep hand segmentation for visual self-recognition in
humanoid robots [129.46920552019247]
本稿では、画像からロボットの手を切り離すための畳み込みニューラルネットワーク(CNN)を提案する。
ヒューマノイドロボットVizzyの手のセグメンテーションのために,Mask-RCNNネットワークを微調整した。
論文 参考訳（メタデータ） (2021-02-09T10:34:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。