論文の概要: Grasp Like Humans: Learning Generalizable Multi-Fingered Grasping from Human Proprioceptive Sensorimotor Integration

• arxiv url: http://arxiv.org/abs/2509.08354v1
• Date: Wed, 10 Sep 2025 07:44:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-11 15:16:52.344033
• Title: Grasp Like Humans: Learning Generalizable Multi-Fingered Grasping from Human Proprioceptive Sensorimotor Integration
• Title（参考訳）: Grasp Like Humans: Learning Generalizable Multi-Fingered Grasping from Human Proprioceptive Sensorimotor Integration
• Authors: Ce Guo, Xieyuanli Chen, Zhiwen Zeng, Zirui Guo, Yihong Li, Haoran Xiao, Dewen Hu, Huimin Lu,
• Abstract要約: 触覚と審美的知覚は、人間の器用な操作に欠かせないものであり、感覚運動器統合による物体の確実な把握を可能にしている。 本研究では,人間の直感的・自然な操作から模倣学習に基づくロボット実行へのスキル伝達を把握するための,新しい手袋による触覚的知覚予測フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 26.351720551267846
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tactile and kinesthetic perceptions are crucial for human dexterous manipulation, enabling reliable grasping of objects via proprioceptive sensorimotor integration. For robotic hands, even though acquiring such tactile and kinesthetic feedback is feasible, establishing a direct mapping from this sensory feedback to motor actions remains challenging. In this paper, we propose a novel glove-mediated tactile-kinematic perception-prediction framework for grasp skill transfer from human intuitive and natural operation to robotic execution based on imitation learning, and its effectiveness is validated through generalized grasping tasks, including those involving deformable objects. Firstly, we integrate a data glove to capture tactile and kinesthetic data at the joint level. The glove is adaptable for both human and robotic hands, allowing data collection from natural human hand demonstrations across different scenarios. It ensures consistency in the raw data format, enabling evaluation of grasping for both human and robotic hands. Secondly, we establish a unified representation of multi-modal inputs based on graph structures with polar coordinates. We explicitly integrate the morphological differences into the designed representation, enhancing the compatibility across different demonstrators and robotic hands. Furthermore, we introduce the Tactile-Kinesthetic Spatio-Temporal Graph Networks (TK-STGN), which leverage multidimensional subgraph convolutions and attention-based LSTM layers to extract spatio-temporal features from graph inputs to predict node-based states for each hand joint. These predictions are then mapped to final commands through a force-position hybrid mapping.
• Abstract（参考訳）: 触覚と審美的知覚は、ヒトの器用な操作に欠かせないものであり、プロピオセプティブな感覚運動体統合による物体の確実な把握を可能にしている。 ロボットハンドでは、触覚フィードバックや審美フィードバックの獲得は可能だが、この感覚フィードバックから運動行動への直接的なマッピングは依然として難しい。 本稿では,人間の直感的・自然な操作から模倣学習に基づくロボット実行へのスキル伝達を把握するための,新しい手袋による触覚的知覚予測フレームワークを提案する。 まず,触覚と審美のデータを関節レベルで捉えるために,データグローブを統合した。 この手袋は、人間とロボットの両方の手に適用可能で、さまざまなシナリオにわたる自然な人間の手の動きからのデータ収集を可能にする。 生のデータフォーマットの一貫性を確保し、人間とロボットの両方の手での把握の評価を可能にする。 第2に、極座標を持つグラフ構造に基づくマルチモーダル入力の統一表現を確立する。 形態的差異をデザインされた表現に明示的に統合し、異なるデモとロボットハンド間の互換性を高める。 さらに,多次元サブグラフ畳み込みとアテンションベースLSTM層を利用したTactile-Kinesthetic Spatio-Temporal Graph Networks (TK-STGN)を導入し,グラフ入力から時空間の特徴を抽出し,各手関節のノードベース状態を予測する。 これらの予測は、フォースポジションハイブリッドマッピングを通じて最終コマンドにマッピングされる。

関連論文リスト

• Robot Synesthesia: In-Hand Manipulation with Visuotactile Sensing [15.970078821894758]
  視覚的・触覚的な感覚入力を活用して手動操作を可能にするシステムを提案する。 ロボット・シンセシス(Robot Synesthesia)は、人間の触覚と視覚の合成にインスパイアされた、新しい点の雲に基づく触覚表現である。
  論文  参考訳（メタデータ） (2023-12-04T12:35:43Z)
• Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
  人間は触覚と触覚に頼っている。 視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。 本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
  論文  参考訳（メタデータ） (2023-03-10T16:27:37Z)
• Reconfigurable Data Glove for Reconstructing Physical and Virtual Grasps [100.72245315180433]
  本研究では,人間の手-物体相互作用の異なるモードを捉えるために,再構成可能なデータグローブの設計を提案する。 グローブは3つのモードで動作し、異なる特徴を持つ様々な下流タスクを実行する。 i)手の動きと関連力を記録し,(ii)VRの操作流速を改善するとともに,(iii)様々なツールの現実的なシミュレーション効果を生み出すことにより,システムの3つのモードを評価する。
  論文  参考訳（メタデータ） (2023-01-14T05:35:50Z)
• Grasp Pre-shape Selection by Synthetic Training: Eye-in-hand Shared Control on the Hannes Prosthesis [6.517935794312337]
  RGB 配列から手形前分類を行うための目印学習方式を提案する。 我々は、人間の腕の軌跡のモデルを用いて、眼球設定の特異性に取り組む。
  論文  参考訳（メタデータ） (2022-03-18T09:16:48Z)
• Dynamic Modeling of Hand-Object Interactions via Tactile Sensing [133.52375730875696]
  本研究では,高分解能な触覚グローブを用いて,多種多様な物体に対して4種類のインタラクティブな動作を行う。 我々は,クロスモーダル学習フレームワーク上にモデルを構築し,視覚処理パイプラインを用いてラベルを生成し,触覚モデルを監督する。 この研究は、高密度触覚センシングによる手動物体相互作用における動的モデリングの一歩を踏み出す。
  論文  参考訳（メタデータ） (2021-09-09T16:04:14Z)
• TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
  TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。 実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。 評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
  論文  参考訳（メタデータ） (2021-04-08T20:01:00Z)
• From Hand-Perspective Visual Information to Grasp Type Probabilities: Deep Learning via Ranking Labels [6.772076545800592]
  Plackett-Luceモデルに基づいた新しい確率分類器を構築し、把握上の確率分布を予測する。 提案モデルは,最もポピュラーで生産性の高い畳み込みニューラルネットワークフレームワークに適用可能であることを示す。
  論文  参考訳（メタデータ） (2021-03-08T16:12:38Z)
• HANDS: A Multimodal Dataset for Modeling Towards Human Grasp Intent Inference in Prosthetic Hands [3.7886097009023376]
  未来の高度な義手は、ロボットハンドと人間のユーザーとの共有制御の改善の恩恵を受けると予想されている。 マルチモーダルセンサーデータには、視覚を含む様々な環境センサーと、人間の生理と行動センサーが含まれる。 環境状態と人間の意図推定のための融合手法は、これらの証拠の源を組み合わせることで、義手の動き計画と制御を支援する。
  論文  参考訳（メタデータ） (2021-03-08T15:51:03Z)
• TactileSGNet: A Spiking Graph Neural Network for Event-based Tactile Object Recognition [17.37142241982902]
  フレキシブルでイベント駆動の電子スキンの新しい進歩は、すぐに人間に似たタッチ認識能力を持つロボットを養うかもしれない。 これらのユニークな特徴は、触覚学習には適さない畳み込み特徴抽出器のような、現在のディープラーニングアプローチをもたらす可能性がある。 イベントベース触覚物体認識のための新しいスパイキンググラフニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2020-08-01T03:35:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。