論文の概要: DexRepNet++: Learning Dexterous Robotic Manipulation with Geometric and Spatial Hand-Object Representations
- arxiv url: http://arxiv.org/abs/2602.21811v1
- Date: Wed, 25 Feb 2026 11:38:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-23 08:17:41.706236
- Title: DexRepNet++: Learning Dexterous Robotic Manipulation with Geometric and Spatial Hand-Object Representations
- Title(参考訳): DexRepNet++:幾何学的および空間的ハンドオブジェクト表現を用いたデクサスロボットマニピュレーションの学習
- Authors: Qingtao Liu, Zhengnan Sun, Yu Cui, Haoming Li, Gaofeng Li, Lin Shao, Jiming Chen, Qi Ye,
- Abstract要約: 物体表面の特徴と手と物体間の空間的関係をキャプチャする,手と物体の相互作用表現であるDexRepを提案する。
DexRepをベースとした3つの巧妙な操作、すなわち、把握、手作業の方向転換、双方向のハンドオーバ、実験のためのポリシーが学習される。
把握のためには、40のオブジェクトで学習したポリシーは、様々なカテゴリの5000以上の未確認オブジェクトに対して87.9%の成功率を達成する。
このポリシーは、手作業の再調整とハンドオーバ作業のために、既存の手作業表現の成功率やその他の指標を20%から40%向上させる。
- 参考スコア(独自算出の注目度): 30.95930862562584
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robotic dexterous manipulation is a challenging problem due to high degrees of freedom (DoFs) and complex contacts of multi-fingered robotic hands. Many existing deep reinforcement learning (DRL) based methods aim at improving sample efficiency in high-dimensional output action spaces. However, existing works often overlook the role of representations in achieving generalization of a manipulation policy in the complex input space during the hand-object interaction. In this paper, we propose DexRep, a novel hand-object interaction representation to capture object surface features and spatial relations between hands and objects for dexterous manipulation skill learning. Based on DexRep, policies are learned for three dexterous manipulation tasks, i.e. grasping, in-hand reorientation, bimanual handover, and extensive experiments are conducted to verify the effectiveness. In simulation, for grasping, the policy learned with 40 objects achieves a success rate of 87.9% on more than 5000 unseen objects of diverse categories, significantly surpassing existing work trained with thousands of objects; for the in-hand reorientation and handover tasks, the policies also boost the success rates and other metrics of existing hand-object representations by 20% to 40%. The grasp policies with DexRep are deployed to the real world under multi-camera and single-camera setups and demonstrate a small sim-to-real gap.
- Abstract(参考訳): 高次自由度(DoF)と多指ロボットハンドの複雑な接触のため、ロボットの器用な操作は難しい問題である。
既存の深部強化学習(DRL)に基づく多くの手法は、高次元出力動作空間におけるサンプル効率の向上を目的としている。
しかし、既存の研究は、手動オブジェクトの相互作用の間、複雑な入力空間における操作ポリシーの一般化を達成する上での表現の役割をしばしば見落としている。
本稿では,物体表面の特徴と手と物体間の空間的関係を抽出し,巧妙な操作スキル学習のための手オブジェクトインタラクション表現であるDexRepを提案する。
DexRepをベースとした3つの巧妙な操作、すなわち、把握、手作業のリオリエンテーション、双方向ハンドオーバ、および広範囲な実験のためのポリシーを学習し、その有効性を検証する。
シミュレーションでは、40のオブジェクトで学習したポリシーは、5000以上の多様なカテゴリの未確認オブジェクトに対して87.9%の成功率を実現し、数千のオブジェクトで訓練された既存の作業を大幅に上回っている。
DexRepのグリップポリシは、マルチカメラとシングルカメラのセットアップの下で現実世界にデプロイされ、小さなsim-to-realギャップが示される。
関連論文リスト
- Concurrent Prehensile and Nonprehensile Manipulation: A Practical Approach to Multi-Stage Dexterous Tasks [23.52755440099898]
実世界のデキスタラスマルチタスク操作のためのサンプル効率の良いアプローチであるDexMultiを提案する。
モノリシックなポリシーを学習する代わりに、現在のオブジェクトの幾何学に基づくスキルを抽出する。
提案手法は,オブジェクトごとの3~4つの実演で平均66%の成功率を達成し,拡散政策ベースラインを2~3倍に向上させる。
論文 参考訳(メタデータ) (2026-03-12T08:25:21Z) - Dexterous Manipulation Policies from RGB Human Videos via 3D Hand-Object Trajectory Reconstruction [24.49384094440561]
我々は,RGBのヒューマンビデオから直接デクスタラスな操作を学習する,デバイスフリーのフレームワークであるVIDEOMANIPを提案する。
シミュレーションでは、学習した把握モデルはインスパイアハンドを用いて20種類のオブジェクトに対して70.25%の成功率を達成する。
実世界では、RGBビデオから訓練された操作ポリシーは、LEAPハンドを使用して7つのタスクで平均62.86%の成功率を達成する。
論文 参考訳(メタデータ) (2026-02-09T18:56:02Z) - Learning Dexterous Object Handover [4.351636062759616]
本研究では,多指ハンドオーバにおける強化学習(Reinforcement Learning, RL)の応用を実証する。
このタスクの鍵となるのは、回転距離を最小化するために二重四元数に基づく新しい報酬関数を使うことである。
その結果,100実験後のベストケースシナリオの総成功率は94%であった。
論文 参考訳(メタデータ) (2025-06-20T08:22:46Z) - Sim-to-Real Reinforcement Learning for Vision-Based Dexterous Manipulation on Humanoids [56.892520712892804]
本稿では,ヒューマノイドロボットを訓練して3つの巧妙な操作を行う,実用的なシミュレート・トゥ・リアルなRLレシピを提案する。
未確認のオブジェクトやロバストで適応的な政策行動に対して高い成功率を示す。
論文 参考訳(メタデータ) (2025-02-27T18:59:52Z) - Twisting Lids Off with Two Hands [82.21668778600414]
シミュレーションで訓練された政策を実世界へ効果的かつ効率的に移行する方法を示す。
具体的には,ボトル状物体の蓋を両手でねじる問題について考察する。
これは、バイマガル・マルチフィンガーハンドでそのような機能を実現する最初のsim-to-real RLシステムである。
論文 参考訳(メタデータ) (2024-03-04T18:59:30Z) - DexTransfer: Real World Multi-fingered Dexterous Grasping with Minimal
Human Demonstrations [51.87067543670535]
本研究では,少数の人間によるデモンストレーションを行い,見えない物体のポーズを学習するロボット学習システムを提案する。
我々は,物体の点群を入力として捉え,物体を異なる初期ロボット状態から把握するための連続的な動作を予測する,厳密な把握ポリシーを訓練する。
我々のデータセットから学んだポリシーは、シミュレーションと現実世界の両方で見えないオブジェクトのポーズをうまく一般化することができる。
論文 参考訳(メタデータ) (2022-09-28T17:51:49Z) - Generalization in Dexterous Manipulation via Geometry-Aware Multi-Task
Learning [108.08083976908195]
既存の強化学習アルゴリズムで学習したポリシーは、実際は一般化可能であることを示す。
本稿では,100以上の幾何学的に異なる実世界のオブジェクトを,単一のジェネラリストポリシーで手動操作できることを示す。
興味深いことに、オブジェクトポイントクラウド表現によるマルチタスク学習は、より一般化するだけでなく、シングルオブジェクトのスペシャリストポリシーよりも優れています。
論文 参考訳(メタデータ) (2021-11-04T17:59:56Z) - A Framework for Efficient Robotic Manipulation [79.10407063260473]
単一のロボットアームがピクセルからスパースリワード操作ポリシーを学習できることを示します。
デモは10回しかなく、単一のロボットアームがピクセルからスパースリワード操作のポリシーを学習できることを示しています。
論文 参考訳(メタデータ) (2020-12-14T22:18:39Z) - Learning Dexterous Grasping with Object-Centric Visual Affordances [86.49357517864937]
控えめなロボットハンドは、機敏さと人間のような形態をアピールしています。
本稿では,厳密な把握を学習するためのアプローチを提案する。
私たちのキーとなるアイデアは、オブジェクト中心の視覚的余裕モデルを深い強化学習ループに埋め込むことです。
論文 参考訳(メタデータ) (2020-09-03T04:00:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。