論文の概要: Cross-Embodiment Dexterous Grasping with Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2410.02479v1
• Date: Thu, 3 Oct 2024 13:36:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 03:01:18.872113
• Title: Cross-Embodiment Dexterous Grasping with Reinforcement Learning
• Title（参考訳）: 強化学習を用いたクロス・エボディメント・デキステラス・グラスピング
• Authors: Haoqi Yuan, Bohan Zhou, Yuhui Fu, Zongqing Lu,
• Abstract要約: デクスタースハンドは、複雑な現実世界の把握タスクに重要な可能性を秘めている。 本研究では,強化学習を用いたクロス・エボディーズ・デクスタラス・グリーティング・ポリシーの学習について検討する。 提案手法は,YCBデータセットからオブジェクトを把握した場合の80%の成功率を示す。
• 参考スコア（独自算出の注目度）: 29.867524903691802
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dexterous hands exhibit significant potential for complex real-world grasping tasks. While recent studies have primarily focused on learning policies for specific robotic hands, the development of a universal policy that controls diverse dexterous hands remains largely unexplored. In this work, we study the learning of cross-embodiment dexterous grasping policies using reinforcement learning (RL). Inspired by the capability of human hands to control various dexterous hands through teleoperation, we propose a universal action space based on the human hand's eigengrasps. The policy outputs eigengrasp actions that are then converted into specific joint actions for each robot hand through a retargeting mapping. We simplify the robot hand's proprioception to include only the positions of fingertips and the palm, offering a unified observation space across different robot hands. Our approach demonstrates an 80% success rate in grasping objects from the YCB dataset across four distinct embodiments using a single vision-based policy. Additionally, our policy exhibits zero-shot generalization to two previously unseen embodiments and significant improvement in efficient finetuning. For further details and videos, visit our project page https://sites.google.com/view/crossdex.
• Abstract（参考訳）: デクスタースハンドは、複雑な現実世界の把握タスクに重要な可能性を秘めている。 最近の研究は、主に特定のロボットハンドの学習ポリシーに焦点を当てているが、多様な器用な手を制御する普遍的なポリシーの開発はほとんど調査されていない。 本研究では,強化学習(RL)を用いたクロス・エボディーズ・デキスタラス・グリーティング・ポリシーの学習について検討する。 遠隔操作により手の動きを制御できる能力に着想を得て,人間の手の固有グラスプに基づく普遍的な行動空間を提案する。 ポリシーは固有グリップ動作を出力し、その後、リターゲティングマッピングを通じて各ロボットハンドに対して特定の関節動作に変換する。 我々は,指先と手のひらの位置のみを含むロボットハンドの受容を簡略化し,異なるロボットハンドに統一された観察空間を提供する。 提案手法は,1つの視覚に基づくポリシーを用いて,YCBデータセットからオブジェクトを4つの異なる実施形態で把握する上で,80%の成功率を示す。 さらに, 従来の2つの実施形態に対するゼロショットの一般化と, 効率的な微調整の大幅な改善を図っている。 詳細とビデオについては、プロジェクトページ https://sites.google.com/view/crossdex.comを参照してください。

関連論文リスト

• FunGrasp: Functional Grasping for Diverse Dexterous Hands [8.316017819784603]
  本稿では,FunGraspを紹介した。FunGraspは,各種ロボットハンドを機能的に把握するシステムである。 頑健なsim-to-real転送を実現するために,特権学習,システム識別,ドメインランダム化,重力補償など,いくつかの手法を用いる。
  論文  参考訳（メタデータ） (2024-11-24T07:30:54Z)
• OKAMI: Teaching Humanoid Robots Manipulation Skills through Single Video Imitation [35.97702591413093]
  一つのRGB-Dビデオから操作計画を生成する方法であるOKAMIを紹介する。 OKAMIは、オープンワールドビジョンモデルを使用して、タスク関連オブジェクトを特定し、身体の動きと手ポーズを別々に再ターゲットする。
  論文  参考訳（メタデータ） (2024-10-15T17:17:54Z)
• Hand-Object Interaction Pretraining from Videos [77.92637809322231]
  我々は,3次元ハンドオブジェクトインタラクショントラジェクトリから,一般的なロボット操作を学習する。 人間の手と操作された物体を3D空間で共有し、人間の動きをロボットの動きと共有する。 我々は、このポリシーを、強化学習(RL)と行動クローニング(BC)の両方で微調整することで、下流タスクへのサンプル効率の適応を可能にし、従来のアプローチと比較して堅牢性と一般化性を同時に改善できることを実証的に実証した。
  論文  参考訳（メタデータ） (2024-09-12T17:59:07Z)
• Scaling Cross-Embodied Learning: One Policy for Manipulation, Navigation, Locomotion and Aviation [49.03165169369552]
  さまざまな種類のロボットにまたがって単一のポリシーを訓練することによって、ロボット学習はより広範囲で多様なデータセットを活用することができる。 そこで我々はCrossFormerを提案する。CrossFormerはスケーラブルでフレキシブルなトランスフォーマーベースのポリシーで、どんな実施形態からでもデータを消費できる。 我々は、同じネットワークウェイトがシングルアームとデュアルアームの操作システム、車輪付きロボット、クワッドコプター、四足歩行など、非常に異なるロボットを制御できることを実証した。
  論文  参考訳（メタデータ） (2024-08-21T17:57:51Z)
• Dreamitate: Real-World Visuomotor Policy Learning via Video Generation [49.03287909942888]
  本研究では,与えられたタスクの人間による実演の映像拡散モデルを微調整するビジュモータポリシー学習フレームワークを提案する。 我々は,新しいシーンの画像に条件付きタスクの実行例を生成し,この合成された実行を直接使用してロボットを制御する。
  論文  参考訳（メタデータ） (2024-06-24T17:59:45Z)
• Towards Generalizable Zero-Shot Manipulation via Translating Human Interaction Plans [58.27029676638521]
  我々は、人間の受動的ビデオが、そのようなジェネラリストロボットを学習するための豊富なデータ源であることを示す。 我々は、シーンの現在の画像とゴール画像から将来の手やオブジェクトの設定を予測する人間の計画予測器を学習する。 学習システムは、40個のオブジェクトに一般化する16以上の操作スキルを実現できることを示す。
  論文  参考訳（メタデータ） (2023-12-01T18:54:12Z)
• Learning a Universal Human Prior for Dexterous Manipulation from Human Preference [35.54663426598218]
  本稿では,ビデオ上での人間の嗜好を直接フィードバックすることで,人類の普遍性を学習するフレームワークを提案する。 多様な警察を反復的に生成し、軌道上の人間の嗜好を収集することにより、タスクに依存しない報酬モデルを訓練する。 提案手法は,ロボットの手の動作を,目に見えないタスクを含む多様なタスクで実証的に示す。
  論文  参考訳（メタデータ） (2023-04-10T14:17:33Z)
• From One Hand to Multiple Hands: Imitation Learning for Dexterous Manipulation from Single-Camera Teleoperation [26.738893736520364]
  我々は,iPadとコンピュータのみで3Dデモを効率的に収集する,新しい単一カメラ遠隔操作システムを提案する。 我々は,操作者の手の構造と形状が同じであるマニピュレータである物理シミュレータにおいて,各ユーザ向けにカスタマイズされたロボットハンドを構築する。 データを用いた模倣学習では、複数の複雑な操作タスクでベースラインを大幅に改善する。
  論文  参考訳（メタデータ） (2022-04-26T17:59:51Z)
• DexVIP: Learning Dexterous Grasping with Human Hand Pose Priors from Video [86.49357517864937]
  DexVIPは,人間と物体のインタラクションビデオから,器用なロボットの把握を学習する手法である。 我々は、人間とオブジェクトのインタラクションビデオから把握した画像をキュレートし、エージェントの手のポーズに先行する。 DexVIPは、手ポーズの無い既存のアプローチや、特殊な遠隔操作機器に頼っている既存のアプローチと良好に比較できることを実証する。
  論文  参考訳（メタデータ） (2022-02-01T00:45:57Z)
• Learning Dexterous Grasping with Object-Centric Visual Affordances [86.49357517864937]
  控えめなロボットハンドは、機敏さと人間のような形態をアピールしています。 本稿では,厳密な把握を学習するためのアプローチを提案する。 私たちのキーとなるアイデアは、オブジェクト中心の視覚的余裕モデルを深い強化学習ループに埋め込むことです。
  論文  参考訳（メタデータ） (2020-09-03T04:00:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。