論文の概要: Learning Generalizable Dexterous Manipulation from Human Grasp Affordance

• arxiv url: http://arxiv.org/abs/2204.02320v1
• Date: Tue, 5 Apr 2022 16:26:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-06 13:57:27.647174
• Title: Learning Generalizable Dexterous Manipulation from Human Grasp Affordance
• Title（参考訳）: 人間の把持余裕から一般化したデクスタース操作の学習
• Authors: Yueh-Hua Wu, Jiashun Wang, Xiaolong Wang
• Abstract要約: マルチフィンガーハンドによる有害な操作は、ロボット工学における最も難しい問題の1つだ。 模倣学習の最近の進歩は、強化学習と比較してサンプル効率を大幅に改善した。 本稿では,様々な3Dオブジェクトをカテゴリ内に配置した大規模実演を用いて,デクスタラスな操作を学習することを提案する。
• 参考スコア（独自算出の注目度）: 11.060931225148936
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Dexterous manipulation with a multi-finger hand is one of the most challenging problems in robotics. While recent progress in imitation learning has largely improved the sample efficiency compared to Reinforcement Learning, the learned policy can hardly generalize to manipulate novel objects, given limited expert demonstrations. In this paper, we propose to learn dexterous manipulation using large-scale demonstrations with diverse 3D objects in a category, which are generated from a human grasp affordance model. This generalizes the policy to novel object instances within the same category. To train the policy, we propose a novel imitation learning objective jointly with a geometric representation learning objective using our demonstrations. By experimenting with relocating diverse objects in simulation, we show that our approach outperforms baselines with a large margin when manipulating novel objects. We also ablate the importance on 3D object representation learning for manipulation. We include videos, code, and additional information on the project website - https://kristery.github.io/ILAD/ .
• Abstract（参考訳）: マルチフィンガーハンドによるデクスタース操作は、ロボット工学における最も難しい問題の1つだ。 近年の模倣学習の進歩は、強化学習と比較してサンプル効率を大幅に改善しているが、専門家による限られた実演を前提として、学習方針は新規な対象の操作を一般化することはほとんどできない。 本稿では,人間の把握能力モデルから生成した,多様な3Dオブジェクトをカテゴリに収めた大規模デモンストレーションを用いて,デクスタスな操作を学習する。 これはポリシーを同じカテゴリ内の新しいオブジェクトインスタンスに一般化する。 そこで本研究では,幾何学表現学習目標と共同で,新しい模倣学習目標を提案する。 シミュレーションで多様なオブジェクトを配置する実験を行い,新しいオブジェクトを操作する際に,ベースラインよりも大きなマージンでベースラインを上回ることを示した。 また,操作における3次元オブジェクト表現学習の重要性も強調する。 プロジェクトWebサイト(https://kristery.github.io/ILAD/)には、ビデオ、コード、追加情報が含まれています。

関連論文リスト

• Grasp Anything: Combining Teacher-Augmented Policy Gradient Learning with Instance Segmentation to Grasp Arbitrary Objects [18.342569823885864]
  TAPG(Teacher-Augmented Policy Gradient)は、強化学習と政策蒸留を統括する新しい2段階学習フレームワークである。 TAPGは、オブジェクトセグメンテーションに基づいて、誘導的かつ適応的でありながら、センセータポリシーの学習を促進する。 トレーニングされたポリシーは、シミュレーションにおける散らかったシナリオや、人間の理解可能なプロンプトに基づいて現実世界から、多種多様なオブジェクトを順応的に把握する。
  論文  参考訳（メタデータ） (2024-03-15T10:48:16Z)
• Any-point Trajectory Modeling for Policy Learning [64.23861308947852]
  我々は、ビデオフレーム内の任意の点の将来の軌跡を予測するために、ATM(Any-point Trajectory Modeling)を導入する。 ATMは、強力なビデオ事前トレーニングベースラインを平均80%上回っている。 本研究では,人間の動画やビデオからの操作スキルを,異なるロボット形態から効果的に伝達する学習方法を示す。
  論文  参考訳（メタデータ） (2023-12-28T23:34:43Z)
• One-shot Imitation Learning via Interaction Warping [32.5466340846254]
  本稿では,1つの実演からSE(3)ロボット操作ポリシーを学習するためのインタラクションウォーピング法を提案する。 我々は、オブジェクトインスタンス間で点雲を整列させる技術である形状ワープを用いて、環境中の各オブジェクトの3Dメッシュを推論する。 3つのシミュレーションおよび実世界のオブジェクト再配置タスクで1ショットの模倣学習を成功させる。
  論文  参考訳（メタデータ） (2023-06-21T17:26:11Z)
• A Differentiable Recipe for Learning Visual Non-Prehensile Planar Manipulation [63.1610540170754]
  視覚的非包括的平面操作の問題に焦点をあてる。 本稿では,ビデオデコードニューラルモデルと接触力学の先行情報を組み合わせた新しいアーキテクチャを提案する。 モジュラーで完全に差別化可能なアーキテクチャは、目に見えないオブジェクトやモーションの学習専用手法よりも優れていることが分かりました。
  論文  参考訳（メタデータ） (2021-11-09T18:39:45Z)
• Generalization in Dexterous Manipulation via Geometry-Aware Multi-Task Learning [108.08083976908195]
  既存の強化学習アルゴリズムで学習したポリシーは、実際は一般化可能であることを示す。 本稿では,100以上の幾何学的に異なる実世界のオブジェクトを,単一のジェネラリストポリシーで手動操作できることを示す。 興味深いことに、オブジェクトポイントクラウド表現によるマルチタスク学習は、より一般化するだけでなく、シングルオブジェクトのスペシャリストポリシーよりも優れています。
  論文  参考訳（メタデータ） (2021-11-04T17:59:56Z)
• Learning Object Manipulation Skills via Approximate State Estimation from Real Videos [47.958512470724926]
  人間は、いくつかの指導ビデオを見て、新しいタスクを学ぶことに精通しています。 一方、新しいアクションを学習するロボットは、試行錯誤によって多くの労力を必要とするか、あるいは入手が困難な専門家によるデモを使う必要がある。 本稿では,ビデオから直接オブジェクト操作スキルを学習する手法について検討する。
  論文  参考訳（メタデータ） (2020-11-13T08:53:47Z)
• Learning Dexterous Grasping with Object-Centric Visual Affordances [86.49357517864937]
  控えめなロボットハンドは、機敏さと人間のような形態をアピールしています。 本稿では,厳密な把握を学習するためのアプローチを提案する。 私たちのキーとなるアイデアは、オブジェクト中心の視覚的余裕モデルを深い強化学習ループに埋め込むことです。
  論文  参考訳（メタデータ） (2020-09-03T04:00:40Z)
• Visual Imitation Made Easy [102.36509665008732]
  本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。 我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。 我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
  論文  参考訳（メタデータ） (2020-08-11T17:58:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。