論文の概要: Generalization in Dexterous Manipulation via Geometry-Aware Multi-Task
Learning
- arxiv url: http://arxiv.org/abs/2111.03062v1
- Date: Thu, 4 Nov 2021 17:59:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-05 12:40:50.360230
- Title: Generalization in Dexterous Manipulation via Geometry-Aware Multi-Task
Learning
- Title(参考訳): 幾何学的マルチタスク学習によるデクサラスマニピュレーションの一般化
- Authors: Wenlong Huang, Igor Mordatch, Pieter Abbeel, Deepak Pathak
- Abstract要約: 既存の強化学習アルゴリズムで学習したポリシーは、実際は一般化可能であることを示す。
本稿では,100以上の幾何学的に異なる実世界のオブジェクトを,単一のジェネラリストポリシーで手動操作できることを示す。
興味深いことに、オブジェクトポイントクラウド表現によるマルチタスク学習は、より一般化するだけでなく、シングルオブジェクトのスペシャリストポリシーよりも優れています。
- 参考スコア(独自算出の注目度): 108.08083976908195
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dexterous manipulation of arbitrary objects, a fundamental daily task for
humans, has been a grand challenge for autonomous robotic systems. Although
data-driven approaches using reinforcement learning can develop specialist
policies that discover behaviors to control a single object, they often exhibit
poor generalization to unseen ones. In this work, we show that policies learned
by existing reinforcement learning algorithms can in fact be generalist when
combined with multi-task learning and a well-chosen object representation. We
show that a single generalist policy can perform in-hand manipulation of over
100 geometrically-diverse real-world objects and generalize to new objects with
unseen shape or size. Interestingly, we find that multi-task learning with
object point cloud representations not only generalizes better but even
outperforms the single-object specialist policies on both training as well as
held-out test objects. Video results at
https://huangwl18.github.io/geometry-dex
- Abstract(参考訳): 人間の日常的なタスクである任意の物体の有害な操作は、自律ロボットシステムにとって大きな課題である。
強化学習を用いたデータ駆動アプローチは、単一のオブジェクトを制御する行動を発見する専門的なポリシーを開発することができるが、しばしば目に見えないものへの一般化が不十分である。
本研究では,既存の強化学習アルゴリズムで学習したポリシーが,マルチタスク学習とよく理解されたオブジェクト表現を組み合わせた場合,実際に一般化可能であることを示す。
一つのジェネラリストポリシーが100以上の実世界オブジェクトを手作業で操作し、目に見えない形状や大きさの新しいオブジェクトに一般化できることを示す。
興味深いことに、オブジェクトポイントクラウド表現によるマルチタスク学習は、より一般化するだけでなく、トレーニングとテストオブジェクトの保持の両方に関する単一目的の専門家ポリシーよりも優れています。
https://huangwl18.github.io/geometry-dex
関連論文リスト
- Dreamitate: Real-World Visuomotor Policy Learning via Video Generation [49.03287909942888]
本研究では,与えられたタスクの人間による実演の映像拡散モデルを微調整するビジュモータポリシー学習フレームワークを提案する。
我々は,新しいシーンの画像に条件付きタスクの実行例を生成し,この合成された実行を直接使用してロボットを制御する。
論文 参考訳(メタデータ) (2024-06-24T17:59:45Z) - Entity-Centric Reinforcement Learning for Object Manipulation from Pixels [22.104757862869526]
強化学習(RL)は、オブジェクト操作を学ぶための一般的なアプローチを提供する。
実際には、数個以上のオブジェクトを持つドメインは、次元の呪いのためにRLエージェントにとって難しい。
本稿では、複数のオブジェクトとその相互作用を表現するのに適した視覚的RLに対して、構造化されたアプローチを提案する。
論文 参考訳(メタデータ) (2024-04-01T16:25:08Z) - Learning Generalizable Manipulation Policies with Object-Centric 3D
Representations [65.55352131167213]
GROOTは、オブジェクト中心と3D事前の堅牢なポリシーを学ぶための模倣学習手法である。
ビジョンベースの操作のための初期訓練条件を超えて一般化するポリシーを構築する。
GROOTのパフォーマンスは、バックグラウンドの変更、カメラの視点シフト、新しいオブジェクトインスタンスの存在に関する一般化に優れています。
論文 参考訳(メタデータ) (2023-10-22T18:51:45Z) - SpawnNet: Learning Generalizable Visuomotor Skills from Pre-trained
Networks [52.766795949716986]
本稿では,事前学習した視覚表現のカテゴリレベルでの一般化能力について検討する。
本研究では,事前学習した多層表現を独立したネットワークに融合させて,ロバストなポリシーを学習する,新しい2ストリームアーキテクチャSpawnNetを提案する。
論文 参考訳(メタデータ) (2023-07-07T13:01:29Z) - Efficient Representations of Object Geometry for Reinforcement Learning
of Interactive Grasping Policies [29.998917158604694]
本稿では,様々な幾何学的に異なる実世界の物体の対話的把握を学習する強化学習フレームワークを提案する。
学習したインタラクティブなポリシーのビデオはhttps://maltemosbach.org/io/geometry_aware_grasping_policiesで公開されている。
論文 参考訳(メタデータ) (2022-11-20T11:47:33Z) - Learning Generalizable Dexterous Manipulation from Human Grasp
Affordance [11.060931225148936]
マルチフィンガーハンドによる有害な操作は、ロボット工学における最も難しい問題の1つだ。
模倣学習の最近の進歩は、強化学習と比較してサンプル効率を大幅に改善した。
本稿では,様々な3Dオブジェクトをカテゴリ内に配置した大規模実演を用いて,デクスタラスな操作を学習することを提案する。
論文 参考訳(メタデータ) (2022-04-05T16:26:22Z) - Learning Category-Level Generalizable Object Manipulation Policy via
Generative Adversarial Self-Imitation Learning from Demonstrations [14.001076951265558]
汎用的なオブジェクト操作スキルは、インテリジェントロボットが現実世界の複雑なシーンで働くために不可欠である。
本研究では,このカテゴリレベルのオブジェクト操作ポリシー学習問題に対して,タスク非依存の手法で模倣学習を行うことで対処する。
本稿では, 実演から生成的対人自己イメージ学習, 差別化の進行的成長, エキスパートバッファのインスタンスバランスなど, 汎用的ながら重要な手法を提案する。
論文 参考訳(メタデータ) (2022-03-04T02:52:02Z) - Generalizing Object-Centric Task-Axes Controllers using Keypoints [15.427056235112152]
オブジェクト指向タスクアクスコントローラを構成するモジュール型タスクポリシーを学習する。
これらのタスクアックスコントローラは、シーンの下位オブジェクトに関連付けられたプロパティによってパラメータ化される。
私たちの全体的なアプローチは、操作タスクを学ぶためのシンプルでモジュール化された強力なフレームワークを提供します。
論文 参考訳(メタデータ) (2021-03-18T21:08:00Z) - COG: Connecting New Skills to Past Experience with Offline Reinforcement
Learning [78.13740204156858]
我々は、動的プログラミングによって新しいスキルを拡張するために、事前データを再利用できることを示します。
我々は、新しいタスクを解決するために、以前のデータセットに見られるいくつかの動作をチェーンすることで、アプローチの有効性を実証する。
我々は、高次元画像観察を低レベルのロボット制御コマンドにマッピングし、エンドツーエンドでポリシーを訓練する。
論文 参考訳(メタデータ) (2020-10-27T17:57:29Z) - Learning Dexterous Grasping with Object-Centric Visual Affordances [86.49357517864937]
控えめなロボットハンドは、機敏さと人間のような形態をアピールしています。
本稿では,厳密な把握を学習するためのアプローチを提案する。
私たちのキーとなるアイデアは、オブジェクト中心の視覚的余裕モデルを深い強化学習ループに埋め込むことです。
論文 参考訳(メタデータ) (2020-09-03T04:00:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。