論文の概要: Augmenting Reinforcement Learning with Behavior Primitives for Diverse
Manipulation Tasks
- arxiv url: http://arxiv.org/abs/2110.03655v1
- Date: Thu, 7 Oct 2021 17:44:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-08 17:41:32.616397
- Title: Augmenting Reinforcement Learning with Behavior Primitives for Diverse
Manipulation Tasks
- Title(参考訳): 多様な操作課題に対する行動プリミティブを用いた強化学習の強化
- Authors: Soroush Nasiriany and Huihan Liu and Yuke Zhu
- Abstract要約: 本研究では,MAnipulation Primitive-augmented reinforcement LEarning (MAPLE)を導入した。
我々は、プリミティブを巻き込み、それらの実行を入力パラメータでインスタンス化する階層的なポリシーを開発する。
我々は、MAPLEが、シミュレーション操作タスクのスイートにおいて、ベースラインアプローチをかなりのマージンで上回ることを示す。
- 参考スコア(独自算出の注目度): 17.13584584844048
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Realistic manipulation tasks require a robot to interact with an environment
with a prolonged sequence of motor actions. While deep reinforcement learning
methods have recently emerged as a promising paradigm for automating
manipulation behaviors, they usually fall short in long-horizon tasks due to
the exploration burden. This work introduces MAnipulation Primitive-augmented
reinforcement LEarning (MAPLE), a learning framework that augments standard
reinforcement learning algorithms with a pre-defined library of behavior
primitives. These behavior primitives are robust functional modules specialized
in achieving manipulation goals, such as grasping and pushing. To use these
heterogeneous primitives, we develop a hierarchical policy that involves the
primitives and instantiates their executions with input parameters. We
demonstrate that MAPLE outperforms baseline approaches by a significant margin
on a suite of simulated manipulation tasks. We also quantify the compositional
structure of the learned behaviors and highlight our method's ability to
transfer policies to new task variants and to physical hardware. Videos and
code are available at https://ut-austin-rpl.github.io/maple
- Abstract(参考訳): 現実的な操作タスクは、ロボットが長時間の運動行動で環境と対話する必要がある。
近年, 深層強化学習法は操作行動の自動化に有望なパラダイムとして登場しているが, 探索負担のため, 長時間の作業では不足することが多い。
本研究は,行動プリミティブのライブラリで標準強化学習アルゴリズムを補強する学習フレームワークであるmaple(premitive-augmented reinforcement learning)の操作を導入する。
これらの動作プリミティブは、把持や押しといった操作目標を達成することに特化したロバストな機能モジュールである。
これらのヘテロジニアスプリミティブを使用するために、プリミティブを含む階層ポリシーを開発し、それらの実行を入力パラメータでインスタンス化する。
我々は、MAPLEが、シミュレーション操作タスクのスイートにおいて、ベースラインアプローチよりもかなり優れていることを示す。
また、学習行動の構成構造を定量化し、新しいタスク変種や物理ハードウェアにポリシーを転送する手法の能力を強調する。
ビデオとコードはhttps://ut-austin-rpl.github.io/mapleで入手できる。
関連論文リスト
- Latent Exploration for Reinforcement Learning [87.42776741119653]
強化学習では、エージェントは環境を探索し、相互作用することでポリシーを学ぶ。
LATent TIme-Correlated Exploration (Lattice)を提案する。
論文 参考訳(メタデータ) (2023-05-31T17:40:43Z) - Inferring Versatile Behavior from Demonstrations by Matching Geometric
Descriptors [72.62423312645953]
人間は直感的にタスクを多目的に解決し、軌道に基づく計画や個々のステップの行動を変化させる。
現在のImitation Learningアルゴリズムは、通常、単調な専門家によるデモンストレーションのみを考慮し、状態アクションベースの設定で行動する。
代わりに、移動プリミティブの混合と分布マッチングの目的を組み合わせることで、専門家の行動と汎用性にマッチする多目的行動を学ぶ。
論文 参考訳(メタデータ) (2022-10-17T16:42:59Z) - Learning Dexterous Manipulation from Exemplar Object Trajectories and
Pre-Grasps [34.63975621178365]
Dexterous Manipulation (PGDM) フレームワークは様々なデキスタラスな操作動作を生成する。
PGDMの中核は、よく知られたロボット構造であるプレグラスである。
これらの主張を徹底的に検証するために、50種類の操作タスクのベンチマークであるTCDMを紹介する。
論文 参考訳(メタデータ) (2022-09-22T17:58:59Z) - Silver-Bullet-3D at ManiSkill 2021: Learning-from-Demonstrations and
Heuristic Rule-based Methods for Object Manipulation [118.27432851053335]
本稿では,SAPIEN ManiSkill Challenge 2021: No Interaction Trackにおいて,以下の2つのトラックを対象としたシステムの概要と比較分析を行った。
No Interactionは、事前に収集された実証軌道からの学習ポリシーのターゲットを追跡する。
このトラックでは,タスクを一連のサブタスクに分解することで,高品質なオブジェクト操作をトリガするHuristic Rule-based Method (HRM) を設計する。
各サブタスクに対して、ロボットアームに適用可能なアクションを予測するために、単純なルールベースの制御戦略が採用されている。
論文 参考訳(メタデータ) (2022-06-13T16:20:42Z) - Action-Conditioned Contrastive Policy Pretraining [39.13710045468429]
深層運動のポリシー学習は、ロボット操作や自律運転などの制御タスクにおいて有望な結果を達成する。
トレーニング環境との膨大な数のオンラインインタラクションが必要です。
本研究では、数時間の未計算YouTubeビデオを用いて、タスクを駆動するためのポリシー表現を事前訓練することを目的とする。
論文 参考訳(メタデータ) (2022-04-05T17:58:22Z) - Robot Learning of Mobile Manipulation with Reachability Behavior Priors [38.49783454634775]
モバイルマニピュレーション(MM)システムは、非構造化現実環境におけるパーソナルアシスタントの役割を引き継ぐ上で理想的な候補である。
その他の課題として、MMは移動性と操作性の両方を必要とするタスクを実行するために、ロボットの実施形態を効果的に調整する必要がある。
本研究では,アクタ批判的RL手法におけるロボットの到達可能性の先行性の統合について検討した。
論文 参考訳(メタデータ) (2022-03-08T12:44:42Z) - Neural Dynamic Policies for End-to-End Sensorimotor Learning [51.24542903398335]
感覚運動制御における現在の主流パラダイムは、模倣であれ強化学習であれ、生の行動空間で政策を直接訓練することである。
軌道分布空間の予測を行うニューラル・ダイナミック・ポリシー(NDP)を提案する。
NDPは、いくつかのロボット制御タスクにおいて、効率と性能の両面で、これまでの最先端よりも優れている。
論文 参考訳(メタデータ) (2020-12-04T18:59:32Z) - Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。
RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
論文 参考訳(メタデータ) (2020-11-19T18:47:40Z) - Deep Imitation Learning for Bimanual Robotic Manipulation [70.56142804957187]
本稿では,ロボットによるバイマニュアル操作のための深層模倣学習フレームワークを提案する。
中心となる課題は、操作スキルを異なる場所にあるオブジェクトに一般化することである。
i)マルチモーダルダイナミクスを要素運動プリミティブに分解し、(ii)リカレントグラフニューラルネットワークを用いて各プリミティブをパラメータ化して相互作用を捕捉し、(iii)プリミティブを逐次的に構成する高レベルプランナと、プリミティブダイナミクスと逆運動学制御を組み合わせた低レベルコントローラを統合することを提案する。
論文 参考訳(メタデータ) (2020-10-11T01:40:03Z) - On Simple Reactive Neural Networks for Behaviour-Based Reinforcement
Learning [5.482532589225552]
本稿では,Brookの仮定アーキテクチャに着想を得た行動に基づく強化学習手法を提案する。
作業上の前提は、ロボット開発者のドメイン知識を活用することで、ロボットのピック・アンド・プレイス・タスクを単純化できるということです。
提案手法では,8000エピソードのピック・アンド・プレイス・タスクを学習し,エンド・ツー・エンドアプローチで必要とされるトレーニング・エピソードの数を劇的に削減する。
論文 参考訳(メタデータ) (2020-01-22T11:49:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。