論文の概要: Accelerating Reinforcement Learning with Learned Skill Priors
- arxiv url: http://arxiv.org/abs/2010.11944v1
- Date: Thu, 22 Oct 2020 17:59:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 06:05:03.903703
- Title: Accelerating Reinforcement Learning with Learned Skill Priors
- Title（参考訳）: 学習スキル優先による強化学習の促進
- Authors: Karl Pertsch, Youngwoon Lee, Joseph J. Lim
- Abstract要約: 現代の強化学習アプローチは、すべてのタスクをゼロから学習する。
事前知識を活用する1つのアプローチは、事前タスクで学んだスキルを新しいタスクに移すことである。
学習したスキル事前は、リッチデータセットからの効果的なスキル伝達に不可欠であることを示す。
- 参考スコア（独自算出の注目度）: 20.268358783821487
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Intelligent agents rely heavily on prior experience when learning a new task,
yet most modern reinforcement learning (RL) approaches learn every task from
scratch. One approach for leveraging prior knowledge is to transfer skills
learned on prior tasks to the new task. However, as the amount of prior
experience increases, the number of transferable skills grows too, making it
challenging to explore the full set of available skills during downstream
learning. Yet, intuitively, not all skills should be explored with equal
probability; for example information about the current state can hint which
skills are promising to explore. In this work, we propose to implement this
intuition by learning a prior over skills. We propose a deep latent variable
model that jointly learns an embedding space of skills and the skill prior from
offline agent experience. We then extend common maximum-entropy RL approaches
to use skill priors to guide downstream learning. We validate our approach,
SPiRL (Skill-Prior RL), on complex navigation and robotic manipulation tasks
and show that learned skill priors are essential for effective skill transfer
from rich datasets. Videos and code are available at https://clvrai.com/spirl.
- Abstract（参考訳）: インテリジェントエージェントは、新しいタスクを学ぶときの事前経験に大きく依存するが、現代の強化学習(RL)アプローチは、すべてのタスクをゼロから学習する。
事前知識を活用する1つのアプローチは、事前タスクで学んだスキルを新しいタスクに移すことである。
しかしながら、事前経験の量が増加するにつれて、移行可能なスキルの数も増加するため、下流学習中に利用可能なスキルの完全なセットを探求することが難しくなる。
しかし直感的には、すべてのスキルが同等の確率で探求されるべきではない。
そこで本研究では,先行するスキルを習得することで,この直感を実現することを提案する。
本稿では,オフラインエージェントの経験からスキルとスキルの埋め込み空間を共同学習する,深い潜在変数モデルを提案する。
次に、共通最大エントロピーRLアプローチを拡張して、下流学習の指導にスキル事前を使用する。
複雑なナビゲーションおよびロボット操作タスクにおけるspirl (skill-prior rl) のアプローチを検証し,リッチデータセットからの効果的なスキル伝達には学習スキル優先が不可欠であることを示す。
ビデオとコードはhttps://clvrai.com/spirl.comで入手できる。
関連論文リスト
- Leveraging Skills from Unlabeled Prior Data for Efficient Online Exploration [54.8229698058649]
本研究では,未ラベルの事前軌跡データを用いて効率的な探索戦略を学習する方法について検討する。
我々の手法 SUPE (Skills from Unlabeled Prior Data for Exploration) は、これらのアイデアの慎重な組み合わせがそれらの利点を兼ね備えていることを示す。
実験により,SUPEが従来の戦略を確実に上回り,長い水平・スパース・リワードタスクの一組の解決に成功したことを実証的に示す。
論文 参考訳（メタデータ） (2024-10-23T17:58:45Z) - EXTRACT: Efficient Policy Learning by Extracting Transferable Robot Skills from Offline Data [22.471559284344462]
ほとんどの強化学習(RL)手法は、低レベルな行動空間上の最適ポリシーの学習に重点を置いている。
これらの手法はトレーニング環境ではうまく機能するが、新しいタスクに移行する柔軟性に欠ける。
我々は,従来の作業よりも短時間で新しいタスクを学習できる,スパースでイメージベースのロボット操作環境の実験を通じて実演する。
論文 参考訳（メタデータ） (2024-06-25T17:50:03Z) - Bootstrap Your Own Skills: Learning to Solve New Tasks with Large
Language Model Guidance [66.615355754712]
BOSSが"スキルブートストラップ"を実行して新しいタスクを達成
LLM誘導型ブートストラップ法で訓練されたエージェントは,実生活環境における実測実験により,ナイーブなブートストラップ法で訓練されたエージェントよりも優れていた。
論文 参考訳（メタデータ） (2023-10-16T02:43:47Z) - Skill Reinforcement Learning and Planning for Open-World Long-Horizon
Tasks [31.084848672383185]
オープンワールド環境におけるマルチタスクエージェントの構築について検討する。
我々は,マルチタスク学習問題を基礎的スキルの学習や,そのスキルの計画に転換する。
提案手法は40種類のMinecraftタスクをこなし,10以上のスキルを順次実行するタスクが多数存在する。
論文 参考訳（メタデータ） (2023-03-29T09:45:50Z) - Choreographer: Learning and Adapting Skills in Imagination [60.09911483010824]
我々は、その世界モデルを利用して想像力のスキルを学び、適応するモデルベースのエージェントであるChoreographerを紹介する。
提案手法は探索とスキル学習のプロセスを切り離し,モデルの潜在状態空間におけるスキルの発見を可能にする。
Choreographerはオフラインデータからスキルを学ぶことができ、探索ポリシーと同時にデータを集めることができる。
論文 参考訳（メタデータ） (2022-11-23T23:31:14Z) - Residual Skill Policies: Learning an Adaptable Skill-based Action Space
for Reinforcement Learning for Robotics [18.546688182454236]
スキルベース強化学習(RL)は、ロボット学習の加速に先行知識を活用するための有望な戦略として登場した。
本研究では,状態条件付き生成モデルを用いて,スキル空間における探索を高速化する手法を提案する。
我々は4つの困難な操作タスクにまたがってアプローチを検証する。
論文 参考訳（メタデータ） (2022-11-04T02:42:17Z) - Learning and Retrieval from Prior Data for Skill-based Imitation
Learning [47.59794569496233]
従来のデータから時間的に拡張された感触者スキルを抽出する,スキルベースの模倣学習フレームワークを開発した。
新規タスクの性能を著しく向上させる重要な設計選択をいくつか挙げる。
論文 参考訳（メタデータ） (2022-10-20T17:34:59Z) - Hierarchical Kickstarting for Skill Transfer in Reinforcement Learning [27.69559938165733]
実践とホーミングのスキルは、人間の学習の基本的な要素だが、人工エージェントは、それらを実行するために特別に訓練されることはめったにない。
複雑な環境下での強化学習(RL)エージェントの訓練に、どのようにスキルを組み込むことができるかを検討する。
本実験により, 複雑な問題に対するエージェントの性能向上に寄与することが示唆された。
論文 参考訳（メタデータ） (2022-07-23T19:23:29Z) - Hierarchical Skills for Efficient Exploration [70.62309286348057]
強化学習において、事前訓練された低レベルスキルは、探索を大幅に促進する可能性がある。
下流タスクの以前の知識は、スキルデザインにおける一般性(きめ細かい制御)と特異性(より高速な学習)の適切なバランスをとるために必要である。
教師なしの方法で様々な複雑さのスキルを習得する階層的スキル学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-10-20T22:29:32Z) - Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。
RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
論文 参考訳（メタデータ） (2020-11-19T18:47:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。