論文の概要: A Simple Approach to Continual Learning by Transferring Skill Parameters
- arxiv url: http://arxiv.org/abs/2110.10255v1
- Date: Tue, 19 Oct 2021 20:44:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-24 08:16:53.395545
- Title: A Simple Approach to Continual Learning by Transferring Skill Parameters
- Title（参考訳）: スキルパラメータの伝達による連続学習への簡易的アプローチ
- Authors: K.R. Zentner, Ryan Julian, Ujjwal Puri, Yulun Zhang, Gaurav S.
Sukhatme
- Abstract要約: 我々は、忘れずにロボット操作スキルを継続的に取得する方法を示し、それらをスクラッチからトレーニングするために必要なサンプルをはるかに少ないものにする。
適切なカリキュラムが与えられたら、忘れずにロボット操作スキルを継続的に習得し、スクラッチからトレーニングするために必要なサンプルをはるかに少ないものにする方法を示す。
- 参考スコア（独自算出の注目度）: 25.705923249267055
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In order to be effective general purpose machines in real world environments,
robots not only will need to adapt their existing manipulation skills to new
circumstances, they will need to acquire entirely new skills on-the-fly. A
great promise of continual learning is to endow robots with this ability, by
using their accumulated knowledge and experience from prior skills. We take a
fresh look at this problem, by considering a setting in which the robot is
limited to storing that knowledge and experience only in the form of learned
skill policies. We show that storing skill policies, careful pre-training, and
appropriately choosing when to transfer those skill policies is sufficient to
build a continual learner in the context of robotic manipulation. We analyze
which conditions are needed to transfer skills in the challenging Meta-World
simulation benchmark. Using this analysis, we introduce a pair-wise metric
relating skills that allows us to predict the effectiveness of skill transfer
between tasks, and use it to reduce the problem of continual learning to
curriculum selection. Given an appropriate curriculum, we show how to
continually acquire robotic manipulation skills without forgetting, and using
far fewer samples than needed to train them from scratch.
- Abstract（参考訳）: 現実の環境で効果的な汎用機械を実現するためには、ロボットは既存の操作スキルを新しい状況に適応させるだけでなく、全く新しいスキルをオンザフライで獲得する必要がある。
継続的学習の大きな約束は、事前のスキルから蓄積された知識と経験を利用することで、ロボットにこの能力を与えることです。
我々は、ロボットが学習スキルポリシーの形でのみその知識と経験を保存することに限定される設定を考えることにより、この問題を新たに見ていく。
ロボット操作の文脈で連続学習者を構築するには,スキルポリシーの保存,事前学習の注意,およびこれらのスキルポリシーの転送時期の選択が十分であることを示す。
難解なメタワールドシミュレーションベンチマークにおいて,スキルの伝達に必要な条件を分析する。
この分析を用いて,タスク間のスキル伝達の有効性を予測し,それを用いてカリキュラム選択への継続的学習の問題を軽減できるスキルのペアワイズメトリックを提案する。
適切なカリキュラムが与えられたら、忘れずにロボット操作スキルを継続的に習得する方法を示し、スクラッチからトレーニングするために必要なサンプルをはるかに少なくする。
関連論文リスト
- Unsupervised Skill Discovery for Robotic Manipulation through Automatic Task Generation [17.222197596599685]
本稿では,多数の自律的タスクを解くことで構成可能な振る舞いを発見するスキル学習手法を提案する。
本手法は,ロボットが環境内の物体と連続的かつ堅牢に対話することを可能にするスキルを学習する。
学習したスキルは、シミュレーションだけでなく、本物のロボットプラットフォーム上でも、目に見えない操作タスクのセットを解決するために使用できる。
論文 参考訳（メタデータ） (2024-10-07T09:19:13Z) - EXTRACT: Efficient Policy Learning by Extracting Transferable Robot Skills from Offline Data [22.471559284344462]
ほとんどの強化学習(RL)手法は、低レベルな行動空間上の最適ポリシーの学習に重点を置いている。
これらの手法はトレーニング環境ではうまく機能するが、新しいタスクに移行する柔軟性に欠ける。
我々は,従来の作業よりも短時間で新しいタスクを学習できる,スパースでイメージベースのロボット操作環境の実験を通じて実演する。
論文 参考訳（メタデータ） (2024-06-25T17:50:03Z) - Practice Makes Perfect: Planning to Learn Skill Parameter Policies [34.51008914846429]
本研究では,将来的なタスクの成功を最大化するために,どのスキルを実践するかという,アクティブな学習問題に焦点をあてる。
本稿では,ロボットが各スキルの能力を推定し,能力の外挿を行い,能力認識計画を通じてタスク分布のスキルを定めておくことを提案する。
このアプローチは、ロボットが環境をリセットせずに繰り返し計画し、実践し、学習する完全に自律的なシステム内で実装される。
論文 参考訳（メタデータ） (2024-02-22T23:58:26Z) - Choreographer: Learning and Adapting Skills in Imagination [60.09911483010824]
我々は、その世界モデルを利用して想像力のスキルを学び、適応するモデルベースのエージェントであるChoreographerを紹介する。
提案手法は探索とスキル学習のプロセスを切り離し,モデルの潜在状態空間におけるスキルの発見を可能にする。
Choreographerはオフラインデータからスキルを学ぶことができ、探索ポリシーと同時にデータを集めることができる。
論文 参考訳（メタデータ） (2022-11-23T23:31:14Z) - Learning and Retrieval from Prior Data for Skill-based Imitation
Learning [47.59794569496233]
従来のデータから時間的に拡張された感触者スキルを抽出する,スキルベースの模倣学習フレームワークを開発した。
新規タスクの性能を著しく向上させる重要な設計選択をいくつか挙げる。
論文 参考訳（メタデータ） (2022-10-20T17:34:59Z) - Hierarchical Skills for Efficient Exploration [70.62309286348057]
強化学習において、事前訓練された低レベルスキルは、探索を大幅に促進する可能性がある。
下流タスクの以前の知識は、スキルデザインにおける一般性(きめ細かい制御)と特異性(より高速な学習)の適切なバランスをとるために必要である。
教師なしの方法で様々な複雑さのスキルを習得する階層的スキル学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-10-20T22:29:32Z) - Discovering Generalizable Skills via Automated Generation of Diverse
Tasks [82.16392072211337]
本稿では,多種多様なタスクの自動生成による一般化可能なスキルの発見手法を提案する。
教師なしスキル発見の先行研究とは対照的に,本手法では各スキルをトレーニング可能なタスクジェネレータが生成するユニークなタスクとペアリングする。
生成したタスクにおけるロボットの動作に定義されたタスク判別器を共同で訓練し、多様性目標の低いエビデンスを推定する。
学習スキルは階層的な強化学習アルゴリズムで構成され、目に見えない目標タスクを解決する。
論文 参考訳（メタデータ） (2021-06-26T03:41:51Z) - Actionable Models: Unsupervised Offline Reinforcement Learning of
Robotic Skills [93.12417203541948]
与えられたデータセットの任意の目標状態に到達するために学習することによって、環境の機能的な理解を学ぶ目的を提案する。
提案手法は,高次元カメラ画像上で動作し,これまで見つからなかったシーンやオブジェクトに一般化した実ロボットの様々なスキルを学習することができる。
論文 参考訳（メタデータ） (2021-04-15T20:10:11Z) - Learning and Sequencing of Object-Centric Manipulation Skills for
Industrial Tasks [16.308562047398542]
本稿では,オブジェクト中心の隠れセミマルコフモデルを用いて,ロボットのスキルシーケンスを高速に符号化するアルゴリズムを提案する。
学習したスキルモデルは、多モーダルな(時間的および空間的な)軌道分布を符号化することができる。
本研究では,産業用組立作業用ロボットアーム7台について実演する。
論文 参考訳（メタデータ） (2020-08-24T14:20:05Z) - Never Stop Learning: The Effectiveness of Fine-Tuning in Robotic
Reinforcement Learning [109.77163932886413]
本稿では,ロボットによるロボット操作ポリシーを,政治以外の強化学習を通じて微調整することで,新たなバリエーションに適応する方法を示す。
この適応は、タスクをゼロから学習するために必要なデータの0.2%未満を使用する。
事前訓練されたポリシーを適用するという私たちのアプローチは、微調整の過程で大きなパフォーマンス向上につながります。
論文 参考訳（メタデータ） (2020-04-21T17:57:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。