論文の概要: Discovering Generalizable Skills via Automated Generation of Diverse Tasks

• arxiv url: http://arxiv.org/abs/2106.13935v1
• Date: Sat, 26 Jun 2021 03:41:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-29 13:53:59.018636
• Title: Discovering Generalizable Skills via Automated Generation of Diverse Tasks
• Title（参考訳）: タスクの自動生成による一般化可能なスキルの発見
• Authors: Kuan Fang, Yuke Zhu, Silvio Savarese, Li Fei-Fei
• Abstract要約: 本稿では,多種多様なタスクの自動生成による一般化可能なスキルの発見手法を提案する。 教師なしスキル発見の先行研究とは対照的に,本手法では各スキルをトレーニング可能なタスクジェネレータが生成するユニークなタスクとペアリングする。 生成したタスクにおけるロボットの動作に定義されたタスク判別器を共同で訓練し、多様性目標の低いエビデンスを推定する。 学習スキルは階層的な強化学習アルゴリズムで構成され、目に見えない目標タスクを解決する。
• 参考スコア（独自算出の注目度）: 82.16392072211337
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The learning efficiency and generalization ability of an intelligent agent can be greatly improved by utilizing a useful set of skills. However, the design of robot skills can often be intractable in real-world applications due to the prohibitive amount of effort and expertise that it requires. In this work, we introduce Skill Learning In Diversified Environments (SLIDE), a method to discover generalizable skills via automated generation of a diverse set of tasks. As opposed to prior work on unsupervised discovery of skills which incentivizes the skills to produce different outcomes in the same environment, our method pairs each skill with a unique task produced by a trainable task generator. To encourage generalizable skills to emerge, our method trains each skill to specialize in the paired task and maximizes the diversity of the generated tasks. A task discriminator defined on the robot behaviors in the generated tasks is jointly trained to estimate the evidence lower bound of the diversity objective. The learned skills can then be composed in a hierarchical reinforcement learning algorithm to solve unseen target tasks. We demonstrate that the proposed method can effectively learn a variety of robot skills in two tabletop manipulation domains. Our results suggest that the learned skills can effectively improve the robot's performance in various unseen target tasks compared to existing reinforcement learning and skill learning methods.
• Abstract（参考訳）: 知的エージェントの学習効率と一般化能力は、有用なスキルセットを利用することで大幅に向上することができる。 しかし、ロボットスキルの設計は、必要となる膨大な努力と専門知識のために、現実の応用においてしばしば難解である。 本研究では,多種多様なタスクの自動生成による一般化可能なスキルの発見手法であるSkill Learning In Diversified Environments(SLIDE)を紹介する。 同じ環境下で異なる結果を生み出すためのスキルを動機付けるスキルの教師なし発見に関する先行研究とは対照的に,本手法では各スキルと,トレーニング可能なタスクジェネレータが生成するユニークなタスクをペアリングする。 一般化可能なスキルの出現を促すため,提案手法では,ペアタスクを専門とする各スキルを訓練し,生成するタスクの多様性を最大化する。 生成したタスクにおけるロボットの動作に定義されたタスク判別器を共同で訓練し、多様性目標の低いエビデンスを推定する。 学習スキルは階層的強化学習アルゴリズムで構成され、対象とする未認識のタスクを解決する。 提案手法は,2つのテーブルトップ操作領域において,多様なロボットスキルを効果的に学習できることを実証する。 以上の結果から,既存の強化学習やスキル学習手法と比較して,学習スキルはロボットの性能を効果的に向上させることができることが示唆された。

関連論文リスト

• Unsupervised Skill Discovery for Robotic Manipulation through Automatic Task Generation [17.222197596599685]
  本稿では,多数の自律的タスクを解くことで構成可能な振る舞いを発見するスキル学習手法を提案する。 本手法は,ロボットが環境内の物体と連続的かつ堅牢に対話することを可能にするスキルを学習する。 学習したスキルは、シミュレーションだけでなく、本物のロボットプラットフォーム上でも、目に見えない操作タスクのセットを解決するために使用できる。
  論文  参考訳（メタデータ） (2024-10-07T09:19:13Z)
• Practice Makes Perfect: Planning to Learn Skill Parameter Policies [34.51008914846429]
  本研究では,将来的なタスクの成功を最大化するために,どのスキルを実践するかという,アクティブな学習問題に焦点をあてる。 本稿では,ロボットが各スキルの能力を推定し,能力の外挿を行い,能力認識計画を通じてタスク分布のスキルを定めておくことを提案する。 このアプローチは、ロボットが環境をリセットせずに繰り返し計画し、実践し、学習する完全に自律的なシステム内で実装される。
  論文  参考訳（メタデータ） (2024-02-22T23:58:26Z)
• Learning Options via Compression [62.55893046218824]
  そこで本研究では,スキル記述長に対するペナルティと,最大限の目標を組み合わさった新たな目的を提案する。 我々の目的は、最大化可能性のみから学んだスキルと比較して、下流のタスクを少ないサンプルで解くスキルを学ぶことである。
  論文  参考訳（メタデータ） (2022-12-08T22:34:59Z)
• Active Task Randomization: Learning Robust Skills via Unsupervised Generation of Diverse and Feasible Tasks [37.73239471412444]
  我々は、教師なしのトレーニングタスクの生成を通じて、堅牢なスキルを学ぶアプローチであるActive Task Randomization (ATR)を導入する。 ATRは、タスクの多様性と実現可能性のバランスをとることで、堅牢なスキルを学ぶために、初期環境状態と操作目標からなる適切なタスクを選択する。 本研究では,視覚的入力に基づく逐次操作問題の解決のために,タスクプランナが学習スキルを構成することを実証する。
  論文  参考訳（メタデータ） (2022-11-11T11:24:55Z)
• Example-Driven Model-Based Reinforcement Learning for Solving Long-Horizon Visuomotor Tasks [85.56153200251713]
  長軸ビズモータタスクの完了に適したプリミティブスキルを学習するためのモデルベースRL手法EMBRを紹介する。 フランカ・エミカのロボットアームでは、EMBRによってロボットは85%の成功率で3つの長い水平視運動タスクを完了できることがわかった。
  論文  参考訳（メタデータ） (2021-09-21T16:48:07Z)
• Lifelong Robotic Reinforcement Learning by Retaining Experiences [61.79346922421323]
  多くのマルチタスク強化学習は、ロボットが常にすべてのタスクからデータを収集できると仮定している。 本研究では,物理ロボットシステムの実用的制約を動機として,現実的なマルチタスクRL問題について検討する。 我々は、ロボットのスキルセットを累積的に成長させるために、過去のタスクで学んだデータとポリシーを効果的に活用するアプローチを導出する。
  論文  参考訳（メタデータ） (2021-09-19T18:00:51Z)
• MT-Opt: Continuous Multi-Task Robotic Reinforcement Learning at Scale [103.7609761511652]
  大規模集団ロボット学習システムが,行動のレパートリーを同時に獲得できることを示す。 新しいタスクは、以前学んだタスクから継続的にインスタンス化できる。 我々は,7台のロボットから収集したデータを用いて,実世界のタスク12組でシステムを訓練し,評価する。
  論文  参考訳（メタデータ） (2021-04-16T16:38:02Z)
• SKID RAW: Skill Discovery from Raw Trajectories [23.871402375721285]
  すべてのスキルではなく、完全なタスクの実行を示すことが望ましい。 軌跡を反復パターンに分割することを同時に学習する新しい手法を提案する。 このアプローチは、スキルのシーケンスを理解するのに使用できるスキルコンディショニングを学習する。
  論文  参考訳（メタデータ） (2021-03-26T17:27:13Z)
• Relative Variational Intrinsic Control [11.328970848714919]
  Relative Variational Intrinsic Control(RVIC)は、エージェントが環境との関係をどのように変えるかで区別できる学習スキルを奨励します。 本稿では,階層的強化学習において,既存の手法によるスキルよりもRVICのスキルが有用であることを示す。
  論文  参考訳（メタデータ） (2020-12-14T18:59:23Z)
• Emergent Real-World Robotic Skills via Unsupervised Off-Policy Reinforcement Learning [81.12201426668894]
  報奨関数を使わずに多様なスキルを習得し,これらのスキルを下流のタスクに再利用する効率的な強化学習手法を開発した。 提案アルゴリズムは学習効率を大幅に向上させ,報酬のない実世界のトレーニングを実現する。 また,学習スキルは,目標指向ナビゲーションのためのモデル予測制御を用いて,追加のトレーニングを伴わずに構成可能であることも実証した。
  論文  参考訳（メタデータ） (2020-04-27T17:38:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。