論文の概要: Latent Skill Planning for Exploration and Transfer

• arxiv url: http://arxiv.org/abs/2011.13897v2
• Date: Sun, 2 May 2021 15:53:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-20 01:18:41.073092
• Title: Latent Skill Planning for Exploration and Transfer
• Title（参考訳）: 探索・移転のための潜在スキルプランニング
• Authors: Kevin Xie, Homanga Bharadhwaj, Danijar Hafner, Animesh Garg, Florian Shkurti
• Abstract要約: 本稿では,この2つの手法を1つの強化学習エージェントに統合する方法について検討する。 テスト時の高速適応に部分的償却の考え方を活用する。 私たちは、困難なロコモーションタスクのスイートでデザイン決定のメリットを実演しています。
• 参考スコア（独自算出の注目度）: 49.25525932162891
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To quickly solve new tasks in complex environments, intelligent agents need to build up reusable knowledge. For example, a learned world model captures knowledge about the environment that applies to new tasks. Similarly, skills capture general behaviors that can apply to new tasks. In this paper, we investigate how these two approaches can be integrated into a single reinforcement learning agent. Specifically, we leverage the idea of partial amortization for fast adaptation at test time. For this, actions are produced by a policy that is learned over time while the skills it conditions on are chosen using online planning. We demonstrate the benefits of our design decisions across a suite of challenging locomotion tasks and demonstrate improved sample efficiency in single tasks as well as in transfer from one task to another, as compared to competitive baselines. Videos are available at: https://sites.google.com/view/latent-skill-planning/
• Abstract（参考訳）: 複雑な環境で新しいタスクを迅速に解決するには、インテリジェントエージェントは再利用可能な知識を構築する必要がある。 例えば、学習された世界モデルは、新しいタスクに適用される環境に関する知識を捉えます。 同様に、スキルは新しいタスクに適用できる一般的な振る舞いを捉えます。 本稿では,これら2つのアプローチを単一の強化学習エージェントに統合する方法について検討する。 具体的には、テスト時の高速適応に部分的アモート化の考え方を利用する。 そのため、アクションは時間とともに学習されるポリシーによって生成され、そのスキルはオンライン計画によって選択される。 難易度の高いロコモーションタスクのスイート間で設計決定の利点を実証し、競合するベースラインと比較して、単一タスクのサンプル効率の改善と、あるタスクから別のタスクへの転送を実証する。 https://sites.google.com/view/latent-skill-planning/

関連論文リスト

• I Know How: Combining Prior Policies to Solve New Tasks [17.214443593424498]
  マルチタスク強化学習は、継続的に進化し、新しいシナリオに適応できるエージェントを開発することを目的としている。 新しいタスクごとにスクラッチから学ぶことは、実行可能な、あるいは持続可能な選択肢ではない。 我々は、共通の形式を提供する新しいフレームワーク、I Know Howを提案する。
  論文  参考訳（メタデータ） (2024-06-14T08:44:51Z)
• Reinforcement Learning with Success Induced Task Prioritization [68.8204255655161]
  本稿では,自動カリキュラム学習のためのフレームワークであるSuccess induced Task Prioritization (SITP)を紹介する。 アルゴリズムはエージェントに最速の学習を提供するタスクの順序を選択する。 我々は,SITPが他のカリキュラム設計手法と一致するか,あるいは上回っていることを実証する。
  論文  参考訳（メタデータ） (2022-12-30T12:32:43Z)
• Learning Options via Compression [62.55893046218824]
  そこで本研究では,スキル記述長に対するペナルティと,最大限の目標を組み合わさった新たな目的を提案する。 我々の目的は、最大化可能性のみから学んだスキルと比較して、下流のタスクを少ないサンプルで解くスキルを学ぶことである。
  論文  参考訳（メタデータ） (2022-12-08T22:34:59Z)
• Transferring Knowledge for Reinforcement Learning in Contact-Rich Manipulation [10.219833196479142]
  複数のスキルの前提を活かして、類似したタスクのファミリー内で知識を伝達するという課題に対処する。 提案手法は, 先行タスク毎の実証軌道から, スキル埋め込みを表す潜在行動空間を学習する。 我々は,ペグ・イン・ホール・イン・イン・イン・イン・イン・イン・イン・イン・イン・インサート・タスクのセットを用いて本手法の評価を行い,トレーニング中に遭遇したことのない新しいタスクへのより良い一般化を実証した。
  論文  参考訳（メタデータ） (2022-09-19T10:31:13Z)
• Generalizing to New Tasks via One-Shot Compositional Subgoals [23.15624959305799]
  以前は見つからなかったタスクをほとんど、あるいはまったく監督せずに一般化する能力は、現代の機械学習研究において重要な課題である。 適応型「近未来」サブゴールを用いて、模倣学習エージェントを訓練することにより、これらの問題に対処しようとするCASEを導入する。 実験の結果,提案手法は従来よりも30%向上していることがわかった。
  論文  参考訳（メタデータ） (2022-05-16T14:30:11Z)
• Hierarchical Skills for Efficient Exploration [70.62309286348057]
  強化学習において、事前訓練された低レベルスキルは、探索を大幅に促進する可能性がある。 下流タスクの以前の知識は、スキルデザインにおける一般性(きめ細かい制御)と特異性(より高速な学習)の適切なバランスをとるために必要である。 教師なしの方法で様々な複雑さのスキルを習得する階層的スキル学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-20T22:29:32Z)
• COG: Connecting New Skills to Past Experience with Offline Reinforcement Learning [78.13740204156858]
  我々は、動的プログラミングによって新しいスキルを拡張するために、事前データを再利用できることを示します。 我々は、新しいタスクを解決するために、以前のデータセットに見られるいくつかの動作をチェーンすることで、アプローチの有効性を実証する。 我々は、高次元画像観察を低レベルのロボット制御コマンドにマッピングし、エンドツーエンドでポリシーを訓練する。
  論文  参考訳（メタデータ） (2020-10-27T17:57:29Z)
• Planning to Explore via Self-Supervised World Models [120.31359262226758]
  Plan2Exploreは自己監督型強化学習エージェントである。 我々は、自己監督型探索と、新しいタスクへの迅速な適応に対する新しいアプローチを提案する。 Plan2Exploreは、訓練の監督やタスク固有の相互作用がなければ、自己監督型の探査方法よりも優れている。
  論文  参考訳（メタデータ） (2020-05-12T17:59:45Z)
• Transforming task representations to perform novel tasks [12.008469282323492]
  知性の重要な側面は、直接の経験(ゼロショット)なしで新しいタスクに適応できる能力である。 本稿では,従来のタスクとの関係に基づいて,新しいタスクに適応するための一般的な計算フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-05-08T23:41:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。