論文の概要: Choreographer: Learning and Adapting Skills in Imagination

• arxiv url: http://arxiv.org/abs/2211.13350v2
• Date: Fri, 19 Jan 2024 17:33:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-22 19:38:20.309474
• Title: Choreographer: Learning and Adapting Skills in Imagination
• Title（参考訳）: 振り付け: Imagination における学習と適応
• Authors: Pietro Mazzaglia, Tim Verbelen, Bart Dhoedt, Alexandre Lacoste, Sai Rajeswar
• Abstract要約: 我々は、その世界モデルを利用して想像力のスキルを学び、適応するモデルベースのエージェントであるChoreographerを紹介する。 提案手法は探索とスキル学習のプロセスを切り離し,モデルの潜在状態空間におけるスキルの発見を可能にする。 Choreographerはオフラインデータからスキルを学ぶことができ、探索ポリシーと同時にデータを集めることができる。
• 参考スコア（独自算出の注目度）: 60.09911483010824
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unsupervised skill learning aims to learn a rich repertoire of behaviors without external supervision, providing artificial agents with the ability to control and influence the environment. However, without appropriate knowledge and exploration, skills may provide control only over a restricted area of the environment, limiting their applicability. Furthermore, it is unclear how to leverage the learned skill behaviors for adapting to downstream tasks in a data-efficient manner. We present Choreographer, a model-based agent that exploits its world model to learn and adapt skills in imagination. Our method decouples the exploration and skill learning processes, being able to discover skills in the latent state space of the model. During adaptation, the agent uses a meta-controller to evaluate and adapt the learned skills efficiently by deploying them in parallel in imagination. Choreographer is able to learn skills both from offline data, and by collecting data simultaneously with an exploration policy. The skills can be used to effectively adapt to downstream tasks, as we show in the URL benchmark, where we outperform previous approaches from both pixels and states inputs. The learned skills also explore the environment thoroughly, finding sparse rewards more frequently, as shown in goal-reaching tasks from the DMC Suite and Meta-World. Website and code: https://skillchoreographer.github.io/
• Abstract（参考訳）: 教師なしのスキル学習は、外部の監督なしに行動の豊富なレパートリーを学習することを目的としており、人工エージェントに環境を制御および影響する能力を提供する。 しかし、適切な知識や探索がなければ、スキルは環境の限られた領域のみをコントロールし、適用性を制限することができる。 さらに、データ効率の良い方法でダウンストリームタスクに適応するために、学習スキルの振る舞いをどのように活用するかは不明だ。 本稿では,世界モデルを用いて想像力の習得と適応を行うモデルベースエージェントであるchoreographerを提案する。 提案手法は探索とスキル学習のプロセスを切り離し,モデルの潜在状態空間におけるスキルの発見を可能にする。 適応中、エージェントはメタコントローラを使用して、想像力に並行してそれらを配置することで学習スキルを効果的に評価し、適応する。 Choreographerはオフラインデータからスキルを学ぶことができ、探索ポリシーと同時にデータを集めることができる。 このスキルは、urlベンチマークで示されているように、ダウンストリームタスクに効果的に適応するために使用できます。 DMC SuiteとMeta-Worldの目標達成タスクで示されているように、学習したスキルは環境を徹底的に探求し、疎い報酬をより頻繁に見つけます。 webサイトとコード: https://skillchoreographer.github.io/

関連論文リスト

• Unsupervised Skill Discovery for Robotic Manipulation through Automatic Task Generation [17.222197596599685]
  本稿では,多数の自律的タスクを解くことで構成可能な振る舞いを発見するスキル学習手法を提案する。 本手法は,ロボットが環境内の物体と連続的かつ堅牢に対話することを可能にするスキルを学習する。 学習したスキルは、シミュレーションだけでなく、本物のロボットプラットフォーム上でも、目に見えない操作タスクのセットを解決するために使用できる。
  論文  参考訳（メタデータ） (2024-10-07T09:19:13Z)
• Residual Skill Policies: Learning an Adaptable Skill-based Action Space for Reinforcement Learning for Robotics [18.546688182454236]
  スキルベース強化学習(RL)は、ロボット学習の加速に先行知識を活用するための有望な戦略として登場した。 本研究では,状態条件付き生成モデルを用いて,スキル空間における探索を高速化する手法を提案する。 我々は4つの困難な操作タスクにまたがってアプローチを検証する。
  論文  参考訳（メタデータ） (2022-11-04T02:42:17Z)
• Learning and Retrieval from Prior Data for Skill-based Imitation Learning [47.59794569496233]
  従来のデータから時間的に拡張された感触者スキルを抽出する,スキルベースの模倣学習フレームワークを開発した。 新規タスクの性能を著しく向上させる重要な設計選択をいくつか挙げる。
  論文  参考訳（メタデータ） (2022-10-20T17:34:59Z)
• One After Another: Learning Incremental Skills for a Changing World [19.051800747558794]
  スキル発見のための新たなフレームワークを提案する。 進化環境と静的環境の両方において、インクリメンタルスキルは現在の最先端のスキル発見方法よりも著しく優れていることを実証した。
  論文  参考訳（メタデータ） (2022-03-21T17:55:21Z)
• Hierarchical Skills for Efficient Exploration [70.62309286348057]
  強化学習において、事前訓練された低レベルスキルは、探索を大幅に促進する可能性がある。 下流タスクの以前の知識は、スキルデザインにおける一般性(きめ細かい制御)と特異性(より高速な学習)の適切なバランスをとるために必要である。 教師なしの方法で様々な複雑さのスキルを習得する階層的スキル学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-20T22:29:32Z)
• Curious Representation Learning for Embodied Intelligence [81.21764276106924]
  近年,自己指導型表現学習は顕著な成功を収めている。 しかし、真にインテリジェントなエージェントを構築するためには、環境から学習できる表現学習アルゴリズムを構築する必要がある。 本稿では,強化学習方針と視覚的表現モデルを同時に学習する,好奇心をそそる表現学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-05-03T17:59:20Z)
• Actionable Models: Unsupervised Offline Reinforcement Learning of Robotic Skills [93.12417203541948]
  与えられたデータセットの任意の目標状態に到達するために学習することによって、環境の機能的な理解を学ぶ目的を提案する。 提案手法は,高次元カメラ画像上で動作し,これまで見つからなかったシーンやオブジェクトに一般化した実ロボットの様々なスキルを学習することができる。
  論文  参考訳（メタデータ） (2021-04-15T20:10:11Z)
• ELSIM: End-to-end learning of reusable skills through intrinsic motivation [0.0]
  本稿では、階層的に学習し、エンドツーエンドで自己生成スキルを表現する新しい強化学習アーキテクチャを提案する。 このアーキテクチャでは、エージェントは、スキルボトムアップの学習プロセスを維持しながら、タスクリワードスキルのみに焦点を当てる。
  論文  参考訳（メタデータ） (2020-06-23T11:20:46Z)
• Emergent Real-World Robotic Skills via Unsupervised Off-Policy Reinforcement Learning [81.12201426668894]
  報奨関数を使わずに多様なスキルを習得し,これらのスキルを下流のタスクに再利用する効率的な強化学習手法を開発した。 提案アルゴリズムは学習効率を大幅に向上させ,報酬のない実世界のトレーニングを実現する。 また,学習スキルは,目標指向ナビゲーションのためのモデル予測制御を用いて,追加のトレーニングを伴わずに構成可能であることも実証した。
  論文  参考訳（メタデータ） (2020-04-27T17:38:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。