論文の概要: Self-supervised Reinforcement Learning with Independently Controllable Subgoals

• arxiv url: http://arxiv.org/abs/2109.04150v1
• Date: Thu, 9 Sep 2021 10:21:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-11 02:18:36.384478
• Title: Self-supervised Reinforcement Learning with Independently Controllable Subgoals
• Title（参考訳）: 独立制御可能なサブゴールを用いた自己教師あり強化学習
• Authors: Andrii Zadaianchuk, Georg Martius, Fanny Yang
• Abstract要約: 自己監督エージェントは、環境の構造を活用することで、自身の目標を設定した。 それらのいくつかは、合成多目的環境における基本的な操作スキルを学ぶために応用された。 本稿では,環境コンポーネント間の関係を推定し,環境状態の異なる部分を独立に制御する,新たな自己管理エージェントを提案する。
• 参考スコア（独自算出の注目度）: 20.29444813790076
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To successfully tackle challenging manipulation tasks, autonomous agents must learn a diverse set of skills and how to combine them. Recently, self-supervised agents that set their own abstract goals by exploiting the discovered structure in the environment were shown to perform well on many different tasks. In particular, some of them were applied to learn basic manipulation skills in compositional multi-object environments. However, these methods learn skills without taking the dependencies between objects into account. Thus, the learned skills are difficult to combine in realistic environments. We propose a novel self-supervised agent that estimates relations between environment components and uses them to independently control different parts of the environment state. In addition, the estimated relations between objects can be used to decompose a complex goal into a compatible sequence of subgoals. We show that, by using this framework, an agent can efficiently and automatically learn manipulation tasks in multi-object environments with different relations between objects.
• Abstract（参考訳）: 複雑な操作タスクにうまく取り組むためには、自律エージェントは多様なスキルセットとそれらを組み合わせる方法を学ぶ必要がある。 近年, 環境中の構造を活かし, 独自の抽象目標を設定した自己監督エージェントが, 様々なタスクにおいて良好に機能することが示されている。 特に, 合成多目的環境における基本的な操作スキルの習得に応用された。 しかし、これらの方法はオブジェクト間の依存関係を考慮せずにスキルを学習する。 したがって、実環境において学習スキルを組み合わせることは困難である。 本稿では,環境コンポーネント間の関係を推定し,環境状態の異なる部分を独立に制御する,新たな自己管理エージェントを提案する。 さらに、オブジェクト間の推定関係は、複雑な目標を互換性のあるサブゴールの列に分解するのに使うことができる。 このフレームワークを使用することで、エージェントはオブジェクト間の関係が異なるマルチオブジェクト環境での操作タスクを効率的かつ自動的に学習できることを示す。

関連論文リスト

• Exploiting Contextual Structure to Generate Useful Auxiliary Tasks [12.236546713167945]
  強化学習はロボットにとって高価な環境との相互作用を必要とする。 本稿では,有用な補助タスクを生成し,同時に学習することで,与えられたタスクを学習しながら経験再利用を最大化する手法を提案する。
  論文  参考訳（メタデータ） (2023-03-09T05:11:30Z)
• Dexterous Manipulation from Images: Autonomous Real-World RL via Substep Guidance [71.36749876465618]
  本稿では,ユーザが新しいタスクを定義するための"プログラミング不要"なアプローチを提供する,視覚に基づくデクスタラスな操作システムについて述べる。 本システムには,最終タスクと中間タスクを画像例で定義するためのフレームワークが組み込まれている。 実世界における多段階物体操作の4指ロボットハンドラーによる実験結果
  論文  参考訳（メタデータ） (2022-12-19T22:50:40Z)
• Inferring Versatile Behavior from Demonstrations by Matching Geometric Descriptors [72.62423312645953]
  人間は直感的にタスクを多目的に解決し、軌道に基づく計画や個々のステップの行動を変化させる。 現在のImitation Learningアルゴリズムは、通常、単調な専門家によるデモンストレーションのみを考慮し、状態アクションベースの設定で行動する。 代わりに、移動プリミティブの混合と分布マッチングの目的を組み合わせることで、専門家の行動と汎用性にマッチする多目的行動を学ぶ。
  論文  参考訳（メタデータ） (2022-10-17T16:42:59Z)
• Autonomous Open-Ended Learning of Tasks with Non-Stationary Interdependencies [64.0476282000118]
  固有のモチベーションは、目標間のトレーニング時間を適切に割り当てるタスクに依存しないシグナルを生成することが証明されている。 内在的に動機付けられたオープンエンドラーニングの分野におけるほとんどの研究は、目標が互いに独立しているシナリオに焦点を当てているが、相互依存タスクの自律的な獲得を研究するのはごくわずかである。 特に,タスク間の関係に関する情報をアーキテクチャのより高レベルなレベルで組み込むことの重要性を示す。 そして、自律的に取得したシーケンスを格納する新しい学習層を追加することで、前者を拡張する新しいシステムであるH-GRAILを紹介する。
  論文  参考訳（メタデータ） (2022-05-16T10:43:01Z)
• Policy Architectures for Compositional Generalization in Control [71.61675703776628]
  本稿では,タスクにおけるエンティティベースの構成構造をモデル化するためのフレームワークを提案する。 私たちのポリシーは柔軟で、アクションプリミティブを必要とせずにエンドツーエンドでトレーニングできます。
  論文  参考訳（メタデータ） (2022-03-10T06:44:24Z)
• Multi-Agent Imitation Learning with Copulas [102.27052968901894]
  マルチエージェント模倣学習は、観察と行動のマッピングを学習することで、デモからタスクを実行するために複数のエージェントを訓練することを目的としている。 本稿では,確率変数間の依存を捉える強力な統計ツールである copula を用いて,マルチエージェントシステムにおける相関関係と協調関係を明示的にモデル化する。 提案モデルでは,各エージェントの局所的行動パターンと,エージェント間の依存構造のみをフルにキャプチャするコプラ関数を別々に学習することができる。
  論文  参考訳（メタデータ） (2021-07-10T03:49:41Z)
• Self-supervised Visual Reinforcement Learning with Object-centric Representations [11.786249372283562]
  対象中心の表現をモジュラーおよび構造化された観測空間として用いることを提案する。 目標条件付きアテンションポリシーと組み合わせた表現の構造は,自律エージェントが有用なスキルを発見し,学習する上で有効であることを示す。
  論文  参考訳（メタデータ） (2020-11-29T14:55:09Z)
• Autonomous learning of multiple, context-dependent tasks [1.1470070927586016]
  複雑な環境では、同じタスクには解決すべきさまざまなスキルセットが必要になるかもしれません。 本稿では,2つの課題を統合的に解決するオープンエンド学習ロボットアーキテクチャC-GRAILを提案する。 アーキテクチャは、自律的に関連する対象物に到達することを学習するロボットを含むシミュレーションされたロボット環境でテストされる。
  論文  参考訳（メタデータ） (2020-11-27T17:25:36Z)
• CausalWorld: A Robotic Manipulation Benchmark for Causal Structure and Transfer Learning [138.40338621974954]
  CausalWorldは、ロボット操作環境における因果構造と伝達学習のベンチマークである。 タスクは、ブロックのセットから3D形状を構築することで構成される。
  論文  参考訳（メタデータ） (2020-10-08T23:01:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。