論文の概要: Hierarchical Empowerment: Towards Tractable Empowerment-Based Skill Learning

• arxiv url: http://arxiv.org/abs/2307.02728v2
• Date: Tue, 3 Oct 2023 18:24:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 21:28:07.675373
• Title: Hierarchical Empowerment: Towards Tractable Empowerment-Based Skill Learning
• Title（参考訳）: 階層的エンパワーメント:気軽なエンパワーメントに基づくスキル学習に向けて
• Authors: Andrew Levy, Sreehari Rammohan, Alessandro Allievi, Scott Niekum, George Konidaris
• Abstract要約: 汎用エージェントは、大量のスキルのレパートリーを必要とする。 我々は、コンピューティングのエンパワーメントをより魅力的にする新しいフレームワーク、階層エンパワーメントを導入します。 一般的なアリナビゲーション領域では、我々の4つのレベルエージェントは、以前の作業よりも2桁大きい表面積をカバーするスキルを学ぶことができる。
• 参考スコア（独自算出の注目度）: 65.41865750258775
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: General purpose agents will require large repertoires of skills. Empowerment -- the maximum mutual information between skills and states -- provides a pathway for learning large collections of distinct skills, but mutual information is difficult to optimize. We introduce a new framework, Hierarchical Empowerment, that makes computing empowerment more tractable by integrating concepts from Goal-Conditioned Hierarchical Reinforcement Learning. Our framework makes two specific contributions. First, we introduce a new variational lower bound on mutual information that can be used to compute empowerment over short horizons. Second, we introduce a hierarchical architecture for computing empowerment over exponentially longer time scales. We verify the contributions of the framework in a series of simulated robotics tasks. In a popular ant navigation domain, our four level agents are able to learn skills that cover a surface area over two orders of magnitude larger than prior work.
• Abstract（参考訳）: 汎用エージェントには大量のスキルのレパートリーが必要です。 スキルと国家間の最大の相互情報であるエンパワーメントは、異なるスキルの大規模なコレクションを学ぶための経路を提供するが、相互情報の最適化は困難である。 我々は,目標条件付き階層強化学習の概念を統合することにより,コンピュータエンパワメントをより扱いやすくする新しいフレームワークである階層エンパワメントを導入する。 私たちのフレームワークは2つの特別な貢献をします。 まず,短時間の地平線上でのエンパワーメントの計算に使用可能な,相互情報に基づく新しい変分下界を導入する。 第2に,指数的に長い時間スケールで計算能力を高める階層アーキテクチャを導入する。 シミュレーションロボットタスクにおけるフレームワークの貢献を検証する。 一般的なアリナビゲーション領域では、我々の4つのレベルエージェントは、以前の作業よりも2桁大きい表面積をカバーするスキルを学ぶことができる。

関連論文リスト

• Creating Multi-Level Skill Hierarchies in Reinforcement Learning [0.0]
  エージェントと環境との相互作用がどのように展開されるかのグラフィカルな表現に基づく回答を提案する。 提案手法では,多段階の抽象化で相互作用グラフの構造を明らかにするための中心的な組織原理として,モジュラリティ最大化を用いる。
  論文  参考訳（メタデータ） (2023-06-16T17:23:49Z)
• Possibility Before Utility: Learning And Using Hierarchical Affordances [21.556661319375255]
  強化学習アルゴリズムは複雑な階層的依存構造を持つタスクに苦労する。 本稿では、より効果的な学習のために不可能なサブタスクを実践するために、階層的アフォーマンス学習(HAL)という階層的アフォーマンス学習(HAL)を提案する。
  論文  参考訳（メタデータ） (2022-03-23T19:17:22Z)
• Combining Modular Skills in Multitask Learning [149.8001096811708]
  モジュラー設計は、ニューラルネットワークが様々な知識の面をアンタングルして再結合し、新しいタスクにより系統的に一般化することを奨励する。 この研究では、各タスクは(潜在的に小さな)インベントリから潜在的な離散スキルのサブセットと関連付けられていると仮定する。 ネットワークのモジュラー設計により、強化学習におけるサンプル効率が著しく向上し、教師あり学習における数ショットの一般化が図られる。
  論文  参考訳（メタデータ） (2022-02-28T16:07:19Z)
• Hierarchical Skills for Efficient Exploration [70.62309286348057]
  強化学習において、事前訓練された低レベルスキルは、探索を大幅に促進する可能性がある。 下流タスクの以前の知識は、スキルデザインにおける一般性(きめ細かい制御)と特異性(より高速な学習)の適切なバランスをとるために必要である。 教師なしの方法で様々な複雑さのスキルを習得する階層的スキル学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-20T22:29:32Z)
• MT-Opt: Continuous Multi-Task Robotic Reinforcement Learning at Scale [103.7609761511652]
  大規模集団ロボット学習システムが,行動のレパートリーを同時に獲得できることを示す。 新しいタスクは、以前学んだタスクから継続的にインスタンス化できる。 我々は,7台のロボットから収集したデータを用いて,実世界のタスク12組でシステムを訓練し,評価する。
  論文  参考訳（メタデータ） (2021-04-16T16:38:02Z)
• Learn to Bind and Grow Neural Structures [0.3553493344868413]
  我々は、新しいタスクのためのニューラルアーキテクチャを漸進的に学習する新しいフレームワーク、Learning to Bind and Growを紹介する。 私たちのアプローチの中心は、共有マルチタスクアーキテクチャ空間の新しい、解釈可能な、パラメータ化です。 連続学習ベンチマークの実験により、我々のフレームワークは、以前の拡張ベースのアプローチと相容れない性能を示した。
  論文  参考訳（メタデータ） (2020-11-21T09:40:26Z)
• Online Structured Meta-learning [137.48138166279313]
  現在のオンラインメタ学習アルゴリズムは、グローバルに共有されたメタラーナーを学ぶために限られている。 この制限を克服するオンライン構造化メタラーニング(OSML)フレームワークを提案する。 3つのデータセットの実験は、提案フレームワークの有効性と解釈可能性を示している。
  論文  参考訳（メタデータ） (2020-10-22T09:10:31Z)
• ELSIM: End-to-end learning of reusable skills through intrinsic motivation [0.0]
  本稿では、階層的に学習し、エンドツーエンドで自己生成スキルを表現する新しい強化学習アーキテクチャを提案する。 このアーキテクチャでは、エージェントは、スキルボトムアップの学習プロセスを維持しながら、タスクリワードスキルのみに焦点を当てる。
  論文  参考訳（メタデータ） (2020-06-23T11:20:46Z)
• Automated Relational Meta-learning [95.02216511235191]
  本稿では,クロスタスク関係を自動的に抽出し,メタ知識グラフを構築する自動リレーショナルメタ学習フレームワークを提案する。 我々は,2次元玩具の回帰と少数ショット画像分類に関する広範な実験を行い,ARMLが最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-01-03T07:02:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。