論文の概要: Creating Multi-Level Skill Hierarchies in Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2306.09980v2
• Date: Wed, 17 Jan 2024 15:03:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 21:12:47.101172
• Title: Creating Multi-Level Skill Hierarchies in Reinforcement Learning
• Title（参考訳）: 強化学習におけるマルチレベルスキル階層の構築
• Authors: Joshua B. Evans and \"Ozg\"ur \c{S}im\c{s}ek
• Abstract要約: エージェントと環境との相互作用がどのように展開されるかのグラフィカルな表現に基づく回答を提案する。 提案手法では,多段階の抽象化で相互作用グラフの構造を明らかにするための中心的な組織原理として,モジュラリティ最大化を用いる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: What is a useful skill hierarchy for an autonomous agent? We propose an answer based on a graphical representation of how the interaction between an agent and its environment may unfold. Our approach uses modularity maximisation as a central organising principle to expose the structure of the interaction graph at multiple levels of abstraction. The result is a collection of skills that operate at varying time scales, organised into a hierarchy, where skills that operate over longer time scales are composed of skills that operate over shorter time scales. The entire skill hierarchy is generated automatically, with no human intervention, including the skills themselves (their behaviour, when they can be called, and when they terminate) as well as the hierarchical dependency structure between them. In a wide range of environments, this approach generates skill hierarchies that are intuitively appealing and that considerably improve the learning performance of the agent.
• Abstract（参考訳）: 自律エージェントにとって有用なスキル階層とは何か? エージェントと環境との相互作用がどのように展開されるかのグラフィカルな表現に基づく回答を提案する。 提案手法では,モジュール性の最大化を中心的な組織原理として利用し,インタラクショングラフの構造を抽象化レベルで公開する。 結果として、さまざまな時間スケールで活動するスキルの集合が階層構造となり、より長い時間スケールで活動するスキルは、短い時間スケールで活動するスキルで構成されます。 スキル階層全体が自動的に生成され、人の介入なしに、スキル自体(呼び出される時の振る舞い、終了時の振る舞い)と、それらの間の階層的な依存関係構造を含む。 幅広い環境において、このアプローチは直感的に魅力的なスキル階層を生成し、エージェントの学習性能を大幅に向上させる。

関連論文リスト

• Reinforcement Learning with Options and State Representation [105.82346211739433]
  この論文は、強化学習分野を探求し、改良された手法を構築することを目的としている。 階層的強化学習(Hierarchical Reinforcement Learning)として知られる階層的な方法で学習タスクを分解することで、そのような目標に対処する。
  論文  参考訳（メタデータ） (2024-03-16T08:30:55Z)
• SkillDiffuser: Interpretable Hierarchical Planning via Skill Abstractions in Diffusion-Based Task Execution [75.2573501625811]
  拡散モデルは、ロボット軌道計画の強力な可能性を示している。 高レベルの命令からコヒーレントな軌道を生成することは依然として困難である。 エンド・ツー・エンドの階層的計画フレームワークであるSkillDiffuserを提案する。
  論文  参考訳（メタデータ） (2023-12-18T18:16:52Z)
• Progressively Efficient Learning [58.6490456517954]
  我々はCEIL(Communication-Efficient Interactive Learning)という新しい学習フレームワークを開発した。 CEILは、学習者と教師がより抽象的な意図を交換することで効率的にコミュニケーションする人間のようなパターンの出現につながる。 CEILで訓練されたエージェントは、新しいタスクを素早く習得し、非階層的で階層的な模倣学習を、絶対的な成功率で最大50%、20%上回った。
  論文  参考訳（メタデータ） (2023-10-13T07:52:04Z)
• Hierarchical Empowerment: Towards Tractable Empowerment-Based Skill Learning [65.41865750258775]
  汎用エージェントは、大量のスキルのレパートリーを必要とする。 我々は、コンピューティングのエンパワーメントをより魅力的にする新しいフレームワーク、階層エンパワーメントを導入します。 一般的なアリナビゲーション領域では、我々の4つのレベルエージェントは、以前の作業よりも2桁大きい表面積をカバーするスキルを学ぶことができる。
  論文  参考訳（メタデータ） (2023-07-06T02:27:05Z)
• Learning Temporally Extended Skills in Continuous Domains as Symbolic Actions for Planning [2.642698101441705]
  長期計画と継続的な制御能力の両方を必要とする問題は、既存の強化学習エージェントに重大な課題をもたらす。 本稿では,環境の計画状態の象徴的抽象化において,継続的制御のための時間的拡張スキルとフォワードモデルとをリンクする新しい階層型強化学習エージェントを提案する。
  論文  参考訳（メタデータ） (2022-07-11T17:13:10Z)
• Skill Machines: Temporal Logic Skill Composition in Reinforcement Learning [13.049516752695613]
  本稿では,エージェントがその環境におけるすべてのハイレベルな目標を達成するのに十分なスキルプリミティブのセットを学習するフレームワークを提案する。 エージェントは論理的にも時間的にも柔軟に構成でき、任意の正規言語で時間論理の仕様を確実に達成することができる。 これによりエージェントは、複雑な時間論理タスクの仕様から、ほぼ最適な振る舞いをゼロショットにマッピングできる。
  論文  参考訳（メタデータ） (2022-05-25T07:05:24Z)
• Autonomous Open-Ended Learning of Tasks with Non-Stationary Interdependencies [64.0476282000118]
  固有のモチベーションは、目標間のトレーニング時間を適切に割り当てるタスクに依存しないシグナルを生成することが証明されている。 内在的に動機付けられたオープンエンドラーニングの分野におけるほとんどの研究は、目標が互いに独立しているシナリオに焦点を当てているが、相互依存タスクの自律的な獲得を研究するのはごくわずかである。 特に,タスク間の関係に関する情報をアーキテクチャのより高レベルなレベルで組み込むことの重要性を示す。 そして、自律的に取得したシーケンスを格納する新しい学習層を追加することで、前者を拡張する新しいシステムであるH-GRAILを紹介する。
  論文  参考訳（メタデータ） (2022-05-16T10:43:01Z)
• Possibility Before Utility: Learning And Using Hierarchical Affordances [21.556661319375255]
  強化学習アルゴリズムは複雑な階層的依存構造を持つタスクに苦労する。 本稿では、より効果的な学習のために不可能なサブタスクを実践するために、階層的アフォーマンス学習(HAL)という階層的アフォーマンス学習(HAL)を提案する。
  論文  参考訳（メタデータ） (2022-03-23T19:17:22Z)
• Hierarchical Skills for Efficient Exploration [70.62309286348057]
  強化学習において、事前訓練された低レベルスキルは、探索を大幅に促進する可能性がある。 下流タスクの以前の知識は、スキルデザインにおける一般性(きめ細かい制御)と特異性(より高速な学習)の適切なバランスをとるために必要である。 教師なしの方法で様々な複雑さのスキルを習得する階層的スキル学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-20T22:29:32Z)
• Self-supervised Reinforcement Learning with Independently Controllable Subgoals [20.29444813790076]
  自己監督エージェントは、環境の構造を活用することで、自身の目標を設定した。 それらのいくつかは、合成多目的環境における基本的な操作スキルを学ぶために応用された。 本稿では,環境コンポーネント間の関係を推定し,環境状態の異なる部分を独立に制御する,新たな自己管理エージェントを提案する。
  論文  参考訳（メタデータ） (2021-09-09T10:21:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。