論文の概要: Causality-driven Hierarchical Structure Discovery for Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2210.06964v1
• Date: Thu, 13 Oct 2022 12:42:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 16:59:58.745264
• Title: Causality-driven Hierarchical Structure Discovery for Reinforcement Learning
• Title（参考訳）: 強化学習のための因果性駆動型階層構造探索
• Authors: Shaohui Peng, Xing Hu, Rui Zhang, Ke Tang, Jiaming Guo, Qi Yi, Ruizhi Chen, Xishan Zhang, Zidong Du, Ling Li, Qi Guo, Yunji Chen
• Abstract要約: 因果型階層型強化学習フレームワークCDHRLを提案する。 我々はCDHRLが因果性駆動パラダイムによる探索効率を著しく向上させることを示した。 2D-MinecraftとEdenの2つの複雑な環境における結果から、CDHRLは因果性駆動パラダイムによる探索効率を著しく向上させることが示された。
• 参考スコア（独自算出の注目度）: 36.03953383550469
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hierarchical reinforcement learning (HRL) effectively improves agents' exploration efficiency on tasks with sparse reward, with the guide of high-quality hierarchical structures (e.g., subgoals or options). However, how to automatically discover high-quality hierarchical structures is still a great challenge. Previous HRL methods can hardly discover the hierarchical structures in complex environments due to the low exploration efficiency by exploiting the randomness-driven exploration paradigm. To address this issue, we propose CDHRL, a causality-driven hierarchical reinforcement learning framework, leveraging a causality-driven discovery instead of a randomness-driven exploration to effectively build high-quality hierarchical structures in complicated environments. The key insight is that the causalities among environment variables are naturally fit for modeling reachable subgoals and their dependencies and can perfectly guide to build high-quality hierarchical structures. The results in two complex environments, 2D-Minecraft and Eden, show that CDHRL significantly boosts exploration efficiency with the causality-driven paradigm.
• Abstract（参考訳）: 階層強化学習(HRL)は、高品質な階層構造(例えば、サブゴールやオプション)のガイドを用いて、報酬の少ないタスクにおけるエージェントの探索効率を効果的に改善する。 しかし、高品質な階層構造を自動的に発見する方法は依然として大きな課題です。 従来のHRL法では、ランダムネス駆動探索パラダイムを利用して、探索効率の低い複雑な環境における階層構造をほとんど発見できない。 この問題を解決するために,我々はcdhrlを提案する。cdhrlは因果性に基づく階層的強化学習フレームワークであり,複雑な環境で高品質な階層構造を効果的に構築するために,ランダム性に基づく探索ではなく因果性に基づく発見を利用する。 鍵となる洞察は、環境変数間の因果関係は、到達可能なサブゴールとその依存関係のモデリングに自然に適しており、高品質な階層構造の構築を完璧に導くことができるということである。 2D-MinecraftとEdenの2つの複雑な環境における結果は、CDHRLが因果性駆動パラダイムによる探索効率を著しく向上させることを示している。

関連論文リスト

• StructRAG: Boosting Knowledge Intensive Reasoning of LLMs via Inference-time Hybrid Information Structurization [94.31508613367296]
  Retrieval-augmented Generation(RAG)は、大規模言語モデル(LLM)を効果的に強化する鍵となる手段である。 本稿では,手前のタスクに対して最適な構造型を識別し,元の文書をこの構造化形式に再構成し,その結果に基づいて回答を推測するStructRAGを提案する。 実験の結果、StructRAGは最先端のパフォーマンスを実現し、特に挑戦的なシナリオに優れていた。
  論文  参考訳（メタデータ） (2024-10-11T13:52:44Z)
• A Survey on Neural Architecture Search Based on Reinforcement Learning [0.0]
  本稿では,ニューラルアーキテクチャサーチの全体開発を紹介する。 次に、ニューラルネットワーク検索に関する総合的かつ理解可能な調査を提供することに重点を置いています。
  論文  参考訳（メタデータ） (2024-09-26T17:28:10Z)
• Variable-Agnostic Causal Exploration for Reinforcement Learning [56.52768265734155]
  強化学習のための新しいフレームワークVACERL(Variable-Agnostic Causal Exploration for Reinforcement Learning)を導入する。 本手法は,注目機構を用いて,重要変数に関連する重要な観測行動ステップを自動的に同定する。 これらのステップを接続する因果グラフを構築し、エージェントをタスク完了に対する因果的影響の大きい観察-作用ペアへと導く。
  論文  参考訳（メタデータ） (2024-07-17T09:45:27Z)
• PEAR: Primitive enabled Adaptive Relabeling for boosting Hierarchical Reinforcement Learning [25.84621883831624]
  階層的強化学習は、時間的抽象と探索の増大を利用して複雑な長い水平方向のタスクを解く可能性がある。 プリミティブ・アダプティブ・アダプティブ・レバーベリング(PEAR)を提案する。 まず,いくつかの専門家による実験を適応的に実施し,効率的なサブゴール管理を実現する。 次に、強化学習(RL)と模倣学習(IL)を併用してHRLエージェントを共同最適化する。
  論文  参考訳（メタデータ） (2023-06-10T09:41:30Z)
• Hierarchical Reinforcement Learning in Complex 3D Environments [16.16652618709808]
  階層強化学習(HRL)エージェントは、魅力的な能力を示す可能性がある。 HRLの様々な領域での最近の成功は、実用的で効果的なHRL剤が可能であることを示す証拠となる。 これらの成功にもかかわらず、視覚的に部分的に観察可能な3D環境はHRLエージェントにとって課題のままであった。
  論文  参考訳（メタデータ） (2023-02-28T09:56:36Z)
• Landmark-Guided Subgoal Generation in Hierarchical Reinforcement Learning [64.97599673479678]
  ランドマークによる階層的強化学習(HIGL)について紹介する。 HIGLは、ランドマークでガイドされたアクションスペースを削減した、ハイレベルなポリシーをトレーニングするための新しいフレームワークである。 我々の実験は、我々のフレームワークが様々な制御タスクで先行技術より優れていることを示した。
  論文  参考訳（メタデータ） (2021-10-26T12:16:19Z)
• Provable Hierarchy-Based Meta-Reinforcement Learning [50.17896588738377]
  HRLをメタRL設定で解析し、下流タスクで使用するメタトレーニング中に学習者が潜在階層構造を学習する。 我々は、この自然階層の標本効率の回復を保証し、抽出可能な楽観主義に基づくアルゴリズムとともに「多様性条件」を提供する。 我々の境界は、時間的・状態的・行動的抽象化などのHRL文献に共通する概念を取り入れており、我々の設定と分析が実際にHRLの重要な特徴を捉えていることを示唆している。
  論文  参考訳（メタデータ） (2021-10-18T17:56:02Z)
• Hierarchical community structure in networks [1.9981375888949475]
  本稿では,ネットワークにおける階層的コミュニティ構造に関する理論的研究を行う。 1) コミュニティ階層をどのように定義すべきか 2) ネットワークに階層構造の十分な証拠があるかどうかをどうやって判断するか?
  論文  参考訳（メタデータ） (2020-09-15T16:18:26Z)
• Hierarchical Reinforcement Learning as a Model of Human Task Interleaving [60.95424607008241]
  我々は、強化学習によって駆動される監督制御の階層モデルを開発する。 このモデルは、タスクインターリービングの既知の経験的効果を再現する。 その結果、階層的RLがタスクインターリービングのもっともらしいモデルとして支持された。
  論文  参考訳（メタデータ） (2020-01-04T17:53:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。