論文の概要: Causality-driven Hierarchical Structure Discovery for Reinforcement
Learning
- arxiv url: http://arxiv.org/abs/2210.06964v1
- Date: Thu, 13 Oct 2022 12:42:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-14 16:59:58.745264
- Title: Causality-driven Hierarchical Structure Discovery for Reinforcement
Learning
- Title(参考訳): 強化学習のための因果性駆動型階層構造探索
- Authors: Shaohui Peng, Xing Hu, Rui Zhang, Ke Tang, Jiaming Guo, Qi Yi, Ruizhi
Chen, Xishan Zhang, Zidong Du, Ling Li, Qi Guo, Yunji Chen
- Abstract要約: 因果型階層型強化学習フレームワークCDHRLを提案する。
我々はCDHRLが因果性駆動パラダイムによる探索効率を著しく向上させることを示した。
2D-MinecraftとEdenの2つの複雑な環境における結果から、CDHRLは因果性駆動パラダイムによる探索効率を著しく向上させることが示された。
- 参考スコア(独自算出の注目度): 36.03953383550469
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hierarchical reinforcement learning (HRL) effectively improves agents'
exploration efficiency on tasks with sparse reward, with the guide of
high-quality hierarchical structures (e.g., subgoals or options). However, how
to automatically discover high-quality hierarchical structures is still a great
challenge. Previous HRL methods can hardly discover the hierarchical structures
in complex environments due to the low exploration efficiency by exploiting the
randomness-driven exploration paradigm. To address this issue, we propose
CDHRL, a causality-driven hierarchical reinforcement learning framework,
leveraging a causality-driven discovery instead of a randomness-driven
exploration to effectively build high-quality hierarchical structures in
complicated environments. The key insight is that the causalities among
environment variables are naturally fit for modeling reachable subgoals and
their dependencies and can perfectly guide to build high-quality hierarchical
structures. The results in two complex environments, 2D-Minecraft and Eden,
show that CDHRL significantly boosts exploration efficiency with the
causality-driven paradigm.
- Abstract(参考訳): 階層強化学習(HRL)は、高品質な階層構造(例えば、サブゴールやオプション)のガイドを用いて、報酬の少ないタスクにおけるエージェントの探索効率を効果的に改善する。
しかし、高品質な階層構造を自動的に発見する方法は依然として大きな課題です。
従来のHRL法では、ランダムネス駆動探索パラダイムを利用して、探索効率の低い複雑な環境における階層構造をほとんど発見できない。
この問題を解決するために,我々はcdhrlを提案する。cdhrlは因果性に基づく階層的強化学習フレームワークであり,複雑な環境で高品質な階層構造を効果的に構築するために,ランダム性に基づく探索ではなく因果性に基づく発見を利用する。
鍵となる洞察は、環境変数間の因果関係は、到達可能なサブゴールとその依存関係のモデリングに自然に適しており、高品質な階層構造の構築を完璧に導くことができるということである。
2D-MinecraftとEdenの2つの複雑な環境における結果は、CDHRLが因果性駆動パラダイムによる探索効率を著しく向上させることを示している。
関連論文リスト
- Variable-Agnostic Causal Exploration for Reinforcement Learning [56.52768265734155]
強化学習のための新しいフレームワークVACERL(Variable-Agnostic Causal Exploration for Reinforcement Learning)を導入する。
本手法は,注目機構を用いて,重要変数に関連する重要な観測行動ステップを自動的に同定する。
これらのステップを接続する因果グラフを構築し、エージェントをタスク完了に対する因果的影響の大きい観察-作用ペアへと導く。
論文 参考訳(メタデータ) (2024-07-17T09:45:27Z) - PEAR: Primitive enabled Adaptive Relabeling for boosting Hierarchical Reinforcement Learning [25.84621883831624]
階層的強化学習は、時間的抽象と探索の増大を利用して複雑な長い水平方向のタスクを解く可能性がある。
プリミティブ・アダプティブ・アダプティブ・レバーベリング(PEAR)を提案する。
まず,いくつかの専門家による実験を適応的に実施し,効率的なサブゴール管理を実現する。
次に、強化学習(RL)と模倣学習(IL)を併用してHRLエージェントを共同最適化する。
論文 参考訳(メタデータ) (2023-06-10T09:41:30Z) - LasUIE: Unifying Information Extraction with Latent Adaptive
Structure-aware Generative Language Model [96.889634747943]
全ての典型的な情報抽出タスク(UIE)を1つの生成言語モデル(GLM)で普遍的にモデル化し、大きな可能性を明らかにした。
UIE のための構文知識のパワーを完全に解放する構造対応 GLM を提案する。
7つのタスクにわたるIEベンチマークが12以上あり、私たちのシステムはベースラインのUIEシステムよりも大幅に改善されていることを示しています。
論文 参考訳(メタデータ) (2023-04-13T04:01:14Z) - Hierarchical Reinforcement Learning in Complex 3D Environments [16.16652618709808]
階層強化学習(HRL)エージェントは、魅力的な能力を示す可能性がある。
HRLの様々な領域での最近の成功は、実用的で効果的なHRL剤が可能であることを示す証拠となる。
これらの成功にもかかわらず、視覚的に部分的に観察可能な3D環境はHRLエージェントにとって課題のままであった。
論文 参考訳(メタデータ) (2023-02-28T09:56:36Z) - Landmark-Guided Subgoal Generation in Hierarchical Reinforcement
Learning [64.97599673479678]
ランドマークによる階層的強化学習(HIGL)について紹介する。
HIGLは、ランドマークでガイドされたアクションスペースを削減した、ハイレベルなポリシーをトレーニングするための新しいフレームワークである。
我々の実験は、我々のフレームワークが様々な制御タスクで先行技術より優れていることを示した。
論文 参考訳(メタデータ) (2021-10-26T12:16:19Z) - Provable Hierarchy-Based Meta-Reinforcement Learning [50.17896588738377]
HRLをメタRL設定で解析し、下流タスクで使用するメタトレーニング中に学習者が潜在階層構造を学習する。
我々は、この自然階層の標本効率の回復を保証し、抽出可能な楽観主義に基づくアルゴリズムとともに「多様性条件」を提供する。
我々の境界は、時間的・状態的・行動的抽象化などのHRL文献に共通する概念を取り入れており、我々の設定と分析が実際にHRLの重要な特徴を捉えていることを示唆している。
論文 参考訳(メタデータ) (2021-10-18T17:56:02Z) - Hierarchical community structure in networks [1.9981375888949475]
本稿では,ネットワークにおける階層的コミュニティ構造に関する理論的研究を行う。
1) コミュニティ階層をどのように定義すべきか 2) ネットワークに階層構造の十分な証拠があるかどうかをどうやって判断するか?
論文 参考訳(メタデータ) (2020-09-15T16:18:26Z) - Temporal-adaptive Hierarchical Reinforcement Learning [7.571460904033682]
階層的強化学習(HRL)は、強化学習における大規模かつスパースな報酬問題に対処するのに役立つ。
本稿では,時相ゲートを用いて高レベル政策決定頻度を適応的に制御する,時相適応型階層型ポリシー学習(TEMPLE)構造を提案する。
TEMPLEの構造をPPOでトレーニングし、2次元の部屋、Mujocoタスク、Atariゲームを含む様々な環境で性能をテストする。
論文 参考訳(メタデータ) (2020-02-06T02:52:21Z) - Hierarchical Reinforcement Learning as a Model of Human Task
Interleaving [60.95424607008241]
我々は、強化学習によって駆動される監督制御の階層モデルを開発する。
このモデルは、タスクインターリービングの既知の経験的効果を再現する。
その結果、階層的RLがタスクインターリービングのもっともらしいモデルとして支持された。
論文 参考訳(メタデータ) (2020-01-04T17:53:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。