論文の概要: Boosting Hierarchical Reinforcement Learning with Meta-Learning for Complex Task Adaptation
- arxiv url: http://arxiv.org/abs/2410.07921v2
- Date: Fri, 14 Mar 2025 18:52:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-18 12:34:43.105094
- Title: Boosting Hierarchical Reinforcement Learning with Meta-Learning for Complex Task Adaptation
- Title（参考訳）: 複雑なタスク適応のためのメタラーニングによる階層的強化学習の促進
- Authors: Arash Khajooeinejad, Fatemeh Sadat Masoumi, Masoumeh Chapariniya,
- Abstract要約: 階層強化学習(HRL)は、それらを構造化されたポリシーに分解することで複雑なタスクを解決するのに適している。
エージェントが階層的なポリシーをより効果的に学習し、適応できるように、メタラーニングをHRLに統合することを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Hierarchical Reinforcement Learning (HRL) is well-suitedd for solving complex tasks by breaking them down into structured policies. However, HRL agents often struggle with efficient exploration and quick adaptation. To overcome these limitations, we propose integrating meta-learning into HRL to enable agents to learn and adapt hierarchical policies more effectively. Our method leverages meta-learning to facilitate rapid task adaptation using prior experience, while intrinsic motivation mechanisms drive efficient exploration by rewarding the discovery of novel states. Specifically, our agent employs a high-level policy to choose among multiple low-level policies within custom-designed grid environments. By incorporating gradient-based meta-learning with differentiable inner-loop updates, we optimize performance across a curriculum of progressively challenging tasks. Experimental results highlight that our metalearning-enhanced hierarchical agent significantly outperforms standard HRL approaches lacking meta-learning and intrinsic motivation. The agent demonstrates faster learning, greater cumulative rewards, and higher success rates in complex grid-based scenarios. These Findings underscore the effectiveness of combining meta-learning, curriculum learning, and intrinsic motivation to enhance the capability of HRL agents in tackling complex tasks.
- Abstract（参考訳）: 階層強化学習(HRL)は、複雑なタスクを構造化されたポリシーに分解することで解決するのに適している。
しかし、HRLエージェントは、しばしば効率的な探索と迅速な適応に苦しむ。
これらの制限を克服するため、エージェントが階層的なポリシーをより効果的に学習し、適応できるように、メタラーニングをHRLに統合することを提案する。
本手法はメタラーニングを利用して,従来の経験を生かした迅速なタスク適応を実現する一方で,本質的なモチベーションメカニズムは,新しい状態の発見に報いることによって,効率的な探索を促進する。
具体的には、カスタマイズされたグリッド環境内で複数の低レベルポリシーを選択するために、エージェントが高レベルポリシーを採用する。
勾配に基づくメタラーニングを異なるインナーループ更新に組み込むことで、段階的に困難なタスクのカリキュラム全体のパフォーマンスを最適化する。
実験の結果,メタラーニングによる階層的エージェントは,メタラーニングや本質的なモチベーションが欠如している標準的なHRLアプローチよりも優れていた。
このエージェントは、複雑なグリッドベースのシナリオにおいて、学習の高速化、累積報酬の増大、そしてより高い成功率を示す。
これらの発見は、メタラーニング、カリキュラムラーニング、本質的なモチベーションを組み合わせることで、複雑なタスクに対処するHRLエージェントの能力を高める効果を浮き彫りにしている。
関連論文リスト
- From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。
エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
論文 参考訳（メタデータ） (2024-11-06T10:35:11Z) - RL-GPT: Integrating Reinforcement Learning and Code-as-policy [82.1804241891039]
本稿では,低速エージェントと高速エージェントからなる2レベル階層型フレームワークRL-GPTを提案する。
遅いエージェントはコーディングに適したアクションを分析し、速いエージェントはコーディングタスクを実行する。
この分解は、各エージェントが特定のタスクに効果的に集中し、パイプライン内で非常に効率的なことを証明します。
論文 参考訳（メタデータ） (2024-02-29T16:07:22Z) - Hierarchical Transformers are Efficient Meta-Reinforcement Learners [19.79721574250755]
本稿では,メタ強化学習のための階層型トランスフォーマー(HTrMRL)について紹介する。
過去のエピソードが豊富な情報源としてどのように機能するかを実証し、我々のモデルは効果的に蒸留し、新しい文脈に適用する。
論文 参考訳（メタデータ） (2024-02-09T13:40:11Z) - Hierarchical Continual Reinforcement Learning via Large Language Model [15.837883929274758]
Hi-Coreはハイレベルな知識の伝達を容易にするように設計されている。
大規模言語モデル(LLM)による高レベルポリシー定式化
Hi-Coreは様々なCRLタスクの処理の有効性を示しており、一般的なベースラインを上回っている。
論文 参考訳（メタデータ） (2024-01-25T03:06:51Z) - Imagination-Augmented Hierarchical Reinforcement Learning for Safe and
Interactive Autonomous Driving in Urban Environments [21.30432408940134]
階層的強化学習(HRL)は時間的抽象化を強化学習(RL)に組み込む
本稿では, 効率よく想像力を統合できる HRL (Imagimation-augmented HRL) を提案する。
IAHRLは、エージェントが安全で対話的な行動を実行し、成功率を高め、ベースラインよりも平均エピソードステップを低くすることができる。
論文 参考訳（メタデータ） (2023-11-17T03:41:22Z) - BiERL: A Meta Evolutionary Reinforcement Learning Framework via Bilevel
Optimization [34.24884427152513]
双レベル最適化(BiERL)による一般的なメタERLフレームワークを提案する。
我々は、内部レベルの進化した経験を情報的人口表現に組み込むエレガントなメタレベルアーキテクチャを設計する。
我々は MuJoCo と Box2D タスクの広範な実験を行い、一般的なフレームワークとして BiERL が様々なベースラインを上回り、ERL アルゴリズムの多様性の学習性能を一貫して向上することを検証する。
論文 参考訳（メタデータ） (2023-08-01T09:31:51Z) - PEAR: Primitive Enabled Adaptive Relabeling for Boosting Hierarchical Reinforcement Learning [25.84621883831624]
階層的強化学習(HRL)は、時間的抽象化と探索の増大により、複雑な長い地平線タスクを解く可能性がある。
プリミティブ・アダプティブ・アダプティブ・レバーベリング(PEAR)を提案する。
まず,いくつかの専門家による実験を適応的に実施し,効率的なサブゴール管理を実現する。
次に、強化学習(RL)と模倣学習(IL)を併用してHRLエージェントを共同最適化する。
論文 参考訳（メタデータ） (2023-06-10T09:41:30Z) - On the Effectiveness of Fine-tuning Versus Meta-reinforcement Learning [71.55412580325743]
本稿では,新しいタスクを微調整したマルチタスク事前学習がメタテスト時間適応によるメタ事前学習と同等かそれ以上に機能することを示す。
マルチタスク事前学習はメタRLよりもシンプルで計算的に安価である傾向があるため、これは将来の研究を奨励している。
論文 参考訳（メタデータ） (2022-06-07T13:24:00Z) - Dynamics Generalization via Information Bottleneck in Deep Reinforcement
Learning [90.93035276307239]
本稿では,RLエージェントのより優れた一般化を実現するために,情報理論正則化目標とアニーリングに基づく最適化手法を提案する。
迷路ナビゲーションからロボットタスクまで、さまざまな領域において、我々のアプローチの極端な一般化の利点を実証する。
この研究は、タスク解決のために冗長な情報を徐々に取り除き、RLの一般化を改善するための原則化された方法を提供する。
論文 参考訳（メタデータ） (2020-08-03T02:24:20Z) - MetaCURE: Meta Reinforcement Learning with Empowerment-Driven
Exploration [52.48362697163477]
実験により,我々のメタRL法はスパース・リワードタスクにおける最先端のベースラインを著しく上回ることがわかった。
本稿では,活用政策学習とは切り離されたメタRLの探索政策学習問題をモデル化する。
我々は、コンテキスト対応の探索と利用ポリシーを効率よく学習する、新しい非政治メタRLフレームワークを開発する。
論文 参考訳（メタデータ） (2020-06-15T06:56:18Z) - Meta Reinforcement Learning with Autonomous Inference of Subtask
Dependencies [57.27944046925876]
本稿では,タスクがサブタスクグラフによって特徴づけられるような,新しい数発のRL問題を提案し,対処する。
メタ政治を直接学習する代わりに、Subtask Graph Inferenceを使ったメタラーナーを開発した。
実験の結果,2つのグリッドワールド領域とStarCraft II環境において,提案手法が潜在タスクパラメータを正確に推定できることが確認された。
論文 参考訳（メタデータ） (2020-01-01T17:34:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。