論文の概要: Meta-Learning Integration in Hierarchical Reinforcement Learning for Advanced Task Complexity

• arxiv url: http://arxiv.org/abs/2410.07921v1
• Date: Thu, 10 Oct 2024 13:47:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 14:06:15.957330
• Title: Meta-Learning Integration in Hierarchical Reinforcement Learning for Advanced Task Complexity
• Title（参考訳）: タスク複雑度向上のための階層型強化学習におけるメタラーニング統合
• Authors: Arash Khajooeinejad, Masoumeh Chapariniya,
• Abstract要約: 階層強化学習(HRL)は、それらを構造化されたポリシーに分解することで、複雑なタスクに効果的に取り組む。 我々は、メタラーニングをHRLに統合し、エージェントの学習能力を高め、階層的な政策を迅速に適応させる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Hierarchical Reinforcement Learning (HRL) effectively tackles complex tasks by decomposing them into structured policies. However, HRL agents often face challenges with efficient exploration and rapid adaptation. To address this, we integrate meta-learning into HRL to enhance the agent's ability to learn and adapt hierarchical policies swiftly. Our approach employs meta-learning for rapid task adaptation based on prior experience, while intrinsic motivation mechanisms encourage efficient exploration by rewarding novel state visits. Specifically, our agent uses a high-level policy to select among multiple low-level policies operating within custom grid environments. We utilize gradient-based meta-learning with differentiable inner-loop updates, enabling optimization across a curriculum of increasingly difficult tasks. Experimental results demonstrate that our meta-learned hierarchical agent significantly outperforms traditional HRL agents without meta-learning and intrinsic motivation. The agent exhibits accelerated learning, higher cumulative rewards, and improved success rates in complex grid environments. These findings suggest that integrating meta-learning with HRL, alongside curriculum learning and intrinsic motivation, substantially enhances the agent's capability to handle complex tasks.
• Abstract（参考訳）: 階層強化学習(HRL)は、それらを構造化されたポリシーに分解することで、複雑なタスクに効果的に取り組む。 しかし、HRLエージェントは、しばしば効率的な探索と迅速な適応の課題に直面している。 これを解決するために,メタラーニングをHRLに統合し,エージェントの学習能力を高め,階層的な政策を迅速に適用する。 本手法では,メタラーニングを先行経験に基づく迅速なタスク適応に応用し,本質的なモチベーションメカニズムは新規訪問の報奨によって効率的な探索を促進する。 具体的には、当社のエージェントは、カスタムグリッド環境で動作する複数の低レベルポリシーを選択するために、高レベルポリシーを使用します。 我々は、勾配に基づくメタラーニングとインナーループ更新を併用し、ますます困難なタスクのカリキュラム間で最適化を可能にする。 実験の結果,メタラーニングや本質的な動機づけを伴わずに従来のHRLエージェントより有意に優れていた。 エージェントは、学習の加速、累積報酬の向上、複雑なグリッド環境における成功率の向上を示す。 これらの結果から,カリキュラム学習と本質的モチベーションとともに,メタラーニングとHRLを統合することで,複雑なタスクを処理できるエージェントの能力が大幅に向上することが示唆された。

関連論文リスト

• From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
  本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。 エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T10:35:11Z)
• RL-GPT: Integrating Reinforcement Learning and Code-as-policy [82.1804241891039]
  本稿では,低速エージェントと高速エージェントからなる2レベル階層型フレームワークRL-GPTを提案する。 遅いエージェントはコーディングに適したアクションを分析し、速いエージェントはコーディングタスクを実行する。 この分解は、各エージェントが特定のタスクに効果的に集中し、パイプライン内で非常に効率的なことを証明します。
  論文  参考訳（メタデータ） (2024-02-29T16:07:22Z)
• Hierarchical Transformers are Efficient Meta-Reinforcement Learners [19.79721574250755]
  本稿では,メタ強化学習のための階層型トランスフォーマー(HTrMRL)について紹介する。 過去のエピソードが豊富な情報源としてどのように機能するかを実証し、我々のモデルは効果的に蒸留し、新しい文脈に適用する。
  論文  参考訳（メタデータ） (2024-02-09T13:40:11Z)
• Hierarchical Continual Reinforcement Learning via Large Language Model [15.837883929274758]
  Hi-Coreはハイレベルな知識の伝達を容易にするように設計されている。 大規模言語モデル(LLM)による高レベルポリシー定式化 Hi-Coreは様々なCRLタスクの処理の有効性を示しており、一般的なベースラインを上回っている。
  論文  参考訳（メタデータ） (2024-01-25T03:06:51Z)
• Imagination-Augmented Hierarchical Reinforcement Learning for Safe and Interactive Autonomous Driving in Urban Environments [21.30432408940134]
  階層的強化学習(HRL)は時間的抽象化を強化学習(RL)に組み込む 本稿では, 効率よく想像力を統合できる HRL (Imagimation-augmented HRL) を提案する。 IAHRLは、エージェントが安全で対話的な行動を実行し、成功率を高め、ベースラインよりも平均エピソードステップを低くすることができる。
  論文  参考訳（メタデータ） (2023-11-17T03:41:22Z)
• BiERL: A Meta Evolutionary Reinforcement Learning Framework via Bilevel Optimization [34.24884427152513]
  双レベル最適化(BiERL)による一般的なメタERLフレームワークを提案する。 我々は、内部レベルの進化した経験を情報的人口表現に組み込むエレガントなメタレベルアーキテクチャを設計する。 我々は MuJoCo と Box2D タスクの広範な実験を行い、一般的なフレームワークとして BiERL が様々なベースラインを上回り、ERL アルゴリズムの多様性の学習性能を一貫して向上することを検証する。
  論文  参考訳（メタデータ） (2023-08-01T09:31:51Z)
• On the Effectiveness of Fine-tuning Versus Meta-reinforcement Learning [71.55412580325743]
  本稿では,新しいタスクを微調整したマルチタスク事前学習がメタテスト時間適応によるメタ事前学習と同等かそれ以上に機能することを示す。 マルチタスク事前学習はメタRLよりもシンプルで計算的に安価である傾向があるため、これは将来の研究を奨励している。
  論文  参考訳（メタデータ） (2022-06-07T13:24:00Z)
• Dynamics Generalization via Information Bottleneck in Deep Reinforcement Learning [90.93035276307239]
  本稿では,RLエージェントのより優れた一般化を実現するために,情報理論正則化目標とアニーリングに基づく最適化手法を提案する。 迷路ナビゲーションからロボットタスクまで、さまざまな領域において、我々のアプローチの極端な一般化の利点を実証する。 この研究は、タスク解決のために冗長な情報を徐々に取り除き、RLの一般化を改善するための原則化された方法を提供する。
  論文  参考訳（メタデータ） (2020-08-03T02:24:20Z)
• MetaCURE: Meta Reinforcement Learning with Empowerment-Driven Exploration [52.48362697163477]
  実験により,我々のメタRL法はスパース・リワードタスクにおける最先端のベースラインを著しく上回ることがわかった。 本稿では,活用政策学習とは切り離されたメタRLの探索政策学習問題をモデル化する。 我々は、コンテキスト対応の探索と利用ポリシーを効率よく学習する、新しい非政治メタRLフレームワークを開発する。
  論文  参考訳（メタデータ） (2020-06-15T06:56:18Z)
• Meta Reinforcement Learning with Autonomous Inference of Subtask Dependencies [57.27944046925876]
  本稿では,タスクがサブタスクグラフによって特徴づけられるような,新しい数発のRL問題を提案し,対処する。 メタ政治を直接学習する代わりに、Subtask Graph Inferenceを使ったメタラーナーを開発した。 実験の結果,2つのグリッドワールド領域とStarCraft II環境において,提案手法が潜在タスクパラメータを正確に推定できることが確認された。
  論文  参考訳（メタデータ） (2020-01-01T17:34:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。