Fugu-MT 論文翻訳(概要): Bidirectional-Reachable Hierarchical Reinforcement Learning with Mutually Responsive Policies

論文の概要: Bidirectional-Reachable Hierarchical Reinforcement Learning with Mutually Responsive Policies

arxiv url: http://arxiv.org/abs/2406.18053v1
Date: Wed, 26 Jun 2024 04:05:04 GMT
ステータス: 処理完了
システム内更新日: 2024-06-27 14:38:19.391552
Title: Bidirectional-Reachable Hierarchical Reinforcement Learning with Mutually Responsive Policies
Title（参考訳）: 相互対応型階層型強化学習
Authors: Yu Luo, Fuchun Sun, Tianying Ji, Xianyuan Zhan,
Abstract要約: 階層強化学習(HRL)は、それらをサブゴールに分解することで複雑な長距離タスクに対処する。本稿では,計算効率も向上する単純かつ効果的なアルゴリズムである双方向到達型階層型ポリシー最適化(BrHPO)を提案する。様々な長期タスクの実験結果からは、BrHPOは他の最先端のHRLベースラインよりも優れており、探索効率と堅牢性が著しく高いことが示されている。
参考スコア（独自算出の注目度）: 26.915223518488016
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Hierarchical reinforcement learning (HRL) addresses complex long-horizon tasks by skillfully decomposing them into subgoals. Therefore, the effectiveness of HRL is greatly influenced by subgoal reachability. Typical HRL methods only consider subgoal reachability from the unilateral level, where a dominant level enforces compliance to the subordinate level. However, we observe that when the dominant level becomes trapped in local exploration or generates unattainable subgoals, the subordinate level is negatively affected and cannot follow the dominant level's actions. This can potentially make both levels stuck in local optima, ultimately hindering subsequent subgoal reachability. Allowing real-time bilateral information sharing and error correction would be a natural cure for this issue, which motivates us to propose a mutual response mechanism. Based on this, we propose the Bidirectional-reachable Hierarchical Policy Optimization (BrHPO)--a simple yet effective algorithm that also enjoys computation efficiency. Experiment results on a variety of long-horizon tasks showcase that BrHPO outperforms other state-of-the-art HRL baselines, coupled with a significantly higher exploration efficiency and robustness.
Abstract（参考訳）: 階層強化学習(HRL)は、それらを巧みにサブゴールに分解することで複雑な長距離タスクに対処する。したがって,HRLの有効性はサブゴール到達性に大きく影響される。典型的なHRL法は、支配的なレベルが従属レベルへのコンプライアンスを強制する一方的なレベルからの下位到達性のみを考慮する。しかし,本研究では,支配層が局所探査に閉じ込められたり,到達不能なサブゴールが発生すると,従属層は負の影響を受け,支配層の行動に従わなくなることを観察する。これにより、両方のレベルが局所的な最適状態に留まり、最終的には後続のサブゴール到達性を阻害する可能性がある。リアルタイムの双方向情報共有と誤り訂正は,この問題の自然な治療法であり,相互対応機構を提案する動機となる。そこで本研究では,両方向対応型階層型ポリシー最適化 (BrHPO) を提案する。様々な長期タスクの実験結果から、BrHPOは他の最先端HRLベースラインよりも優れており、探索効率と堅牢性が著しく高いことが示されている。

関連論文リスト

Hierarchical Preference Optimization: Learning to achieve goals via feasible subgoals prediction [71.81851971324187]
本研究は階層型強化学習(HRL)の新しいアプローチである階層型優先度最適化(HPO)を導入する。 HPOは、複雑なロボット制御タスクを解く際に、非定常性と非実用的なサブゴール生成の問題に対処する。挑戦的なロボットナビゲーションと操作タスクの実験はHPOの素晴らしいパフォーマンスを示しており、ベースラインよりも最大35%改善されている。
論文参考訳（メタデータ） (2024-11-01T04:58:40Z)
Principled Penalty-based Methods for Bilevel Reinforcement Learning and RLHF [82.73541793388]
本稿では, ペナルティ定式化のレンズによる二レベルRL問題の解法として, 第一原理のアルゴリズムフレームワークを提案する。本稿では,問題景観とそのペナルティに基づく勾配(政治)アルゴリズムについて理論的研究を行う。シミュレーションによるアルゴリズムの有効性を,Stackelberg Markovゲーム,人間からのフィードバックとインセンティブ設計によるRLで実証する。
論文参考訳（メタデータ） (2024-02-10T04:54:15Z)
Guided Cooperation in Hierarchical Reinforcement Learning via Model-based Rollout [16.454305212398328]
モデルベースロールアウト(GCMR)を用いたガイド協調という,目標条件付き階層型強化学習(HRL)フレームワークを提案する。 GCMRは、フォワードダイナミクスを利用して層間情報同期と協調をブリッジすることを目的としている。実験により,提案したGCMRフレームワークをHIGLのアンタングル変種(ACLG)に組み込むことにより,より安定かつ堅牢な政策改善が得られた。
論文参考訳（メタデータ） (2023-09-24T00:13:16Z)
Emergency action termination for immediate reaction in hierarchical reinforcement learning [8.637919344171255]
本研究では,高レベル行動(低レベル目標)の有効性を常に高いレベルで検証する手法を提案する。アクション、すなわち低レベルのゴールが不十分になった場合、より適切なアクションに置き換えられる。このようにして、高速トレーニングである階層的RLと、即時反応性であるフラットなRLの利点を組み合わせる。
論文参考訳（メタデータ） (2022-11-11T16:56:02Z)
Adversarially Guided Subgoal Generation for Hierarchical Reinforcement Learning [5.514236598436977]
本稿では,低レベル政策の現在のインスタンス化に適合するサブゴールを生成するために,高レベル政策を反対に強制することで,非定常性を緩和する新たなHRL手法を提案する。最先端のアルゴリズムを用いた実験により,本手法は様々な難易度連続制御タスクにおいて,HRLの学習効率と全体的な性能を著しく向上することが示された。
論文参考訳（メタデータ） (2022-01-24T12:30:38Z)
Adjacency constraint for efficient hierarchical reinforcement learning [25.15808501708926]
目標条件強化学習(HRL)は、強化学習(RL)技術をスケールアップするための有望なアプローチである。 HRLは、高レベル、すなわちゴール空間のアクション空間が大きいため、トレーニングの非効率さに悩まされることが多い。本研究では,高レベル動作空間を現在の状態の隣接する領域$k$-stepに制限することにより,この問題を効果的に緩和できることを示す。
論文参考訳（メタデータ） (2021-10-30T09:26:45Z)
Landmark-Guided Subgoal Generation in Hierarchical Reinforcement Learning [64.97599673479678]
ランドマークによる階層的強化学習(HIGL)について紹介する。 HIGLは、ランドマークでガイドされたアクションスペースを削減した、ハイレベルなポリシーをトレーニングするための新しいフレームワークである。我々の実験は、我々のフレームワークが様々な制御タスクで先行技術より優れていることを示した。
論文参考訳（メタデータ） (2021-10-26T12:16:19Z)
Provable Hierarchy-Based Meta-Reinforcement Learning [50.17896588738377]
HRLをメタRL設定で解析し、下流タスクで使用するメタトレーニング中に学習者が潜在階層構造を学習する。我々は、この自然階層の標本効率の回復を保証し、抽出可能な楽観主義に基づくアルゴリズムとともに「多様性条件」を提供する。我々の境界は、時間的・状態的・行動的抽象化などのHRL文献に共通する概念を取り入れており、我々の設定と分析が実際にHRLの重要な特徴を捉えていることを示唆している。
論文参考訳（メタデータ） (2021-10-18T17:56:02Z)
SUNRISE: A Simple Unified Framework for Ensemble Learning in Deep Reinforcement Learning [102.78958681141577]
SUNRISEは単純な統一アンサンブル法であり、様々な非政治的な深層強化学習アルゴリズムと互換性がある。 SUNRISEは, (a) アンサンブルに基づく重み付きベルマンバックアップと, (b) 最上位の自信境界を用いて行動を選択する推論手法を統合し, 効率的な探索を行う。
論文参考訳（メタデータ） (2020-07-09T17:08:44Z)
Generating Adjacency-Constrained Subgoals in Hierarchical Reinforcement Learning [22.319208517053816]
目標条件付き階層型強化学習(HRL)は、強化学習技術をスケールアップするための有望なアプローチである。 HRLは、高レベル、すなわちゴール空間のアクション空間がしばしば大きいため、トレーニングの非効率さに悩まされる。動作空間上の制約は、現在の状態の$k$-stepの隣接領域に制限することで効果的に緩和できることを示す。
論文参考訳（メタデータ） (2020-06-20T03:34:45Z)
Robust Deep Reinforcement Learning against Adversarial Perturbations on State Observations [88.94162416324505]
深部強化学習(DRL)エージェントは、自然な測定誤差や対向雑音を含む観測を通して、その状態を観察する。観測は真の状態から逸脱するので、エージェントを誤解させ、準最適行動を起こすことができる。本研究は, 従来の手法を, 対人訓練などの分類タスクの堅牢性向上に応用することは, 多くのRLタスクには有効でないことを示す。
論文参考訳（メタデータ） (2020-03-19T17:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。