論文の概要: Efficient Hierarchical Exploration with Stable Subgoal Representation Learning

• arxiv url: http://arxiv.org/abs/2105.14750v1
• Date: Mon, 31 May 2021 07:28:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-01 17:43:30.642411
• Title: Efficient Hierarchical Exploration with Stable Subgoal Representation Learning
• Title（参考訳）: 安定部分表現学習による効率的な階層探索
• Authors: Siyuan Li, Jin Zhang, Jianhao Wang, Chongjie Zhang
• Abstract要約: 本研究では,よく探索された領域におけるサブゴール埋め込みを安定化する状態特異な正規化を提案する。 我々は、新しい有望なサブゴールや国家を積極的に追求する効率的な階層的な探索戦略を開発する。
• 参考スコア（独自算出の注目度）: 26.537055962523162
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Goal-conditioned hierarchical reinforcement learning (HRL) serves as a successful approach to solving complex and temporally extended tasks. Recently, its success has been extended to more general settings by concurrently learning hierarchical policies and subgoal representations. However, online subgoal representation learning exacerbates the non-stationary issue of HRL and introduces challenges for exploration in high-level policy learning. In this paper, we propose a state-specific regularization that stabilizes subgoal embeddings in well-explored areas while allowing representation updates in less explored state regions. Benefiting from this stable representation, we design measures of novelty and potential for subgoals, and develop an efficient hierarchical exploration strategy that actively seeks out new promising subgoals and states. Experimental results show that our method significantly outperforms state-of-the-art baselines in continuous control tasks with sparse rewards and further demonstrate the stability and efficiency of the subgoal representation learning of this work, which promotes superior policy learning.
• Abstract（参考訳）: 目標条件付き階層型強化学習(HRL)は、複雑で時間的に拡張されたタスクを解決するためのアプローチとして成功している。 近年、その成功は階層的なポリシーと下位表現を同時に学習することで、より一般的な設定にまで拡張されている。 しかし、オンラインサブゴナル表現学習はHRLの非定常問題を悪化させ、高レベルの政策学習における探索の課題を提起する。 本稿では,探索状態の少ない領域での表現更新を可能にしつつ,探索された領域でのサブゴール埋め込みを安定化する状態固有正規化を提案する。 この安定表現の恩恵を受け、新しさと潜在可能性の尺度を設計し、新しい有望なサブゴールと状態を積極的に探究する効率的な階層的探索戦略を開発する。 実験結果から,本手法は,疎度な報酬を伴う連続制御タスクにおける最先端のベースラインを著しく上回り,より優れた政策学習を促進するサブゴラル表現学習の安定性と効率性を示す。

関連論文リスト

• Landmark Guided Active Exploration with State-specific Balance Coefficient [4.539657469634845]
  目標条件付き値関数に基づいて,目標空間に計画を立てることにより,サブゴールの予測尺度を設計する。 本稿では,予測と新規性の尺度を統合することで,ランドマーク誘導型探査戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-30T08:54:47Z)
• Semantically Aligned Task Decomposition in Multi-Agent Reinforcement Learning [56.26889258704261]
  我々は,MARL(SAMA)における意味的アライズされたタスク分解という,新しい「不整合」意思決定手法を提案する。 SAMAは、潜在的な目標を示唆し、適切な目標分解とサブゴールアロケーションを提供するとともに、自己回帰に基づくリプランニングを提供する、チェーン・オブ・シントによる事前訓練された言語モデルを促進する。 SAMAは, 最先端のASG法と比較して, 試料効率に有意な優位性を示す。
  論文  参考訳（メタデータ） (2023-05-18T10:37:54Z)
• CRISP: Curriculum Inducing Primitive Informed Subgoal Prediction for Hierarchical Reinforcement Learning [25.84621883831624]
  我々は、低レベルのプリミティブを進化させるための達成可能なサブゴールのカリキュラムを生成する新しいHRLアルゴリズムであるCRISPを提案する。 CRISPは低レベルのプリミティブを使用して、少数の専門家によるデモンストレーションで定期的にデータレバーベリングを行う。 実世界のシナリオにおいてCRISPは印象的な一般化を示す。
  論文  参考訳（メタデータ） (2023-04-07T08:22:50Z)
• Imitating Graph-Based Planning with Goal-Conditioned Policies [72.61631088613048]
  本稿では,目標目標条件ポリシにサブゴール条件ポリシを蒸留する自己シミュレーション方式を提案する。 提案手法は,既存の目標条件付きRL手法のサンプル効率を大幅に向上させることができることを実証的に示す。
  論文  参考訳（メタデータ） (2023-03-20T14:51:10Z)
• Representation Learning for Continuous Action Spaces is Beneficial for Efficient Policy Learning [64.14557731665577]
  深部強化学習(DRL)は従来の強化学習(RL)のボトルネックを突破する 本稿では,潜在状態と行動空間における効率的なポリシー学習手法を提案する。 提案手法の有効性をMountainCar,CarRacing,Cheetah実験で実証した。
  論文  参考訳（メタデータ） (2022-11-23T19:09:37Z)
• Temporal Abstractions-Augmented Temporally Contrastive Learning: An Alternative to the Laplacian in RL [140.12803111221206]
  強化学習において、ラプラシアングラフはタスク非依存の設定において貴重なツールであることが証明されている。 そこで本研究では,非一様優先度設定において,ラプラシアン表現の表現性および所望の性質を回復可能な代替手法を提案する。 非一様条件のラプラシアンの代替として成功し、連続的な制御環境に挑戦する。
  論文  参考訳（メタデータ） (2022-03-21T22:07:48Z)
• Adversarially Guided Subgoal Generation for Hierarchical Reinforcement Learning [5.514236598436977]
  本稿では,低レベル政策の現在のインスタンス化に適合するサブゴールを生成するために,高レベル政策を反対に強制することで,非定常性を緩和する新たなHRL手法を提案する。 最先端のアルゴリズムを用いた実験により,本手法は様々な難易度連続制御タスクにおいて,HRLの学習効率と全体的な性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2022-01-24T12:30:38Z)
• Hierarchical Reinforcement Learning with Timed Subgoals [11.758625350317274]
  Timed Subgoals (HiTS) を用いた階層型強化学習の導入 HiTSはエージェントがどの目標状態に到達すべきか、いつ到達するかを指定することで、そのタイミングを動的環境に適応させることを可能にする。 実験により,既存の最先端のサブゴールベースHRL法が安定した解を学習できない場合,本手法はサンプル効率のよい学習が可能であることが確認された。
  論文  参考訳（メタデータ） (2021-12-06T15:11:19Z)
• A Deep Reinforcement Learning Approach to Marginalized Importance Sampling with the Successor Representation [61.740187363451746]
  マージナライズド・プライバシ・サンプリング(MIS)は、ターゲットポリシーのステートアクション占有率とサンプリング分布の密度比を測定する。 我々は,MISと深層強化学習のギャップを,目標方針の後継表現から密度比を計算することによって埋める。 我々は,Atari環境とMuJoCo環境に対するアプローチの実証的性能を評価した。
  論文  参考訳（メタデータ） (2021-06-12T20:21:38Z)
• Generating Adjacency-Constrained Subgoals in Hierarchical Reinforcement Learning [22.319208517053816]
  目標条件付き階層型強化学習(HRL)は、強化学習技術をスケールアップするための有望なアプローチである。 HRLは、高レベル、すなわちゴール空間のアクション空間がしばしば大きいため、トレーニングの非効率さに悩まされる。 動作空間上の制約は、現在の状態の$k$-stepの隣接領域に制限することで効果的に緩和できることを示す。
  論文  参考訳（メタデータ） (2020-06-20T03:34:45Z)
• Tree-Structured Policy based Progressive Reinforcement Learning for Temporally Language Grounding in Video [128.08590291947544]
  非トリミングビデオにおける一時的言語接地は、ビデオ理解における新たな課題である。 ヒトの粗大な意思決定パラダイムにインスパイアされた我々は、新しい木構造政策に基づくプログレッシブ強化学習フレームワークを定式化した。
  論文  参考訳（メタデータ） (2020-01-18T15:08:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。