論文の概要: Probabilistic Subgoal Representations for Hierarchical Reinforcement learning

• arxiv url: http://arxiv.org/abs/2406.16707v1
• Date: Mon, 24 Jun 2024 15:09:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 14:25:06.433061
• Title: Probabilistic Subgoal Representations for Hierarchical Reinforcement learning
• Title（参考訳）: 階層的強化学習のための確率的部分表現
• Authors: Vivienne Huiling Wang, Tinghuai Wang, Wenyan Yang, Joni-Kristian Kämäräinen, Joni Pajarinen,
• Abstract要約: 目標条件付き階層的強化学習において、ハイレベルポリシーは、低レベルポリシーが到達するためのサブゴールを指定する。 既存の方法では、状態空間から潜在サブゴール空間への決定論的マッピングを提供するサブゴール表現を採用している。 本稿では,潜在サブゴアル空間に先行するGPを用いて,サブゴアル表現関数上の後部分布を学習する。
• 参考スコア（独自算出の注目度）: 16.756888009396462
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In goal-conditioned hierarchical reinforcement learning (HRL), a high-level policy specifies a subgoal for the low-level policy to reach. Effective HRL hinges on a suitable subgoal represen tation function, abstracting state space into latent subgoal space and inducing varied low-level behaviors. Existing methods adopt a subgoal representation that provides a deterministic mapping from state space to latent subgoal space. Instead, this paper utilizes Gaussian Processes (GPs) for the first probabilistic subgoal representation. Our method employs a GP prior on the latent subgoal space to learn a posterior distribution over the subgoal representation functions while exploiting the long-range correlation in the state space through learnable kernels. This enables an adaptive memory that integrates long-range subgoal information from prior planning steps allowing to cope with stochastic uncertainties. Furthermore, we propose a novel learning objective to facilitate the simultaneous learning of probabilistic subgoal representations and policies within a unified framework. In experiments, our approach outperforms state-of-the-art baselines in standard benchmarks but also in environments with stochastic elements and under diverse reward conditions. Additionally, our model shows promising capabilities in transferring low-level policies across different tasks.
• Abstract（参考訳）: 目標条件付き階層的強化学習(HRL)では、ハイレベルポリシーは、到達すべき低レベルポリシーのサブゴールを指定する。 有効なHRLヒンジは、適度なサブゴアル・リレーゼン・テイション関数に基づいて、状態空間を潜在サブゴアル空間に抽象化し、様々な低レベルな振る舞いを誘導する。 既存の方法では、状態空間から潜在サブゴール空間への決定論的マッピングを提供するサブゴール表現を採用している。 代わりに、この論文はガウス過程(GP)を最初の確率的サブゴール表現に利用する。 提案手法では,潜在サブゴアル空間に先行するGPを用いて,学習可能なカーネルを通して状態空間の長距離相関を利用して,サブゴアル表現関数の後方分布を学習する。 これにより、事前の計画手順から長距離サブゴール情報を統合して確率的不確実性に対処するアダプティブメモリが実現される。 さらに,統一された枠組み内での確率的サブゴール表現とポリシーの同時学習を容易にするための新しい学習目標を提案する。 実験では, 標準ベンチマークや確率的要素を持つ環境, 様々な報酬条件下で, 最先端のベースラインよりも優れていた。 さらに、我々のモデルは、異なるタスク間で低レベルのポリシーを転送する有望な能力を示している。

関連論文リスト

• Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
  政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。 一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。 本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
  論文  参考訳（メタデータ） (2024-05-03T16:45:15Z)
• Foundation Policies with Hilbert Representations [54.44869979017766]
  ラベルなしオフラインデータから一般ポリシーを事前学習するための教師なしフレームワークを提案する。 我々の重要な洞察は、基盤となる環境の時間的構造を保存する構造的表現を学習することである。 実験の結果、教師なしのポリシーは、ゴール条件付きおよび一般のRLタスクをゼロショットで解決できることがわかった。
  論文  参考訳（メタデータ） (2024-02-23T19:09:10Z)
• Score-Aware Policy-Gradient Methods and Performance Guarantees using Local Lyapunov Conditions: Applications to Product-Form Stochastic Networks and Queueing Systems [1.747623282473278]
  本稿では,ネットワーク上の決定過程(MDP)から得られる定常分布のタイプを利用したモデル強化学習(RL)のポリシー段階的手法を提案する。 具体的には、政策パラメータによってMDPの定常分布がパラメータ化されている場合、平均回帰推定のための既存の政策手法を改善することができる。
  論文  参考訳（メタデータ） (2023-12-05T14:44:58Z)
• HIQL: Offline Goal-Conditioned RL with Latent States as Actions [81.67963770528753]
  オフラインデータからゴール条件付きRLの階層的アルゴリズムを提案する。 この階層的な分解によって、推定値関数のノイズに頑健になることを示す。 提案手法は,従来の手法を巧みに操り,高次元画像観察にスケールできるとともに,アクションフリーなデータを容易に利用することができる。
  論文  参考訳（メタデータ） (2023-07-22T00:17:36Z)
• Goal-Conditioned Imitation Learning using Score-based Diffusion Policies [3.49482137286472]
  スコアベース拡散モデル(SDM)に基づく新しいポリシー表現を提案する。 我々はゴール・コンディションド・イミテーション・ラーニング(GCIL)の領域に新しい政策表現を適用した。 直感的なガイダンスを用いて,遊びデータから目標に依存しないポリシーを学習するためにBESOをどのように利用できるかを示す。
  論文  参考訳（メタデータ） (2023-04-05T15:52:34Z)
• Imitating Graph-Based Planning with Goal-Conditioned Policies [72.61631088613048]
  本稿では,目標目標条件ポリシにサブゴール条件ポリシを蒸留する自己シミュレーション方式を提案する。 提案手法は,既存の目標条件付きRL手法のサンプル効率を大幅に向上させることができることを実証的に示す。
  論文  参考訳（メタデータ） (2023-03-20T14:51:10Z)
• Planning to Practice: Efficient Online Fine-Tuning by Composing Goals in Latent Space [76.46113138484947]
  汎用ロボットは、現実世界の非構造環境において困難なタスクを完了するために、多様な行動レパートリーを必要とする。 この問題に対処するため、目標条件強化学習は、コマンド上の幅広いタスクの目標に到達可能なポリシーを取得することを目的としている。 本研究では,長期的課題に対する目標条件付き政策を実践的に訓練する手法であるPlanning to Practiceを提案する。
  論文  参考訳（メタデータ） (2022-05-17T06:58:17Z)
• Interpretable Reinforcement Learning with Multilevel Subgoal Discovery [77.34726150561087]
  離散環境のための新しい強化学習モデルを提案する。 モデルでは、エージェントは確率的ルールの形で環境に関する情報を学習する。 学習には報酬関数は不要であり、エージェントは達成するための第一の目標のみを与える必要がある。
  論文  参考訳（メタデータ） (2022-02-15T14:04:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。