論文の概要: Sample Efficient Hierarchical Reinforcement Learning via Best Policy Identification

• arxiv url: http://arxiv.org/abs/2607.29294v1
• Date: Fri, 31 Jul 2026 11:12:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-03 16:35:22.228425
• Title: Sample Efficient Hierarchical Reinforcement Learning via Best Policy Identification
• Title（参考訳）: ベストポリシー同定による高能率階層強化学習
• Abstract要約: 本稿では,階層的強化学習(HRL)のためのモデルベースアルゴリズムであるHBPI-UCRLについて述べる。 スパース・リワード,ゴール指向の設定では,HBPI-UCRLのサンプル上限は非階層的よりも厳格に低い。
• 参考スコア（独自算出の注目度）: 11.621402971675835
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We present HBPI-UCRL, a model-based algorithm for hierarchical reinforcement learning (HRL) that learns high-level and low-level policies in parallel. HBPI-UCRL exploits the fact that a high-level transition corresponds to a multi-step transition at the low level. We introduce two conditions on the low-level dynamics that are sufficient to make parallel HRL learnable. When these conditions hold, we prove that HBPI-UCRL has a polynomial sample complexity in the problem parameters. In the sparse-reward, goal-directed setting, our sample complexity upper bound for HBPI-UCRL is strictly lower than that of its non-hierarchical counterpart, providing theoretical justification for the empirical success of HRL.
• Abstract（参考訳）: 本稿では,階層的強化学習(HRL)のためのモデルベースアルゴリズムであるHBPI-UCRLについて述べる。 HBPI-UCRLは、高レベルの遷移が低レベルの多段階遷移に対応するという事実を利用する。 並列HRLを学習するのに十分な低レベル力学について2つの条件を導入する。 これらの条件が成り立つと、HBPI-UCRLが問題パラメータに多項式サンプルの複雑さを持つことが証明される。 HBPI-UCRLのサンプル複雑性上限は,スパース・リワード,ゴール指向の設定において,HBPI-UCRLの非階層性よりも厳密に低く,HRLの実証的成功を理論的に正当化する。

関連論文リスト

• Hypergradient-based Bilevel Reinforcement Learning with Improved Sample Complexity [44.384258745074646]
  エントロピー正規化割引RL目的関数に対するボルツマン則の最適性を用いた過次二レベルRLアルゴリズムを提案する。 提案アルゴリズムは Hessian-free であり,O(-1)$ の反復複雑性と tildeO(-2)$ の最先端サンプル複雑性を得る。
  論文  参考訳（メタデータ） (2026-07-30T21:21:52Z)
• Sample Complexity Analysis for Constrained Bilevel Reinforcement Learning [47.66330599017582]
  制約付き2レベルRLアルゴリズムのサンプル複雑性を解析し、制約なし設定の進捗状況に基づいて構築する。 我々は、一般パラメータ化ポリシーに基づくRLアルゴリズムを非滑らかな目的関数で解析する最初の人である。
  論文  参考訳（メタデータ） (2026-01-30T20:10:21Z)
• Sample-Efficient Neurosymbolic Deep Reinforcement Learning [49.60927398960061]
  本稿では,背景記号知識を統合し,サンプル効率を向上させるニューロシンボリックディープRL手法を提案する。 オンライン推論は2つのメカニズムを通じてトレーニングプロセスのガイドを行う。 我々は、最先端の報奨機ベースラインよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2026-01-06T09:28:53Z)
• Direct Preference Optimization for Primitive-Enabled Hierarchical Reinforcement Learning [75.9729413703531]
  DIPPERは階層的な政策学習を二段階最適化問題として定式化する新しいHRLフレームワークである。 DIPPERは、スパース報酬シナリオにおいて、最先端のベースラインよりも最大40%改善されていることを示す。
  論文  参考訳（メタデータ） (2024-11-01T04:58:40Z)
• Bilevel reinforcement learning via the development of hyper-gradient without lower-level convexity [4.917399520581689]
  2段階強化学習 (RL) は2段階間問題を特徴とする。 非レベル凸情報は、双レベル最適化手法を開発する上での障害である。 ハイパーグラディエント(Hyper-gradient)は、エクスプロイトと探索の統合として機能する。
  論文  参考訳（メタデータ） (2024-05-30T05:24:20Z)
• REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
  生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。 理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。 我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
  論文  参考訳（メタデータ） (2024-04-25T17:20:45Z)
• DHRL: A Graph-Based Approach for Long-Horizon and Sparse Hierarchical Reinforcement Learning [26.973783464706447]
  階層強化学習(HRL)は、時間的抽象化を利用して複雑な制御タスクに顕著な進歩をもたらした。 従来のHRLアルゴリズムは、環境が大きくなるにつれて深刻なデータ非効率に悩まされることが多い。 本稿では,階層型強化学習(DHRL)におけるグラフを用いたホライズン分離手法を提案する。
  論文  参考訳（メタデータ） (2022-10-11T05:09:34Z)
• Hierarchical Reinforcement Learning with Optimal Level Synchronization based on a Deep Generative Model [4.266866385061998]
  HRLの問題のひとつは、それぞれのレベルポリシーを、その経験から最適なデータ収集でトレーニングする方法です。 本稿では,高次生成モデルを用いたオフポリシー補正手法を用いて,最適レベルの同期をサポートする新しいHRLモデルを提案する。
  論文  参考訳（メタデータ） (2021-07-17T05:02:25Z)
• Combining Pessimism with Optimism for Robust and Efficient Model-Based Deep Reinforcement Learning [56.17667147101263]
  実世界のタスクでは、強化学習エージェントはトレーニング中に存在しない状況に遭遇する。 信頼性を確保するため、RLエージェントは最悪の状況に対して堅牢性を示す必要がある。 本稿では,Robust Hallucinated Upper-Confidence RL (RH-UCRL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-18T16:50:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。