論文の概要: Abstract Value Iteration for Hierarchical Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2010.15638v2
- Date: Thu, 25 Feb 2021 07:12:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-01 23:19:02.361936
- Title: Abstract Value Iteration for Hierarchical Reinforcement Learning
- Title（参考訳）: 階層的強化学習のための抽象値反復法
- Authors: Kishor Jothimurugan, Osbert Bastani and Rajeev Alur
- Abstract要約: 本研究では,連続状態と行動空間による制御のための階層型強化学習フレームワークを提案する。
重要な課題は、ADPがマルコフではなく、ADPで計画するための2つのアルゴリズムを提案することである。
我々の手法は、いくつかの挑戦的なベンチマークにおいて、最先端の階層的強化学習アルゴリズムより優れています。
- 参考スコア（独自算出の注目度）: 23.08652058034536
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a novel hierarchical reinforcement learning framework for control
with continuous state and action spaces. In our framework, the user specifies
subgoal regions which are subsets of states; then, we (i) learn options that
serve as transitions between these subgoal regions, and (ii) construct a
high-level plan in the resulting abstract decision process (ADP). A key
challenge is that the ADP may not be Markov, which we address by proposing two
algorithms for planning in the ADP. Our first algorithm is conservative,
allowing us to prove theoretical guarantees on its performance, which help
inform the design of subgoal regions. Our second algorithm is a practical one
that interweaves planning at the abstract level and learning at the concrete
level. In our experiments, we demonstrate that our approach outperforms
state-of-the-art hierarchical reinforcement learning algorithms on several
challenging benchmarks.
- Abstract（参考訳）: 本研究では,連続状態と行動空間による制御のための階層型強化学習フレームワークを提案する。
私たちのフレームワークでは、状態のサブセットであるサブゴール領域をユーザが指定します。
i)これらの下位領域間の遷移として機能する選択肢を学習し、
(II)結果の抽象的決定プロセス(ADP)において、ハイレベルな計画を構築する。
重要な課題は、ADPがマルコフではなく、ADPで計画するための2つのアルゴリズムを提案することである。
私たちの最初のアルゴリズムは保守的で、その性能に関する理論的保証を証明できます。
第2のアルゴリズムは,計画を抽象レベルで織り込み,具体的レベルで学習する実践的な手法である。
実験では,提案手法がいくつかの挑戦的ベンチマークにおいて,最先端の階層的強化学習アルゴリズムより優れていることを示す。
関連論文リスト
- A Provably Efficient Option-Based Algorithm for both High-Level and Low-Level Learning [54.20447310988282]
異なる(高低と高低の)時間的抽象化において,後悔最小化アルゴリズムのメタアルゴリズムを交互に提案する。
高いレベルでは、半マルコフ決定プロセス(SMDP)として、固定された低レベルポリシーで、低いレベルでは内部オプションポリシーを固定された高レベルポリシーで学習する。
論文 参考訳（メタデータ） (2024-06-21T13:17:33Z) - Rethinking Decision Transformer via Hierarchical Reinforcement Learning [54.3596066989024]
決定変換器(Decision Transformer, DT)は、強化学習(RL)における変換器アーキテクチャの最近の進歩を活用する革新的なアルゴリズムである。
本稿では,階層RLのレンズを用いたシーケンシャル意思決定のための汎用シーケンスモデリングフレームワークを提案する。
DTは、高レベルかつ低レベルなポリシーを選択することで、このフレームワークの特別なケースとして現れ、これらの選択の潜在的な失敗について議論する。
論文 参考訳（メタデータ） (2023-11-01T03:32:13Z) - Consciousness-Inspired Spatio-Temporal Abstractions for Better Generalization in Reinforcement Learning [83.41487567765871]
Skipperはモデルベースの強化学習フレームワークである。
これは、与えられたタスクをより小さく、より管理しやすいサブタスクに自動的に一般化する。
環境の関連部分には、スパースな意思決定と集中した抽象化を可能にする。
論文 参考訳（メタデータ） (2023-09-30T02:25:18Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳（メタデータ） (2023-05-24T17:26:22Z) - Hierarchical Imitation Learning with Vector Quantized Models [77.67190661002691]
我々は,専門家の軌跡におけるサブゴールの同定に強化学習を用いることを提案する。
同定されたサブゴールに対するベクトル量子化生成モデルを構築し,サブゴールレベルの計画を行う。
実験では、このアルゴリズムは複雑な長い水平決定問題の解法に優れ、最先端のアルゴリズムよりも優れている。
論文 参考訳（メタデータ） (2023-01-30T15:04:39Z) - Option-Aware Adversarial Inverse Reinforcement Learning for Robotic
Control [44.77500987121531]
階層的模倣学習 (Hierarchical Imitation Learning, HIL) は, 長期作業における複雑度の高い動作を, 専門家による実証から再現するために提案されている。
逆逆強化学習に基づく新しいHILアルゴリズムを開発した。
また,目的をエンド・ツー・エンドで学習するための変分オートエンコーダフレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-05T00:28:26Z) - Compositional Reinforcement Learning from Logical Specifications [21.193231846438895]
最近のアプローチでは、与えられた仕様から報酬関数を自動的に生成し、適切な強化学習アルゴリズムを用いてポリシーを学習する。
我々は、高レベルの計画と強化学習をインターリーブする、DiRLと呼ばれる構成学習手法を開発した。
提案手法では,各エッジ(サブタスク)のニューラルネットワークポリシをDijkstraスタイルの計画アルゴリズムで学習し,グラフの高レベルプランを計算する。
論文 参考訳（メタデータ） (2021-06-25T22:54:28Z) - DinerDash Gym: A Benchmark for Policy Learning in High-Dimensional
Action Space [30.035087527984345]
本研究では,高次元の動作空間を持つ複雑なタスクにおける性能を評価するために,ダイナー・ダッシュと呼ばれる新しいベンチマークタスクを提案する。
また,グラフモデリングとディープラーニングを併用して,ドメイン知識の明示的な埋め込みを可能にするアルゴリズムであるDecomposed Policy Graph Modelling (DPGM)を導入している。
論文 参考訳（メタデータ） (2020-07-13T06:22:55Z) - A Unifying Framework for Reinforcement Learning and Planning [2.564530030795554]
本稿では、強化学習計画(FRAP)のための統一的アルゴリズムフレームワークを提案する。
論文の最後には、これらの次元に沿って、よく知られたプランニング、モデルフリー、モデルベースRLアルゴリズムを比較した。
論文 参考訳（メタデータ） (2020-06-26T14:30:41Z) - Divide-and-Conquer Monte Carlo Tree Search For Goal-Directed Planning [78.65083326918351]
暗黙的な逐次計画の仮定に代わるものを検討する。
本稿では,最適計画の近似を行うため,Divide-and-Conquer Monte Carlo Tree Search (DC-MCTS)を提案する。
計画順序に対するこのアルゴリズム的柔軟性は,グリッドワールドにおけるナビゲーションタスクの改善に繋がることを示す。
論文 参考訳（メタデータ） (2020-04-23T18:08:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。