論文の概要: HyperAgent: A Simple, Scalable, Efficient and Provable Reinforcement
Learning Framework for Complex Environments
- arxiv url: http://arxiv.org/abs/2402.10228v2
- Date: Wed, 28 Feb 2024 15:08:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 17:54:30.864062
- Title: HyperAgent: A Simple, Scalable, Efficient and Provable Reinforcement
Learning Framework for Complex Environments
- Title(参考訳): HyperAgent: 複雑な環境のためのシンプルでスケーラブルで効率的な強化学習フレームワーク
- Authors: Yingru Li, Jiawei Xu, Lei Han, Zhi-Quan Luo
- Abstract要約: HyperAgentはハイパーモデルとインデックスサンプリングスキームを備えたRLフレームワークである。
HyperAgentの実装は簡単で、Double-DQNに必要なモジュールをひとつ追加するだけでよい。
この研究はRLの理論的および実践的な領域を橋渡しし、RLアルゴリズム設計の新しいベンチマークを確立した。
- 参考スコア(独自算出の注目度): 25.85733721852361
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To solve complex tasks under resource constraints, reinforcement learning
(RL) agents need to be simple, efficient, and scalable, addressing (1) large
state spaces and (2) the continuous accumulation of interaction data. We
propose HyperAgent, an RL framework featuring the hypermodel and index sampling
schemes that enable computation-efficient incremental approximation for the
posteriors associated with general value functions without the need for
conjugacy, and data-efficient action selection. Implementing HyperAgent is
straightforward, requiring only one additional module beyond what is necessary
for Double-DQN. HyperAgent stands out as the first method to offer robust
performance in large-scale deep RL benchmarks while achieving provably scalable
per-step computational complexity and attaining sublinear regret under tabular
assumptions. HyperAgent can solve Deep Sea hard exploration problems with
episodes that optimally scale with problem size and exhibits significant
efficiency gains in both data and computation under the Atari benchmark. The
core of our theoretical analysis is the sequential posterior approximation
argument, enabled by the first analytical tool for sequential random projection
-- a non-trivial martingale extension of the Johnson-Lindenstrauss. This work
bridges the theoretical and practical realms of RL, establishing a new
benchmark for RL algorithm design.
- Abstract(参考訳): 資源制約下での複雑なタスクを解決するためには、強化学習(RL)エージェントは単純で効率的でスケーラブルで、(1)大きな状態空間と(2)相互作用データの連続的な蓄積に対処する必要がある。
一般値関数に関連付けられた後続の計算効率の高いインクリメンタル近似を,共役性やデータ効率のよい動作選択を不要に実現した,ハイパーモデルとインデックスサンプリングを特徴とするRLフレームワークHyperAgentを提案する。
HyperAgentの実装は簡単で、Double-DQNに必要なモジュールをひとつ追加するだけでよい。
HyperAgentは、大規模なディープRLベンチマークで堅牢なパフォーマンスを提供する最初の方法であり、証明可能なスケーラブルなステップ毎の計算複雑性を実現し、表の仮定の下でサブ線形後悔を実現する。
hyperagentは、問題のサイズで最適にスケールし、atariベンチマークの下でデータと計算の両方において大幅な効率向上を示すエピソードで、深海探査の問題を解決できる。
我々の理論解析の核心は、ジョンソン・リンデンシュトラウスの非自明なマルティンゲール拡大であるシーケンシャルランダム射影のための最初の分析ツールによって実現される逐次後近似引数である。
この研究はRLの理論的および実践的な領域を橋渡しし、RLアルゴリズム設計の新しいベンチマークを確立する。
関連論文リスト
- Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。
既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。
提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
論文 参考訳(メタデータ) (2023-07-08T15:41:48Z) - PEAR: Primitive enabled Adaptive Relabeling for boosting Hierarchical
Reinforcement Learning [30.533883667629887]
階層的強化学習は、複雑な長い地平線タスクを解く可能性がある。
プリミティブ・アダプティブ・アダプティブ・レバーベリング(PEAR)を提案する。
まず,いくつかの専門家による実験を適応的に実施し,効率的なサブゴール管理を実現する。
次に、強化学習(RL)と模倣学習(IL)を併用してHRLエージェントを共同最適化する。
論文 参考訳(メタデータ) (2023-06-10T09:41:30Z) - Maximize to Explore: One Objective Function Fusing Estimation, Planning,
and Exploration [87.53543137162488]
我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。
textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。
様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
論文 参考訳(メタデータ) (2023-05-29T17:25:26Z) - Two-step hyperparameter optimization method: Accelerating hyperparameter
search by using a fraction of a training dataset [0.15420205433587747]
計算要求と待ち時間を抑制するための戦略的ソリューションとして,2段階のHPO法を提案する。
我々は最近の2段階HPO法のエアロゾル活性化のためのニューラルネットワークエミュレータ開発への応用について述べる。
論文 参考訳(メタデータ) (2023-02-08T02:38:26Z) - Retrieval-Augmented Reinforcement Learning [63.32076191982944]
過去の経験のデータセットを最適な行動にマップするために、ネットワークをトレーニングします。
検索プロセスは、現在のコンテキストで有用なデータセットから情報を取得するために訓練される。
検索強化R2D2はベースラインR2D2エージェントよりもかなり高速に学習し,より高いスコアを得ることを示す。
論文 参考訳(メタデータ) (2022-02-17T02:44:05Z) - Hyperparameter Tuning for Deep Reinforcement Learning Applications [0.3553493344868413]
本稿では,分散可変長遺伝的アルゴリズムを用いて,様々なRLアプリケーションに対してハイパーパラメータをチューニングする手法を提案する。
以上の結果から, より世代を要し, トレーニングエピソードが少なく, 計算コストも安価で, デプロイの堅牢性も高い最適解が得られた。
論文 参考訳(メタデータ) (2022-01-26T20:43:13Z) - On Reward-Free RL with Kernel and Neural Function Approximations:
Single-Agent MDP and Markov Game [140.19656665344917]
エージェントが事前に特定された報酬関数を使わずに環境を徹底的に探索することを目的とした報酬のないRL問題について検討する。
関数近似の文脈でこの問題に取り組み、強力な関数近似器を活用する。
我々は、カーネルとニューラルファンクション近似器を用いた、証明可能な効率の良い報酬なしRLアルゴリズムを確立した。
論文 参考訳(メタデータ) (2021-10-19T07:26:33Z) - Adaptive Stochastic ADMM for Decentralized Reinforcement Learning in
Edge Industrial IoT [106.83952081124195]
強化学習 (Reinforcement Learning, RL) は, 意思決定および最適制御プロセスのための有望な解法として広く研究されている。
本稿では,Adaptive ADMM (asI-ADMM)アルゴリズムを提案する。
実験の結果,提案アルゴリズムは通信コストやスケーラビリティの観点から技術状況よりも優れており,複雑なIoT環境に適応できることがわかった。
論文 参考訳(メタデータ) (2021-06-30T16:49:07Z) - Learning Dexterous Manipulation from Suboptimal Experts [69.8017067648129]
相対エントロピーQラーニング(Relative Entropy Q-Learning、REQ)は、オフラインおよび従来のRLアルゴリズムのアイデアを組み合わせた単純なポリシーアルゴリズムである。
本稿では、REQが、デモから一般の政治外RL、オフラインRL、およびRLにどのように有効であるかを示す。
論文 参考訳(メタデータ) (2020-10-16T18:48:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。