論文の概要: HyperAgent: A Simple, Scalable, Efficient and Provable Reinforcement
Learning Framework for Complex Environments
- arxiv url: http://arxiv.org/abs/2402.10228v1
- Date: Mon, 5 Feb 2024 07:07:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-25 17:16:39.511890
- Title: HyperAgent: A Simple, Scalable, Efficient and Provable Reinforcement
Learning Framework for Complex Environments
- Title（参考訳）: HyperAgent: 複雑な環境のためのシンプルでスケーラブルで効率的な強化学習フレームワーク
- Authors: Yingru Li, Jiawei Xu, Lei Han, Zhi-Quan Luo
- Abstract要約: 強化学習 (Reinforcement Learning, RL) エージェントは単純で効率的でスケーラブルで、大きな状態空間を持ち、相互作用の蓄積が増えている。
本稿では,ハイパーモデル,インデックスサンプリングスキーム,インクリメンタル更新機構を備えたRLフレームワークであるHyperAgentを提案する。
この研究はRLの理論的および実践的な領域を橋渡しし、RLアルゴリズム設計の新しいベンチマークを確立した。
- 参考スコア（独自算出の注目度）: 25.85733721852361
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To solve complex tasks under resource constraints, reinforcement learning
(RL) agents need to be simple, efficient, and scalable with (1) large state
space and (2) increasingly accumulated data of interactions. We propose the
HyperAgent, a RL framework with hypermodel, index sampling schemes and
incremental update mechanism, enabling computation-efficient sequential
posterior approximation and data-efficient action selection under general value
function approximation beyond conjugacy. The implementation of \HyperAgent is
simple as it only adds one module and one line of code additional to DDQN.
Practically, HyperAgent demonstrates its robust performance in large-scale deep
RL benchmarks with significant efficiency gain in terms of both data and
computation. Theoretically, among the practically scalable algorithms,
HyperAgent is the first method to achieve provably scalable per-step
computational complexity as well as sublinear regret under tabular RL. The core
of our theoretical analysis is the sequential posterior approximation argument,
made possible by the first analytical tool for sequential random projection, a
non-trivial martingale extension of the Johnson-Lindenstrauss lemma. This work
bridges the theoretical and practical realms of RL, establishing a new
benchmark for RL algorithm design.
- Abstract（参考訳）: リソース制約下で複雑なタスクを解決するために、強化学習(rl)エージェントは、(1)大きな状態空間と(2)ますます蓄積されるインタラクションデータによって、シンプルで効率的でスケーラブルである必要がある。
本稿では,ハイパーモデルを用いたrlフレームワークであるhyperagent,インデックスサンプリングスキーム,インクリメンタル更新機構を提案する。
\HyperAgentの実装は、DDQNに1つのモジュールと1行のコードを追加するだけでシンプルである。
実際にHyperAgentは、大規模なディープRLベンチマークにおいて、データと計算の両面で大きな効率向上を示す。
理論的には、実際にスケーラブルなアルゴリズムの中で、HyperAgentは証明可能なスケーラブルなステップごとの計算複雑性を達成するための最初の方法である。
理論解析の核となるのは、ジョンソン-リンデンシュトラウス補題の非自明なマーチンゲール展開であるシーケンシャルランダムプロジェクションの最初の解析ツールによって可能となった逐次後近似論である。
この研究はRLの理論的および実践的な領域を橋渡しし、RLアルゴリズム設計の新しいベンチマークを確立する。
関連論文リスト
- ARLBench: Flexible and Efficient Benchmarking for Hyperparameter Optimization in Reinforcement Learning [42.33815055388433]
ARLBenchは強化学習(RL)におけるハイパーパラメータ最適化(HPO)のベンチマークである
様々なHPOアプローチの比較が可能であり、高い効率で評価できる。
ARLBenchはAutoRLの研究のための効率的で柔軟性があり、未来志向の基盤である。
論文 参考訳（メタデータ） (2024-09-27T15:22:28Z) - Adaptive Foundation Models for Online Decisions: HyperAgent with Fast Incremental Uncertainty Estimation [20.45450465931698]
GPT-HyperAgentは,GPTとHyperAgentを併用した拡張手法である。
我々はHyperAgentが$tildeO(log T)$ per-step計算複雑性を用いて高速なインクリメンタル不確実性推定を実現することを証明した。
解析により,HyperAgentの遺残順序は線形文脈帯域における正確なトンプソンサンプリングと一致することが示された。
論文 参考訳（メタデータ） (2024-07-18T06:16:09Z) - The Effective Horizon Explains Deep RL Performance in Stochastic Environments [21.148001945560075]
強化学習(Reinforcement Learning, RL)理論は、最小の複雑性サンプル境界の証明に重点を置いている。
本稿では,RLアルゴリズムSQIRLを提案する。このアルゴリズムはランダムに探索してロールアウトを収集することで,最適に近いポリシーを反復的に学習する。
我々は、SQIRLを利用して、指数的に「効果的な地平線」のルックアヘッドにのみ現れるRLのインスタンス依存のサンプル複雑性境界を導出し、近似に使用されるクラスの複雑性を導出する。
論文 参考訳（メタデータ） (2023-12-13T18:58:56Z) - Provably Efficient CVaR RL in Low-rank MDPs [58.58570425202862]
リスクに敏感な強化学習(RL)について検討する。
本稿では, CVaR RLにおける探索, 搾取, 表現学習の相互作用のバランスをとるための, 新たなアッパー信頼境界(UCB)ボーナス駆動アルゴリズムを提案する。
提案アルゴリズムは,各エピソードの長さが$H$,アクション空間が$A$,表現の次元が$d$であるような,エプシロン$最適CVaRのサンプル複雑性を実現する。
論文 参考訳（メタデータ） (2023-11-20T17:44:40Z) - Learning RL-Policies for Joint Beamforming Without Exploration: A Batch
Constrained Off-Policy Approach [1.0080317855851213]
本稿では,ネットワークにおけるパラメータキャンセル最適化の問題点について考察する。
探索と学習のために実世界でアルゴリズムをデプロイすることは、探索せずにデータによって達成できることを示す。
論文 参考訳（メタデータ） (2023-10-12T18:36:36Z) - Provable and Practical: Efficient Exploration in Reinforcement Learning via Langevin Monte Carlo [104.9535542833054]
我々は、強化学習のためのトンプソンサンプリングに基づくスケーラブルで効果的な探索戦略を提案する。
代わりに、Langevin Monte Carlo を用いて、Q 関数をその後部分布から直接サンプリングする。
提案手法は,Atari57スイートからのいくつかの挑戦的な探索課題において,最先端の深部RLアルゴリズムと比較して,より優れた,あるいは類似した結果が得られる。
論文 参考訳（メタデータ） (2023-05-29T17:11:28Z) - Bridging RL Theory and Practice with the Effective Horizon [18.706109961534676]
先行境界は、深いRLが成功するか失敗するかは相関しないことを示す。
我々はこれを、有効地平線と呼ぶ新しいMDPの複雑さ尺度に一般化する。
また,既存の境界と異なり,実効地平線は報酬形成や事前訓練された探査政策を用いることの効果を予測できることがわかった。
論文 参考訳（メタデータ） (2023-04-19T17:59:01Z) - Human-in-the-loop: Provably Efficient Preference-based Reinforcement
Learning with General Function Approximation [107.54516740713969]
本研究は,RL(Human-in-the-loop reinforcement learning)を軌道的嗜好で検討する。
各ステップで数値的な報酬を受ける代わりに、エージェントは人間の監督者から軌道上のペアよりも優先される。
一般関数近似を用いたPbRLの楽観的モデルベースアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-23T09:03:24Z) - Reward-Free RL is No Harder Than Reward-Aware RL in Linear Markov
Decision Processes [61.11090361892306]
Reward-free reinforcement learning (RL) は、エージェントが探索中に報酬関数にアクセスできないような環境を考える。
この分離は線形MDPの設定には存在しないことを示す。
我々は$d$次元線形 MDP における報酬のない RL に対する計算効率の良いアルゴリズムを開発した。
論文 参考訳（メタデータ） (2022-01-26T22:09:59Z) - On Reward-Free RL with Kernel and Neural Function Approximations:
Single-Agent MDP and Markov Game [140.19656665344917]
エージェントが事前に特定された報酬関数を使わずに環境を徹底的に探索することを目的とした報酬のないRL問題について検討する。
関数近似の文脈でこの問題に取り組み、強力な関数近似器を活用する。
我々は、カーネルとニューラルファンクション近似器を用いた、証明可能な効率の良い報酬なしRLアルゴリズムを確立した。
論文 参考訳（メタデータ） (2021-10-19T07:26:33Z) - Maximum Entropy RL (Provably) Solves Some Robust RL Problems [94.80212602202518]
我々は、標準最大エントロピーRLが動的および報酬関数のいくつかの障害に対して堅牢であることを理論的に証明する。
以上の結果から,MaxEnt RL自体が特定の障害に対して頑健であり,追加の修正は不要であることが示唆された。
論文 参考訳（メタデータ） (2021-03-10T18:45:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。