Fugu-MT 論文翻訳(概要): Q-Star Meets Scalable Posterior Sampling: Bridging Theory and Practice via HyperAgent

論文の概要: Q-Star Meets Scalable Posterior Sampling: Bridging Theory and Practice via HyperAgent

arxiv url: http://arxiv.org/abs/2402.10228v5
Date: Fri, 14 Jun 2024 04:51:07 GMT
ステータス: 処理完了
システム内更新日: 2024-06-17 19:02:29.850144
Title: Q-Star Meets Scalable Posterior Sampling: Bridging Theory and Practice via HyperAgent
Title（参考訳）: スケーラブルな後方サンプリング - HyperAgentによるブリッジ理論と実践
Authors: Yingru Li, Jiawei Xu, Lei Han, Zhi-Quan Luo,
Abstract要約: HyperAgentは、RLにおける探索のためのハイパーモデルフレームワークに基づく強化学習(RL)アルゴリズムである。我々はHyperAgentが大規模深部RLベンチマークで堅牢なパフォーマンスを提供することを示した。問題の大きさで最適にスケールし、Atariスイートで顕著な効率向上を示すエピソードでディープシーのハードな探索問題を解決することができる。
参考スコア（独自算出の注目度）: 23.669599662214686
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We propose HyperAgent, a reinforcement learning (RL) algorithm based on the hypermodel framework for exploration in RL. HyperAgent allows for the efficient incremental approximation of posteriors associated with an optimal action-value function ($Q^\star$) without the need for conjugacy and follows the greedy policies w.r.t. these approximate posterior samples. We demonstrate that HyperAgent offers robust performance in large-scale deep RL benchmarks. It can solve Deep Sea hard exploration problems with episodes that optimally scale with problem size and exhibits significant efficiency gains in the Atari suite. Implementing HyperAgent requires minimal code addition to well-established deep RL frameworks like DQN. We theoretically prove that, under tabular assumptions, HyperAgent achieves logarithmic per-step computational complexity while attaining sublinear regret, matching the best known randomized tabular RL algorithm.
Abstract（参考訳）: 本稿では、RLにおける探索のためのハイパーモデルフレームワークに基づく強化学習(RL)アルゴリズムであるHyperAgentを提案する。 HyperAgentは、最適な作用値関数(Q^\star$)に付随する後方の効率的な漸進近似を、共役を必要とせず実現し、これらの近似された後続サンプルの欲求ポリシーに従うことができる。我々はHyperAgentが大規模深部RLベンチマークで堅牢なパフォーマンスを提供することを示した。問題の大きさで最適にスケールし、Atariスイートで顕著な効率向上を示すエピソードでディープシーのハードな探索問題を解決することができる。 HyperAgentを実装するには、DQNのような確立されたディープRLフレームワークに最小限のコードを追加する必要がある。理論的には、表付き仮定の下では、HyperAgentは、最もよく知られた乱数化された表付きRLアルゴリズムと一致し、サブ線形後悔を達成しながら、ステップごとの対数計算の複雑さを達成できる。

関連論文リスト

ARLBench: Flexible and Efficient Benchmarking for Hyperparameter Optimization in Reinforcement Learning [42.33815055388433]
ARLBenchは強化学習(RL)におけるハイパーパラメータ最適化(HPO)のベンチマークである様々なHPOアプローチの比較が可能であり、高い効率で評価できる。 ARLBenchはAutoRLの研究のための効率的で柔軟性があり、未来志向の基盤である。
論文参考訳（メタデータ） (2024-09-27T15:22:28Z)
Adaptive Foundation Models for Online Decisions: HyperAgent with Fast Incremental Uncertainty Estimation [20.45450465931698]
GPT-HyperAgentは,GPTとHyperAgentを併用した拡張手法である。我々はHyperAgentが$tildeO(log T)$ per-step計算複雑性を用いて高速なインクリメンタル不確実性推定を実現することを証明した。解析により,HyperAgentの遺残順序は線形文脈帯域における正確なトンプソンサンプリングと一致することが示された。
論文参考訳（メタデータ） (2024-07-18T06:16:09Z)
The Effective Horizon Explains Deep RL Performance in Stochastic Environments [21.148001945560075]
強化学習(Reinforcement Learning, RL)理論は、最小の複雑性サンプル境界の証明に重点を置いている。本稿では,RLアルゴリズムSQIRLを提案する。このアルゴリズムはランダムに探索してロールアウトを収集することで,最適に近いポリシーを反復的に学習する。我々は、SQIRLを利用して、指数的に「効果的な地平線」のルックアヘッドにのみ現れるRLのインスタンス依存のサンプル複雑性境界を導出し、近似に使用されるクラスの複雑性を導出する。
論文参考訳（メタデータ） (2023-12-13T18:58:56Z)
Provably Efficient CVaR RL in Low-rank MDPs [58.58570425202862]
リスクに敏感な強化学習(RL)について検討する。本稿では, CVaR RLにおける探索, 搾取, 表現学習の相互作用のバランスをとるための, 新たなアッパー信頼境界(UCB)ボーナス駆動アルゴリズムを提案する。提案アルゴリズムは,各エピソードの長さが$H$,アクション空間が$A$,表現の次元が$d$であるような,エプシロン$最適CVaRのサンプル複雑性を実現する。
論文参考訳（メタデータ） (2023-11-20T17:44:40Z)
Learning RL-Policies for Joint Beamforming Without Exploration: A Batch Constrained Off-Policy Approach [1.0080317855851213]
本稿では,ネットワークにおけるパラメータキャンセル最適化の問題点について考察する。探索と学習のために実世界でアルゴリズムをデプロイすることは、探索せずにデータによって達成できることを示す。
論文参考訳（メタデータ） (2023-10-12T18:36:36Z)
Provable and Practical: Efficient Exploration in Reinforcement Learning via Langevin Monte Carlo [104.9535542833054]
我々は、強化学習のためのトンプソンサンプリングに基づくスケーラブルで効果的な探索戦略を提案する。代わりに、Langevin Monte Carlo を用いて、Q 関数をその後部分布から直接サンプリングする。提案手法は,Atari57スイートからのいくつかの挑戦的な探索課題において,最先端の深部RLアルゴリズムと比較して,より優れた,あるいは類似した結果が得られる。
論文参考訳（メタデータ） (2023-05-29T17:11:28Z)
Bridging RL Theory and Practice with the Effective Horizon [18.706109961534676]
先行境界は、深いRLが成功するか失敗するかは相関しないことを示す。我々はこれを、有効地平線と呼ぶ新しいMDPの複雑さ尺度に一般化する。また,既存の境界と異なり,実効地平線は報酬形成や事前訓練された探査政策を用いることの効果を予測できることがわかった。
論文参考訳（メタデータ） (2023-04-19T17:59:01Z)
Human-in-the-loop: Provably Efficient Preference-based Reinforcement Learning with General Function Approximation [107.54516740713969]
本研究は,RL(Human-in-the-loop reinforcement learning)を軌道的嗜好で検討する。各ステップで数値的な報酬を受ける代わりに、エージェントは人間の監督者から軌道上のペアよりも優先される。一般関数近似を用いたPbRLの楽観的モデルベースアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-05-23T09:03:24Z)
Reward-Free RL is No Harder Than Reward-Aware RL in Linear Markov Decision Processes [61.11090361892306]
Reward-free reinforcement learning (RL) は、エージェントが探索中に報酬関数にアクセスできないような環境を考える。この分離は線形MDPの設定には存在しないことを示す。我々は$d$次元線形 MDP における報酬のない RL に対する計算効率の良いアルゴリズムを開発した。
論文参考訳（メタデータ） (2022-01-26T22:09:59Z)
On Reward-Free RL with Kernel and Neural Function Approximations: Single-Agent MDP and Markov Game [140.19656665344917]
エージェントが事前に特定された報酬関数を使わずに環境を徹底的に探索することを目的とした報酬のないRL問題について検討する。関数近似の文脈でこの問題に取り組み、強力な関数近似器を活用する。我々は、カーネルとニューラルファンクション近似器を用いた、証明可能な効率の良い報酬なしRLアルゴリズムを確立した。
論文参考訳（メタデータ） (2021-10-19T07:26:33Z)
Maximum Entropy RL (Provably) Solves Some Robust RL Problems [94.80212602202518]
我々は、標準最大エントロピーRLが動的および報酬関数のいくつかの障害に対して堅牢であることを理論的に証明する。以上の結果から,MaxEnt RL自体が特定の障害に対して頑健であり,追加の修正は不要であることが示唆された。
論文参考訳（メタデータ） (2021-03-10T18:45:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。