論文の概要: Uncertainty-Aware Reward-Free Exploration with General Function Approximation

• arxiv url: http://arxiv.org/abs/2406.16255v1
• Date: Mon, 24 Jun 2024 01:37:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 16:22:56.121110
• Title: Uncertainty-Aware Reward-Free Exploration with General Function Approximation
• Title（参考訳）: 一般関数近似を用いた不確かさを意識した再帰探索
• Authors: Junkai Zhang, Weitong Zhang, Dongruo Zhou, Quanquan Gu,
• Abstract要約: 本稿では、algと呼ばれる報酬のない強化学習アルゴリズムを提案する。 私たちのアルゴリズムの背後にある重要なアイデアは、環境を探索する上で不確実性を認識した本質的な報酬である。 実験の結果、GFA-RFEは最先端の教師なしRLアルゴリズムよりも優れ、あるいは同等であることがわかった。
• 参考スコア（独自算出の注目度）: 69.27868448449755
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mastering multiple tasks through exploration and learning in an environment poses a significant challenge in reinforcement learning (RL). Unsupervised RL has been introduced to address this challenge by training policies with intrinsic rewards rather than extrinsic rewards. However, current intrinsic reward designs and unsupervised RL algorithms often overlook the heterogeneous nature of collected samples, thereby diminishing their sample efficiency. To overcome this limitation, in this paper, we propose a reward-free RL algorithm called \alg. The key idea behind our algorithm is an uncertainty-aware intrinsic reward for exploring the environment and an uncertainty-weighted learning process to handle heterogeneous uncertainty in different samples. Theoretically, we show that in order to find an $\epsilon$-optimal policy, GFA-RFE needs to collect $\tilde{O} (H^2 \log N_{\mathcal F} (\epsilon) \mathrm{dim} (\mathcal F) / \epsilon^2 )$ number of episodes, where $\mathcal F$ is the value function class with covering number $N_{\mathcal F} (\epsilon)$ and generalized eluder dimension $\mathrm{dim} (\mathcal F)$. Such a result outperforms all existing reward-free RL algorithms. We further implement and evaluate GFA-RFE across various domains and tasks in the DeepMind Control Suite. Experiment results show that GFA-RFE outperforms or is comparable to the performance of state-of-the-art unsupervised RL algorithms.
• Abstract（参考訳）: 環境における探索と学習を通じて複数のタスクをマスターすることは、強化学習(RL)において大きな課題となる。 教師なしのRLは、本質的な報酬ではなく、本質的な報酬で政策を訓練することでこの問題に対処するために導入された。 しかしながら、現在の固有報酬設計と教師なしRLアルゴリズムは、しばしば収集されたサンプルの不均一性を見落とし、サンプル効率を低下させる。 この制限を克服するために,本稿では,報酬のないRLアルゴリズムである \alg を提案する。 我々のアルゴリズムの背後にある重要なアイデアは、環境を探索する上で不確実性を認識した本質的な報酬と、異なるサンプルで不均一性を扱うための不確実性重み付き学習プロセスである。 理論的には、$\epsilon$-optimal Policyを見つけるためには、GFA-RFEが$\tilde{O} (H^2 \log N_{\mathcal F} (\epsilon) \mathrm{dim} (\mathcal F) / \epsilon^2 )$のエピソード数を集める必要がある。 このような結果は、既存の報酬のないRLアルゴリズムよりも優れている。 我々はさらに、DeepMind Control SuiteのさまざまなドメインやタスクにまたがってGFA-RFEを実装し、評価する。 実験の結果、GFA-RFEは最先端の教師なしRLアルゴリズムよりも優れ、あるいは同等であることがわかった。

関連論文リスト

• Provably Feedback-Efficient Reinforcement Learning via Active Reward Learning [26.067411894141863]
  報酬関数は、強化学習(RL)における課題を特定する上で、最重要である。 HiL(Human-in-the-loop) RLは、さまざまなフィードバックを提供することで、複雑な目標をRLエージェントに伝達することを可能にする。 報奨関数を指定せずに環境を探索する能動的学習に基づくRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-18T12:36:09Z)
• Minimax-Optimal Reward-Agnostic Exploration in Reinforcement Learning [17.239062061431646]
  本稿では,強化学習(RL)における報酬非依存探索について検討する。 S$状態、$A$作用、および水平長$H$を持つ有限水平不均一決定過程を考える。 我々のアルゴリズムは任意の数の報酬関数に対して$varepsilon$精度を得ることができる。
  論文  参考訳（メタデータ） (2023-04-14T17:46:49Z)
• Provably Efficient Offline Reinforcement Learning with Trajectory-Wise Reward [66.81579829897392]
  我々はPessimistic vAlue iteRaTionとrEward Decomposition (PARTED)という新しいオフライン強化学習アルゴリズムを提案する。 PartEDは、最小2乗ベースの報酬再分配を通じて、ステップごとのプロキシ報酬に軌道を分解し、学習したプロキシ報酬に基づいて悲観的な値を実行する。 私たちの知る限りでは、PartEDは、トラジェクティブな報酬を持つ一般のMDPにおいて、証明可能な効率のよい最初のオフラインRLアルゴリズムである。
  論文  参考訳（メタデータ） (2022-06-13T19:11:22Z)
• On Reward-Free RL with Kernel and Neural Function Approximations: Single-Agent MDP and Markov Game [140.19656665344917]
  エージェントが事前に特定された報酬関数を使わずに環境を徹底的に探索することを目的とした報酬のないRL問題について検討する。 関数近似の文脈でこの問題に取り組み、強力な関数近似器を活用する。 我々は、カーネルとニューラルファンクション近似器を用いた、証明可能な効率の良い報酬なしRLアルゴリズムを確立した。
  論文  参考訳（メタデータ） (2021-10-19T07:26:33Z)
• On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
  強化学習のコアにおける探索・探索トレードオフについて検討する。 特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。 私たちの後悔の限界はエピソードの数とは無関係です。
  論文  参考訳（メタデータ） (2020-11-09T18:32:22Z)
• Adaptive Reward-Free Exploration [48.98199700043158]
  提案アルゴリズムは1994年からのFiechterのアルゴリズムの変種と見なすことができる。 さらに、報酬のない探索と最高の政治識別の相対的な複雑さについて検討する。
  論文  参考訳（メタデータ） (2020-06-11T09:58:03Z)
• Reward-Free Exploration for Reinforcement Learning [82.3300753751066]
  探索の課題を分離する「逆フリーなRL」フレームワークを提案する。 我々は,$tildemathcalO(S2Amathrmpoly(H)/epsilon2)$の探索を効率的に行うアルゴリズムを提案する。 また、ほぼ一致する$Omega(S2AH2/epsilon2)$ lower boundを与え、この設定でアルゴリズムのほぼ最適性を示す。
  論文  参考訳（メタデータ） (2020-02-07T14:03:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。