論文の概要: Beyond Optimism: Exploration With Partially Observable Rewards

• arxiv url: http://arxiv.org/abs/2406.13909v2
• Date: Sat, 09 Nov 2024 00:54:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:04:03.039289
• Title: Beyond Optimism: Exploration With Partially Observable Rewards
• Title（参考訳）: 最適化を超えて - 部分的に観察可能なリワードによる探索
• Authors: Simone Parisi, Alireza Kazemipour, Michael Bowling,
• Abstract要約: 強化学習(RL)の探索は依然としてオープンな課題である。 本稿では,既存手法の限界を克服し,最適方針への収束を保証する新しい戦略を提案する。
• 参考スコア（独自算出の注目度）: 10.571972176725371
• License:
• Abstract: Exploration in reinforcement learning (RL) remains an open challenge. RL algorithms rely on observing rewards to train the agent, and if informative rewards are sparse the agent learns slowly or may not learn at all. To improve exploration and reward discovery, popular algorithms rely on optimism. But what if sometimes rewards are unobservable, e.g., situations of partial monitoring in bandits and the recent formalism of monitored Markov decision process? In this case, optimism can lead to suboptimal behavior that does not explore further to collapse uncertainty. With this paper, we present a novel exploration strategy that overcomes the limitations of existing methods and guarantees convergence to an optimal policy even when rewards are not always observable. We further propose a collection of tabular environments for benchmarking exploration in RL (with and without unobservable rewards) and show that our method outperforms existing ones.
• Abstract（参考訳）: 強化学習(RL)の探索は依然としてオープンな課題である。 RLアルゴリズムはエージェントを訓練するために報酬を観察することに依存しており、情報的な報酬が不足している場合、エージェントはゆっくりと学習するか、全く学習しない可能性がある。 探索と報酬発見を改善するために、人気のあるアルゴリズムは楽観主義に依存している。 しかし、もし報酬が観測不可能な場合、例えば、盗賊による部分的な監視の状況や、監視されたマルコフ決定プロセスの最近のフォーマリズムはどうだろう? この場合、楽観主義は、不確実性を崩壊させるためのさらなる探索を行わない、最適以下の行動を引き起こす可能性がある。 本稿では,既存の手法の限界を克服し,報酬が常に観測可能であるとは限らない場合でも,最適政策への収束を保証する新しい探索戦略を提案する。 さらに,RLにおける探索のベンチマークを行うための表環境の集合を提案し,その手法が既存手法よりも優れていることを示す。

関連論文リスト

• Successor-Predecessor Intrinsic Exploration [18.440869985362998]
  本研究は,内因性報酬を用いた探索に焦点を当て,エージェントが自己生成型内因性報酬を用いて外因性報酬を過渡的に増強する。 本研究では,先進情報と振り返り情報を組み合わせた新たな固有報酬に基づく探索アルゴリズムSPIEを提案する。 本研究は,SPIEが競合する手法よりも少ない報酬とボトルネック状態の環境において,より効率的かつ倫理的に妥当な探索行動をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-05-24T16:02:51Z)
• GAN-based Intrinsic Exploration For Sample Efficient Reinforcement Learning [0.0]
  本稿では,観測状態の分布を学習し,分布外である状態に対して高い確率で計算される固有報酬を送信する。 我々はスーパーマリオブラザーズでの報酬設定を無報酬で評価し、モンテズマの復讐設定を軽度に評価し、我々のアプローチが実際に効率的に探索可能であることを示す。
  論文  参考訳（メタデータ） (2022-06-28T19:16:52Z)
• SEREN: Knowing When to Explore and When to Exploit [14.188362393915432]
  本稿では,SEREN(Sive Reinforcement Exploration Network)を紹介する。 インパルス制御(英語版)として知られる政策を用いて、スイッチャーは探索政策に切り替える最良の状態のセットを決定することができる。 我々は、SERENが急速に収束し、純粋な搾取に向けた自然なスケジュールを導き出すことを証明した。
  論文  参考訳（メタデータ） (2022-05-30T12:44:56Z)
• Reward Uncertainty for Exploration in Preference-based Reinforcement Learning [88.34958680436552]
  好みに基づく強化学習アルゴリズムを対象とした探索手法を提案する。 我々の基本的な考え方は、学習した報酬に基づいて、斬新さを測定することによって、本質的な報酬を設計することである。 実験により、学習報酬の不確実性からの探索ボーナスは、好みに基づくRLアルゴリズムのフィードバック効率とサンプル効率の両方を改善することが示された。
  論文  参考訳（メタデータ） (2022-05-24T23:22:10Z)
• Hindsight Task Relabelling: Experience Replay for Sparse Reward Meta-RL [91.26538493552817]
  本稿では,メタRLの学習経験をリラベルするメタRLのための後向きレバーベリングの定式化について述べる。 提案手法の有効性を,難易度の高い目標達成環境のスイートで実証する。
  論文  参考訳（メタデータ） (2021-12-02T00:51:17Z)
• Long-Term Exploration in Persistent MDPs [68.8204255655161]
  RbExplore (Rollback-Explore) と呼ばれる探査手法を提案する。 本稿では,マルコフ決定過程を永続的に決定する手法であるロールバック・エクスロア (RbExplore) を提案する。 我々は,ペルシャのプリンス・オブ・ペルシャゲームにおいて,報酬やドメイン知識を伴わずに,我々のアルゴリズムを検証した。
  論文  参考訳（メタデータ） (2021-09-21T13:47:04Z)
• Explore and Control with Adversarial Surprise [78.41972292110967]
  強化学習(Reinforcement Learning, RL)は、目標指向のポリシーを学習するためのフレームワークである。 本稿では,RLエージェントが経験した驚きの量と競合する2つのポリシーを相殺する対戦ゲームに基づく,新しい教師なしRL手法を提案する。 本手法は, 明確な相転移を示すことによって, 複雑なスキルの出現につながることを示す。
  論文  参考訳（メタデータ） (2021-07-12T17:58:40Z)
• MADE: Exploration via Maximizing Deviation from Explored Regions [48.49228309729319]
  オンライン強化学習(RL)では、高次元環境における効率的な探索は依然として困難であり、報酬は少ない。 調査地域からの次の政策の逸脱を最大化することによる新たな探索手法を提案する。 提案手法は,最先端手法よりもサンプル効率を著しく向上させる。
  論文  参考訳（メタデータ） (2021-06-18T17:57:00Z)
• Reannealing of Decaying Exploration Based On Heuristic Measure in Deep Q-Network [82.20059754270302]
  本稿では,再熱処理の概念に基づくアルゴリズムを提案し,必要なときにのみ探索を促進することを目的とする。 我々は、訓練を加速し、より良い政策を得る可能性を示す実証的なケーススタディを実施している。
  論文  参考訳（メタデータ） (2020-09-29T20:40:00Z)
• To update or not to update? Delayed Nonparametric Bandits with Randomized Allocation [5.9814720629540155]
  文脈的包帯における遅延報酬問題は、様々な実践的状況において関心を寄せている。 本研究では,ランダム化割当戦略について検討し,探索・探索トレードオフが報酬を観察する際の遅延の影響について理解する。
  論文  参考訳（メタデータ） (2020-05-26T23:06:20Z)
• Long-Term Visitation Value for Deep Exploration in Sparse Reward Reinforcement Learning [34.38011902445557]
  報酬の少ない強化学習は、依然としてオープンな課題である。 本稿では,長期訪問数を用いて,今後の探査行動を計画する新しいアプローチを提案する。 報酬と力学のモデルを使用する既存の方法とは対照的に、我々のアプローチは非政治的でモデルなしです。
  論文  参考訳（メタデータ） (2020-01-01T01:01:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。