論文の概要: First-Explore, then Exploit: Meta-Learning to Solve Hard Exploration-Exploitation Trade-Offs

• arxiv url: http://arxiv.org/abs/2307.02276v2
• Date: Mon, 04 Nov 2024 23:33:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 14:57:17.382934
• Title: First-Explore, then Exploit: Meta-Learning to Solve Hard Exploration-Exploitation Trade-Offs
• Title（参考訳）: ファースト・エクスロア、次にエクスプロイト:メタラーニングでハード・エクスプロイテーション・エクスプロイテーション・トレードオフを解決
• Authors: Ben Norman, Jeff Clune,
• Abstract要約: First-Exploreは、広範囲のドメインで人間のような探索が可能なメタRLアルゴリズムを開発するための重要なステップである。 我々の方法であるFirst-Exploreは、2つのポリシーを学習することで制限を克服する。
• 参考スコア（独自算出の注目度）: 2.0690113422225997
• License:
• Abstract: Standard reinforcement learning (RL) agents never intelligently explore like a human (i.e. taking into account complex domain priors and adapting quickly based on previous exploration). Across episodes, RL agents struggle to perform even simple exploration strategies, for example systematic search that avoids exploring the same location multiple times. This poor exploration limits performance on challenging domains. Meta-RL is a potential solution, as unlike standard RL, meta-RL can learn to explore, and potentially learn highly complex strategies far beyond those of standard RL, strategies such as experimenting in early episodes to learn new skills, or conducting experiments to learn about the current environment. Traditional meta-RL focuses on the problem of learning to optimally balance exploration and exploitation to maximize the cumulative reward of the episode sequence (e.g., aiming to maximize the total wins in a tournament -- while also improving as a player). We identify a new challenge with state-of-the-art cumulative-reward meta-RL methods. When optimal behavior requires exploration that sacrifices immediate reward to enable higher subsequent reward, existing state-of-the-art cumulative-reward meta-RL methods become stuck on the local optimum of failing to explore. Our method, First-Explore, overcomes this limitation by learning two policies: one to solely explore, and one to solely exploit. When exploring requires forgoing early-episode reward, First-Explore significantly outperforms existing cumulative meta-RL methods. By identifying and solving the previously unrecognized problem of forgoing reward in early episodes, First-Explore represents a significant step towards developing meta-RL algorithms capable of human-like exploration on a broader range of domains.
• Abstract（参考訳）: 標準強化学習(RL)エージェントは、人間のように知的に探索することはない(つまり、複雑なドメインの事前を考慮に入れ、以前の探索に基づいて迅速に適応する)。 エピソード全体では、RLエージェントは、例えば同じ場所を何度も探索するのを避ける体系的な探索など、単純な探索戦略を実行するのに苦労している。 この貧弱な探索は、挑戦的なドメインのパフォーマンスを制限します。 メタRLは、標準RLとは異なり、潜在的なソリューションであり、メタRLは、標準RLよりもはるかに複雑な戦略を学習し、潜在的に学習することができる。 伝統的なメタRLは、エピソードシーケンスの累積報酬を最大化するために探索と搾取を最適にバランスさせる学習の問題に焦点を当てている(例えば、トーナメントにおける総勝利を最大化し、プレイヤーとしての改善を目指す)。 我々は最先端の累積再帰メタRL法における新しい課題を同定する。 最適行動が、その後の報酬を高めるために即時報酬を犠牲にする探索を必要とするとき、既存の最先端の累積逆メタ-RL法は探索の失敗という局所的な最適化に固執する。 我々の方法であるFirst-Exploreは、2つのポリシーを学習することで、この制限を克服する。 First-Exploreは、初期のエポソード報酬を強制する必要がある場合、既存の累積メタRLメソッドよりも大幅にパフォーマンスが向上する。 First-Exploreは、初期のエピソードで未認識の報酬を強制する問題の特定と解決によって、幅広い領域で人間のような探索が可能なメタRLアルゴリズムを開発するための重要なステップである。

関連論文リスト

• First Go, then Post-Explore: the Benefits of Post-Exploration in Intrinsic Motivation [7.021281655855703]
  Go-Exploreは、低報酬の強化学習(RL)タスクにおいて画期的なパフォーマンスを達成した。 Go-Exploreの主な洞察は、調査を成功させるためには、エージェントが最初に興味深い状態に戻る必要があります。 目標達成後の探査を「後探査」と呼ぶ。
  論文  参考訳（メタデータ） (2022-12-06T18:56:47Z)
• Jump-Start Reinforcement Learning [68.82380421479675]
  本稿では、オフラインデータやデモ、あるいは既存のポリシーを使ってRLポリシーを初期化するメタアルゴリズムを提案する。 特に,タスク解決に2つのポリシーを利用するアルゴリズムであるJump-Start Reinforcement Learning (JSRL)を提案する。 実験により、JSRLは既存の模倣と強化学習アルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:25:22Z)
• Hindsight Task Relabelling: Experience Replay for Sparse Reward Meta-RL [91.26538493552817]
  本稿では,メタRLの学習経験をリラベルするメタRLのための後向きレバーベリングの定式化について述べる。 提案手法の有効性を,難易度の高い目標達成環境のスイートで実証する。
  論文  参考訳（メタデータ） (2021-12-02T00:51:17Z)
• Long-Term Exploration in Persistent MDPs [68.8204255655161]
  RbExplore (Rollback-Explore) と呼ばれる探査手法を提案する。 本稿では,マルコフ決定過程を永続的に決定する手法であるロールバック・エクスロア (RbExplore) を提案する。 我々は,ペルシャのプリンス・オブ・ペルシャゲームにおいて,報酬やドメイン知識を伴わずに,我々のアルゴリズムを検証した。
  論文  参考訳（メタデータ） (2021-09-21T13:47:04Z)
• Exploration in Deep Reinforcement Learning: A Comprehensive Survey [24.252352133705735]
  Deep Reinforcement Learning (DRL)とDeep Multi-agent Reinforcement Learning (MARL)は、ゲームAI、自動運転車、ロボティクス、ファイナンスなど、幅広い領域で大きな成功を収めている。 DRLおよび深層MARLエージェントはサンプリング非効率であることが広く知られており、比較的単純なゲーム設定でも数百万のインタラクションが必要である。 本稿では,DRLおよび深部MARLにおける既存探査手法に関する総合的な調査を行う。
  論文  参考訳（メタデータ） (2021-09-14T13:16:33Z)
• Explore and Control with Adversarial Surprise [78.41972292110967]
  強化学習(Reinforcement Learning, RL)は、目標指向のポリシーを学習するためのフレームワークである。 本稿では,RLエージェントが経験した驚きの量と競合する2つのポリシーを相殺する対戦ゲームに基づく,新しい教師なしRL手法を提案する。 本手法は, 明確な相転移を示すことによって, 複雑なスキルの出現につながることを示す。
  論文  参考訳（メタデータ） (2021-07-12T17:58:40Z)
• Decoupling Exploration and Exploitation for Meta-Reinforcement Learning without Sacrifices [132.49849640628727]
  メタ強化学習(Meta-RL)は、関連するタスクに対する事前の経験を活用することで、新しいタスクを迅速に学習できるエージェントを構築する。 原則として、タスクパフォーマンスを最大化することで、最適な探索と搾取をエンドツーエンドで学べる。 DREAMは、最適な探索を犠牲にすることなく、エンドツーエンドのトレーニングにおいて局所的な最適化を避ける。
  論文  参考訳（メタデータ） (2020-08-06T17:57:36Z)
• MetaCURE: Meta Reinforcement Learning with Empowerment-Driven Exploration [52.48362697163477]
  実験により,我々のメタRL法はスパース・リワードタスクにおける最先端のベースラインを著しく上回ることがわかった。 本稿では,活用政策学習とは切り離されたメタRLの探索政策学習問題をモデル化する。 我々は、コンテキスト対応の探索と利用ポリシーを効率よく学習する、新しい非政治メタRLフレームワークを開発する。
  論文  参考訳（メタデータ） (2020-06-15T06:56:18Z)
• Intrinsic Exploration as Multi-Objective RL [29.124322674133]
  内在的モチベーションは、報酬が非常に少ないときに強化学習(RL)エージェントを探索することを可能にする。 本稿では,多目的RLに基づくフレームワークを提案する。 この定式化は、探索と搾取のバランスを政策レベルでもたらし、従来の方法よりも有利になる。
  論文  参考訳（メタデータ） (2020-04-06T02:37:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。