論文の概要: Exploration and Incentives in Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2103.00360v1
• Date: Sun, 28 Feb 2021 00:15:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-04 05:27:30.911113
• Title: Exploration and Incentives in Reinforcement Learning
• Title（参考訳）: 強化学習における探索とインセンティブ
• Authors: Max Simchowitz, Aleksandrs Slivkins
• Abstract要約: 各エージェントが同一(ただし未知)のMDPに直面する複雑な探索問題を考察する。 エージェントはポリシーの選択を制御するが、アルゴリズムは推奨事項のみを発行できる。 MDPのすべての到達可能な状態を探索するアルゴリズムを設計します。
• 参考スコア（独自算出の注目度）: 107.42240386544633
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: How do you incentivize self-interested agents to $\textit{explore}$ when they prefer to $\textit{exploit}$ ? We consider complex exploration problems, where each agent faces the same (but unknown) MDP. In contrast with traditional formulations of reinforcement learning, agents control the choice of policies, whereas an algorithm can only issue recommendations. However, the algorithm controls the flow of information, and can incentivize the agents to explore via information asymmetry. We design an algorithm which explores all reachable states in the MDP. We achieve provable guarantees similar to those for incentivizing exploration in static, stateless exploration problems studied previously.
• Abstract（参考訳）: 自己関心のあるエージェントが$\textit{exploit}$を好む場合、どうやって$\textit{explore}$にインセンティブを与えるのですか? 各エージェントが同一(ただし未知)のMDPに直面する複雑な探索問題を考察する。 強化学習の伝統的な定式化とは対照的に、エージェントはポリシーの選択を制御し、アルゴリズムは推奨事項のみを発行できる。 しかし、アルゴリズムは情報の流れを制御し、エージェントに情報非対称性による探索のインセンティブを与えることができる。 MDPのすべての到達可能な状態を探索するアルゴリズムを設計します。 我々は、以前に研究された静的でステートレスな探査問題の探索を奨励するためのものと同様の実証可能な保証を達成します。

関連論文リスト

• Exploration and Persuasion [58.87314871998078]
  我々は、自己関心のあるエージェントが利用したいときの探索にインセンティブを与える方法を示す。 不確実性の下で決定を下す利己的なエージェントの集団を考える。 彼らは新しい情報を取得し、良い決定を下すためにこの情報を「発見」する。 これは、探査が費用がかかるためであるが、将来多くのエージェントにその利点が広がるためである。
  論文  参考訳（メタデータ） (2024-10-22T15:13:13Z)
• The StarCraft Multi-Agent Challenges+ : Learning of Multi-Stage Tasks and Environmental Factors without Precise Reward Functions [14.399479538886064]
  本稿では,StarCraft Multi-Agent Challenges+という新しいベンチマークを提案する。 この課題は、マイクロコントロールだけでなく、暗黙のマルチステージタスクや環境要因を効率的に学習するMARLアルゴリズムの探索能力に関心がある。 SMAC+ の MARL アルゴリズムについて検討し,近年の手法は従来の課題とよく似ているが,攻撃的シナリオでは誤動作する。
  論文  参考訳（メタデータ） (2022-07-05T12:43:54Z)
• SEREN: Knowing When to Explore and When to Exploit [14.188362393915432]
  本稿では,SEREN(Sive Reinforcement Exploration Network)を紹介する。 インパルス制御(英語版)として知られる政策を用いて、スイッチャーは探索政策に切り替える最良の状態のセットを決定することができる。 我々は、SERENが急速に収束し、純粋な搾取に向けた自然なスケジュールを導き出すことを証明した。
  論文  参考訳（メタデータ） (2022-05-30T12:44:56Z)
• Learning in Sparse Rewards settings through Quality-Diversity algorithms [1.4881159885040784]
  この論文は、品質多様性(QD)アルゴリズムによるスパース報酬の問題に焦点を当てている。 論文の最初の部分は、ポリシーの多様性を評価する空間の表現を学ぶことに焦点を当てている。 この論文はSERENEアルゴリズムを導入し、探索空間の興味深い部分に集中する手法である。
  論文  参考訳（メタデータ） (2022-03-02T11:02:34Z)
• Exploring More When It Needs in Deep Reinforcement Learning [3.442899929543427]
  エージェントが必要とするときの騒音付加(AN2N)を探求する深層強化学習における政策のメカニズムを提案する。 エージェントが正常に動作していない過去の状態を評価するために累積報酬を使用し、コサイン距離を用いて現在の状態をさらに調査する必要があるかどうかを測定する。 半チェタ、ホッパー、スイマーなどの連続制御タスクに適用し、性能と収束速度を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-09-28T04:29:38Z)
• Long-Term Exploration in Persistent MDPs [68.8204255655161]
  RbExplore (Rollback-Explore) と呼ばれる探査手法を提案する。 本稿では,マルコフ決定過程を永続的に決定する手法であるロールバック・エクスロア (RbExplore) を提案する。 我々は,ペルシャのプリンス・オブ・ペルシャゲームにおいて,報酬やドメイン知識を伴わずに,我々のアルゴリズムを検証した。
  論文  参考訳（メタデータ） (2021-09-21T13:47:04Z)
• MURAL: Meta-Learning Uncertainty-Aware Rewards for Outcome-Driven Reinforcement Learning [65.52675802289775]
  本研究では,不確かさを意識した分類器が,強化学習の難しさを解消できることを示す。 正規化最大度(NML)分布の計算法を提案する。 得られたアルゴリズムは、カウントベースの探索法と、報酬関数を学習するための先行アルゴリズムの両方に多くの興味深い関係を持つことを示す。
  論文  参考訳（メタデータ） (2021-07-15T08:19:57Z)
• Reannealing of Decaying Exploration Based On Heuristic Measure in Deep Q-Network [82.20059754270302]
  本稿では,再熱処理の概念に基づくアルゴリズムを提案し,必要なときにのみ探索を促進することを目的とする。 我々は、訓練を加速し、より良い政策を得る可能性を示す実証的なケーススタディを実施している。
  論文  参考訳（メタデータ） (2020-09-29T20:40:00Z)
• Never Give Up: Learning Directed Exploration Strategies [63.19616370038824]
  そこで我々は,多岐にわたる探索政策を学習し,ハード・サーベイ・ゲームを解決するための強化学習エージェントを提案する。 エージェントの最近の経験に基づいて,k-アネレスト隣人を用いたエピソード記憶に基づく本質的な報酬を構築し,探索政策を訓練する。 自己教師付き逆動力学モデルを用いて、近くのルックアップの埋め込みを訓練し、エージェントが制御できる新しい信号をバイアスする。
  論文  参考訳（メタデータ） (2020-02-14T13:57:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。