Fugu-MT 論文翻訳(概要): Is Vanilla Policy Gradient Overlooked? Analyzing Deep Reinforcement Learning for Hanabi

論文の概要: Is Vanilla Policy Gradient Overlooked? Analyzing Deep Reinforcement Learning for Hanabi

arxiv url: http://arxiv.org/abs/2203.11656v1
Date: Tue, 22 Mar 2022 12:28:06 GMT
ステータス: 処理完了
システム内更新日: 2022-03-23 13:32:14.824169
Title: Is Vanilla Policy Gradient Overlooked? Analyzing Deep Reinforcement Learning for Hanabi
Title（参考訳）: バニラ政策のグラディエントは見落としているか? 花びの深層強化学習の分析
Authors: Bram Grooten, Jelle Wemmenhove, Maurice Poot, Jim Portegies
Abstract要約: マルチエージェントコラボレーションの強化を追求するため,最近発表されたハナビベンチマークにおいて,複数のオンライン深層強化学習アルゴリズムを解析した。我々の研究は、Vanilla Policy GradientがPximal Policy Optimizationを上回っている、おそらく逆直観的な発見を示唆している。
参考スコア（独自算出の注目度）: 1.3764085113103222
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In pursuit of enhanced multi-agent collaboration, we analyze several on-policy deep reinforcement learning algorithms in the recently published Hanabi benchmark. Our research suggests a perhaps counter-intuitive finding, where Proximal Policy Optimization (PPO) is outperformed by Vanilla Policy Gradient over multiple random seeds in a simplified environment of the multi-agent cooperative card game. In our analysis of this behavior we look into Hanabi-specific metrics and hypothesize a reason for PPO's plateau. In addition, we provide proofs for the maximum length of a perfect game (71 turns) and any game (89 turns). Our code can be found at: https://github.com/bramgrooten/DeepRL-for-Hanabi
Abstract（参考訳）: マルチエージェント協調の強化を追求するため,最近発表されたhanabiベンチマークで,複数のオンポリシー深層強化学習アルゴリズムを分析した。本研究は,多種多様なランダム種に対するバニラ政策勾配によって,ppo(近位政策最適化)が勝る,多種間協調カードゲームにおける簡易な環境下での反直観的な発見を示唆する。この挙動を解析し、ハナビ固有の指標を考察し、PPOの台地の原因を仮説化する。さらに、完全ゲーム(71ターン)と任意のゲーム(89ターン)の最大長さの証明を提供する。私たちのコードは、https://github.com/bramgrooten/DeepRL-for-Hanabiで見つけることができます。

関連論文リスト

$f$-Policy Gradients: A General Framework for Goal Conditioned RL using $f$-Divergences [44.91973620442546]
本稿では,$f$-Policy Gradientsという新たな探索方法を紹介する。問題となるグリッドワールドにおける標準ポリシー手法と比較して,$f$-PGの方が優れた性能を示す。
論文参考訳（メタデータ） (2023-10-10T17:07:05Z)
Joint action loss for proximal policy optimization [0.0]
PPOは最先端のポリシー勾配アルゴリズムであり、Dota 2やHonor of Kingsのような複雑なコンピュータゲームにうまく適用されている。関節と別個の確率を組み合わせた多作用混合損失を提案する。当社のハイブリッドモデルは,OpenAIのPPOベンチマーク結果と比較して,異なる MuJoCo 環境で50%以上のパフォーマンス向上を実現しています。
論文参考訳（メタデータ） (2023-01-26T03:42:29Z)
Provably Efficient Fictitious Play Policy Optimization for Zero-Sum Markov Games with Structured Transitions [145.54544979467872]
本研究では,ゼロサムマルコフゲームに対して,構造的だが未知の遷移を伴う架空のプレイポリシー最適化アルゴリズムを提案し,解析する。我々は、2年制の競争ゲームシナリオで、$K$のエピソードに続き、$widetildemathcalO(sqrtK)$ regret boundsを証明した。提案アルゴリズムは,アッパー信頼境界(UCB)型最適化と,同時政策最適化の範囲内での架空のプレイの組み合わせを特徴とする。
論文参考訳（メタデータ） (2022-07-25T18:29:16Z)
Decentralized Optimistic Hyperpolicy Mirror Descent: Provably No-Regret Learning in Markov Games [95.10091348976779]
我々はマルコフゲームにおいて、非定常的でおそらく敵対的な相手と遊べる単一のエージェントを制御する分散ポリシー学習について研究する。我々は、新しいアルゴリズム、アンダーラインデ集中型アンダーラインハイプラインRpolicy munderlineIrror deunderlineScent (DORIS)を提案する。 DORISは、一般的な関数近似の文脈で$sqrtK$-regretを達成する。
論文参考訳（メタデータ） (2022-06-03T14:18:05Z)
Can Reinforcement Learning Find Stackelberg-Nash Equilibria in General-Sum Markov Games with Myopic Followers? [156.5760265539888]
我々は,マルチプレイヤーのジェネラルサムマルコフゲームについて,リーダーに指名されたプレイヤーとフォロワーに指名されたプレイヤーの1人を用いて研究した。そのようなゲームに対して、我々のゴールは、政策対 $(pi*, nu*)$ であるスタックルバーグ・ナッシュ均衡 (SNE) を見つけることである。オンラインとオフラインの両方でSNEを解くために,サンプル効率強化学習(RL)アルゴリズムを開発した。
論文参考訳（メタデータ） (2021-12-27T05:41:14Z)
EnTRPO: Trust Region Policy Optimization Method with Entropy Regularization [1.599072005190786]
信頼地域政策最適化(Trust Region Policy Optimization, TRPO)は、強化学習における政策探索アルゴリズムである。本研究では、リプレイバッファを用いて、政治以外の学習環境からTRPOに借用する。 TRPO において、時間ステップで蓄積される pi の利点を生かすためにエントロピー正則化項を付加する。
論文参考訳（メタデータ） (2021-10-26T03:04:00Z)
Discovering Diverse Multi-Agent Strategic Behavior via Reward Randomization [42.33734089361143]
複雑なマルチエージェントゲームにおいて多様な戦略方針を発見する手法を提案する。我々は新しいアルゴリズム Reward-Randomized Policy Gradient (RPG) を導出する。 RPGは、時間的信頼のジレンマに挑戦する際、複数の特徴的な人間解釈可能な戦略を発見することができる。
論文参考訳（メタデータ） (2021-03-08T06:26:55Z)
School of hard knocks: Curriculum analysis for Pommerman with a fixed computational budget [4.726777092009554]
Pommermanはハイブリッドな協調/逆のマルチエージェント環境です。これは強化学習アプローチにとって難しい環境である。制約付き計算予算10万ゲームにおいて、堅牢で有望なポリシーを学習するためのカリキュラムを開発する。
論文参考訳（メタデータ） (2021-02-23T15:43:09Z)
DDPG++: Striving for Simplicity in Continuous-control Off-Policy Reinforcement Learning [95.60782037764928]
過大評価バイアスが制御される限り、単純な決定論的政策勾配は著しく機能することを示す。第二に、非政治的なアルゴリズムの典型であるトレーニングの不安定性を、欲張りのポリシー更新ステップに向ける。第3に、確率推定文学におけるアイデアは、リプレイバッファからの重要サンプル遷移や、性能劣化を防ぐためのポリシー更新に利用できることを示す。
論文参考訳（メタデータ） (2020-06-26T20:21:12Z)
Never Give Up: Learning Directed Exploration Strategies [63.19616370038824]
そこで我々は,多岐にわたる探索政策を学習し,ハード・サーベイ・ゲームを解決するための強化学習エージェントを提案する。エージェントの最近の経験に基づいて,k-アネレスト隣人を用いたエピソード記憶に基づく本質的な報酬を構築し,探索政策を訓練する。自己教師付き逆動力学モデルを用いて、近くのルックアップの埋め込みを訓練し、エージェントが制御できる新しい信号をバイアスする。
論文参考訳（メタデータ） (2020-02-14T13:57:22Z)
Reward-Free Exploration for Reinforcement Learning [82.3300753751066]
探索の課題を分離する「逆フリーなRL」フレームワークを提案する。我々は,$tildemathcalO(S2Amathrmpoly(H)/epsilon2)$の探索を効率的に行うアルゴリズムを提案する。また、ほぼ一致する$Omega(S2AH2/epsilon2)$ lower boundを与え、この設定でアルゴリズムのほぼ最適性を示す。
論文参考訳（メタデータ） (2020-02-07T14:03:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。