論文の概要: Reevaluating Policy Gradient Methods for Imperfect-Information Games

• arxiv url: http://arxiv.org/abs/2502.08938v1
• Date: Thu, 13 Feb 2025 03:38:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:47:44.938994
• Title: Reevaluating Policy Gradient Methods for Imperfect-Information Games
• Title（参考訳）: 不完全な情報ゲームのためのポリシーグラディエント手法の再評価
• Authors: Max Rudolph, Nathan Lichtle, Sobhan Mohammadpour, Alexandre Bayen, J. Zico Kolter, Amy Zhang, Gabriele Farina, Eugene Vinitsky, Samuel Sokota,
• Abstract要約: 我々は,不完全情報ゲームにおけるDRLアルゴリズムの最大利用可能性比較を行う。 5600以上のトレーニング実行、FP、DO、CFRベースのアプローチは、一般的なポリシー勾配メソッドを上回りません。
• 参考スコア（独自算出の注目度）: 94.45878689061335
• License:
• Abstract: In the past decade, motivated by the putative failure of naive self-play deep reinforcement learning (DRL) in adversarial imperfect-information games, researchers have developed numerous DRL algorithms based on fictitious play (FP), double oracle (DO), and counterfactual regret minimization (CFR). In light of recent results of the magnetic mirror descent algorithm, we hypothesize that simpler generic policy gradient methods like PPO are competitive with or superior to these FP, DO, and CFR-based DRL approaches. To facilitate the resolution of this hypothesis, we implement and release the first broadly accessible exact exploitability computations for four large games. Using these games, we conduct the largest-ever exploitability comparison of DRL algorithms for imperfect-information games. Over 5600 training runs, FP, DO, and CFR-based approaches fail to outperform generic policy gradient methods. Code is available at https://github.com/nathanlct/IIG-RL-Benchmark and https://github.com/gabrfarina/exp-a-spiel .
• Abstract（参考訳）: 過去10年間で、敵対的不完全情報ゲームにおける自己プレイ深部強化学習(DRL)の失敗に動機づけられた研究者らは、虚偽プレイ(FP)、二重オラクル(DO)、反実的後悔最小化(CFR)に基づく多数のDRLアルゴリズムを開発した。 磁気ミラー降下アルゴリズムの最近の結果を踏まえ、PPOのような単純な一般的な方針勾配法は、これらのFP、DO、CFRベースのDRL法と競合するか、優れていると仮定する。 この仮説の解決を容易にするため、我々は4つの大きなゲームに対して、初めて広くアクセス可能な正確なエクスプロイラビリティ計算を実装し、リリースする。 これらのゲームを用いて,不完全情報ゲームに対するDRLアルゴリズムの最大利用性比較を行う。 5600以上のトレーニング実行、FP、DO、CFRベースのアプローチは、一般的なポリシー勾配メソッドを上回りません。 コードはhttps://github.com/nathanlct/IIG-RL-Benchmarkとhttps://github.com/gabrfarina/exp-a-spielで入手できる。

関連論文リスト

• Decoupled Prioritized Resampling for Offline RL [114.73666323173204]
  オフライン強化学習のためのオフライン優先体験再生(OPER)を提案する。 OPERは、高度に反転する遷移を優先するように設計された優先順位関数のクラスを備えており、トレーニング中により頻繁に訪問することができる。 優先順位関数のクラスは行動ポリシーの改善を誘導し、この改善されたポリシーに制約された場合、ポリシー制約付きオフラインRLアルゴリズムによりより良い解が得られる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-06-08T17:56:46Z)
• Efficient Diffusion Policies for Offline Reinforcement Learning [85.73757789282212]
  Diffsuion-QLは、拡散モデルでポリシーを表現することによってオフラインRLの性能を大幅に向上させる。 これら2つの課題を克服するために,効率的な拡散政策(EDP)を提案する。 EDPは、サンプリングチェーンの実行を避けるために、トレーニング中の腐敗したアクションからアクションを構築する。
  論文  参考訳（メタデータ） (2023-05-31T17:55:21Z)
• Deep Black-Box Reinforcement Learning with Movement Primitives [15.184283143878488]
  深部強化学習のための新しいアルゴリズムを提案する。 これは、政治的に成功したディープRLアルゴリズムである、微分可能な信頼領域層に基づいている。 複雑なロボット制御タスクにおいて,ERLアルゴリズムと最先端のステップベースアルゴリズムを比較した。
  論文  参考訳（メタデータ） (2022-10-18T06:34:52Z)
• Scalable Deep Reinforcement Learning Algorithms for Mean Field Games [60.550128966505625]
  平均フィールドゲーム (MFGs) は、非常に多くの戦略エージェントを持つゲームを効率的に近似するために導入された。 近年,モデルフリー強化学習(RL)手法を用いて,MFGの学習均衡の課題が活発化している。 MFGを解くための既存のアルゴリズムは戦略や$q$-valuesのような近似量の混合を必要とする。 本稿では,この欠点に対処する2つの手法を提案する。まず,歴史データの蒸留からニューラルネットワークへの混合戦略を学習し,Factitious Playアルゴリズムに適用する。 2つ目はオンライン混合方式である。
  論文  参考訳（メタデータ） (2022-03-22T18:10:32Z)
• Robust Predictable Control [149.71263296079388]
  提案手法は,従来の手法よりもはるかに厳密な圧縮を実現し,標準的な情報ボトルネックよりも最大5倍高い報酬が得られることを示す。 また,本手法はより堅牢で,新しいタスクをより一般化したポリシーを学習することを示す。
  論文  参考訳（メタデータ） (2021-09-07T17:29:34Z)
• RL-DARTS: Differentiable Architecture Search for Reinforcement Learning [62.95469460505922]
  我々は、強化学習(RL)における微分可能なアーキテクチャ探索(DARTS)の最初の応用の1つであるRL-DARTSを紹介する。 画像エンコーダをDARTSスーパーネットに置き換えることにより、検索方法はサンプリング効率が高く、余分な計算資源が最小限必要であり、また、既存のコードに小さな変更を加える必要がなく、オフ・ポリティクスとオン・ポリティクスのRLアルゴリズムとも互換性がある。 スーパーネットはより優れたセルを徐々に学習し、手作業で設計したポリシーに対して高い競争力を持つ代替アーキテクチャへとつながり、RLポリシーの以前の設計選択も検証できることを示す。
  論文  参考訳（メタデータ） (2021-06-04T03:08:43Z)
• Regret Minimization Experience Replay [14.233842517210437]
  優先サンプリングはRL剤の性能を向上させるための有望な手法である。 本研究では,rl政策の後悔を最小限に抑える最適な優先順位付け戦略を理論的に分析する。 RM-DisCorとRM-TCEの2つの実用的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-15T16:08:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。