論文の概要: Learning Nash Equilibria in Zero-Sum Stochastic Games via Entropy-Regularized Policy Approximation

• arxiv url: http://arxiv.org/abs/2009.00162v2
• Date: Sun, 27 Jun 2021 04:26:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-23 01:00:52.212090
• Title: Learning Nash Equilibria in Zero-Sum Stochastic Games via Entropy-Regularized Policy Approximation
• Title（参考訳）: エントロピー正規化政策近似によるゼロサム確率ゲームにおけるnash平衡の学習
• Authors: Yue Guan, Qifan Zhang, Panagiotis Tsiotras
• Abstract要約: ゼロサムゲームにおけるナッシュ均衡学習の計算コストを削減するためのポリシー近似の利用について検討する。 我々は,Nashポリシーを近似するために,エントロピー規則化されたソフトポリシーのシーケンスを利用する新しいQ-ラーニング型アルゴリズムを提案する。 一定の条件下では、正規化されたQ-関数を更新することにより、アルゴリズムはナッシュ平衡に収束する。
• 参考スコア（独自算出の注目度）: 18.35524179586723
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We explore the use of policy approximations to reduce the computational cost of learning Nash equilibria in zero-sum stochastic games. We propose a new Q-learning type algorithm that uses a sequence of entropy-regularized soft policies to approximate the Nash policy during the Q-function updates. We prove that under certain conditions, by updating the regularized Q-function, the algorithm converges to a Nash equilibrium. We also demonstrate the proposed algorithm's ability to transfer previous training experiences, enabling the agents to adapt quickly to new environments. We provide a dynamic hyper-parameter scheduling scheme to further expedite convergence. Empirical results applied to a number of stochastic games verify that the proposed algorithm converges to the Nash equilibrium, while exhibiting a major speed-up over existing algorithms.
• Abstract（参考訳）: ゼロサム確率ゲームにおけるナッシュ均衡学習の計算コストを削減するためのポリシー近似の利用について検討する。 本稿では,エントロピー正規化ソフトポリシーの系列を用いて,q関数更新時のnashポリシーを近似する新しいq学習型アルゴリズムを提案する。 ある条件下では、正則化q関数を更新すれば、アルゴリズムはナッシュ平衡に収束する。 また,提案アルゴリズムが過去の訓練経験を伝達し,エージェントが新しい環境に迅速に適応できることを示す。 我々はさらに収束を早めるために動的ハイパーパラメータスケジューリングスキームを提供する。 多くの確率ゲームに適用された経験的結果は、提案アルゴリズムが既存のアルゴリズムよりも大きなスピードアップを示しながら、ナッシュ平衡に収束することを検証する。

関連論文リスト

• Independent Learning in Constrained Markov Potential Games [19.083595175045073]
  制約付きマルコフゲームは、マルチエージェント強化学習問題をモデル化するための正式なフレームワークを提供する。 近似的制約付きナッシュ平衡を学習するための独立ポリシー勾配アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-27T20:57:35Z)
• Learning Nash Equilibria in Zero-Sum Markov Games: A Single Time-scale Algorithm Under Weak Reachability [11.793922711718645]
  我々は,ゼロサムゲームにおいて,プレイヤーが情報のみを閲覧し,相手の行動や支払いを行うような分散学習を検討する。 従来の研究は、強い到達可能性仮定の下で二重時間スケールのアルゴリズムを用いて、この設定でナッシュ均衡に収束することを示した。 我々の貢献は合理的で収束したアルゴリズムであり、Tsallis-Entropy regularization を値イテレーションに基づくアルゴリズムで利用している。
  論文  参考訳（メタデータ） (2023-12-13T09:31:30Z)
• PAPAL: A Provable PArticle-based Primal-Dual ALgorithm for Mixed Nash Equilibrium [58.26573117273626]
  2プレイヤゼロサム連続ゲームにおける非AL平衡非漸近目的関数について考察する。 連続分布戦略のための粒子ベースアルゴリズムに関する新しい知見を述べる。
  論文  参考訳（メタデータ） (2023-03-02T05:08:15Z)
• Decentralized Policy Gradient for Nash Equilibria Learning of General-sum Stochastic Games [8.780797886160402]
  遷移確率密度関数の未知な一般サムゲームのナッシュ平衡学習について検討する。 正確な擬似勾配を持つ場合、ナッシュ平衡と変分不等式の問題の等価性による2ループアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2022-10-14T09:09:56Z)
• Maximum-Likelihood Inverse Reinforcement Learning with Finite-Time Guarantees [56.848265937921354]
  逆強化学習(IRL)は報酬関数と関連する最適ポリシーを回復することを目的としている。 IRLの多くのアルゴリズムは本質的にネスト構造を持つ。 我々は、報酬推定精度を損なわないIRLのための新しいシングルループアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-10-04T17:13:45Z)
• Faster Last-iterate Convergence of Policy Optimization in Zero-Sum Markov Games [63.60117916422867]
  本稿では,対戦型マルチエージェントRLの最も基本的な設定,すなわち2プレーヤゼロサムマルコフゲームに焦点を当てる。 両エージェントから対称更新を施した単一ループポリシー最適化手法を提案し,この手法はエントロピー規則化楽観的乗算重み更新法(OMWU)によって更新される。 我々の収束結果は、最もよく知られた複雑性を改善し、競合するマルコフゲームにおけるポリシー最適化をよりよく理解する。
  論文  参考訳（メタデータ） (2022-10-03T16:05:43Z)
• First-Order Algorithms for Nonlinear Generalized Nash Equilibrium Problems [88.58409977434269]
  非線形一般化ナッシュ均衡問題(NGNEP)における平衡計算の問題を考える。 我々の貢献は、2次ペナルティ法と拡張ラグランジアン法に基づく2つの単純な一階アルゴリズムフレームワークを提供することである。 これらのアルゴリズムに対する漸近的理論的保証を提供する。
  論文  参考訳（メタデータ） (2022-04-07T00:11:05Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• Fast Policy Extragradient Methods for Competitive Games with Entropy Regularization [40.21627891283402]
  本稿では,競争ゲームの均衡の計算問題について考察する。 エントロピー正則化のアルゴリズム的役割に動機付けられ、我々は証明可能な効率の良い指数関数法を開発した。
  論文  参考訳（メタデータ） (2021-05-31T17:51:15Z)
• Momentum Q-learning with Finite-Sample Convergence Guarantee [49.38471009162477]
  本稿では,有限サンプル保証を用いたモーメントに基づくQ-ラーニングアルゴリズムのクラスを解析する。 線形関数近似とマルコフサンプリングによるMomentumQの収束保証を確立する。 提案したMomentumQが他のモーメントベースのQ-ラーニングアルゴリズムより優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-30T12:27:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。