論文の概要: A Policy-Gradient Approach to Solving Imperfect-Information Games with Iterate Convergence

• arxiv url: http://arxiv.org/abs/2408.00751v1
• Date: Thu, 1 Aug 2024 17:54:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-04 19:37:48.237287
• Title: A Policy-Gradient Approach to Solving Imperfect-Information Games with Iterate Convergence
• Title（参考訳）: 反復収束による不完全情報ゲーム問題の解法
• Authors: Mingyang Liu, Gabriele Farina, Asuman Ozdaglar,
• Abstract要約: 政策勾配法は, シングルエージェント強化学習ツールボックスの基盤となっている。 政策勾配法が自己プレイにおける正規化ナッシュ均衡に証明可能なベストイテレート収束をもたらすことを初めて示す。
• 参考スコア（独自算出の注目度）: 21.195897792629548
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Policy gradient methods have become a staple of any single-agent reinforcement learning toolbox, due to their combination of desirable properties: iterate convergence, efficient use of stochastic trajectory feedback, and theoretically-sound avoidance of importance sampling corrections. In multi-agent imperfect-information settings (extensive-form games), however, it is still unknown whether the same desiderata can be guaranteed while retaining theoretical guarantees. Instead, sound methods for extensive-form games rely on approximating counterfactual values (as opposed to Q values), which are incompatible with policy gradient methodologies. In this paper, we investigate whether policy gradient can be safely used in two-player zero-sum imperfect-information extensive-form games (EFGs). We establish positive results, showing for the first time that a policy gradient method leads to provable best-iterate convergence to a regularized Nash equilibrium in self-play.
• Abstract（参考訳）: ポリシー勾配法は, 反復収束, 確率軌道フィードバックの効率的な利用, 重要サンプリング補正の理論的回避など, 望ましい特性の組み合わせにより, 任意の単エージェント強化学習ツールボックスの基盤となっている。 しかし, マルチエージェント不完全情報設定では, 理論的な保証を維持しつつ, 同一のデシラタを保証できるかどうかは不明である。 代わりに、ワイドフォームゲームのサウンドメソッドは、(Q値とは対照的に)ポリシー勾配方法論とは相容れない反事実値の近似に依存している。 本稿では,2人プレイヤのゼロサム不完全情報拡張型ゲーム(EFG)において,ポリシー勾配を安全に利用できるかを検討する。 政策勾配法が自己プレイにおける正規化ナッシュ均衡に最も適した収束をもたらすことを初めて示し、肯定的な結果を確立した。

関連論文リスト

• Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
  政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。 一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。 本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
  論文  参考訳（メタデータ） (2024-05-03T16:45:15Z)
• Securing Distributed SGD against Gradient Leakage Threats [13.979995939926154]
  本稿では, 勾配漏れ弾性分布勾配Descent (SGD) に対する総合的アプローチを提案する。 プライバシー強化型フェデレーション学習の2つの方法として, (i) ランダム選択や低ランクフィルタリングによるグラデーションプルーニング, (ii) 付加的ランダムノイズや差分プライバシーノイズによる勾配摂動について分析した。 本稿では,分散SGDをフェデレート学習において確保するための勾配リーク耐性手法を提案する。
  論文  参考訳（メタデータ） (2023-05-10T21:39:27Z)
• Policy Gradient for Rectangular Robust Markov Decision Processes [62.397882389472564]
  我々は,長方形ロバストなマルコフ決定過程(MDP)を効率的に解く政策ベース手法であるロバストなポリシー勾配(RPG)を導入する。 結果のRPGは、非ロバストな等価値と同じ時間のデータから推定することができる。
  論文  参考訳（メタデータ） (2023-01-31T12:40:50Z)
• On the convergence of policy gradient methods to Nash equilibria in general stochastic games [33.786186304912]
  ナッシュ均衡政策に関する政策勾配法の長期的挙動について検討する。 本稿では,REINFORCEアルゴリズムによって得られる勾配推定値を持つ政策勾配軌跡を$mathcalO (1/sqrtn)$ distance-squared convergence rate とする。
  論文  参考訳（メタデータ） (2022-10-17T08:51:59Z)
• A Regularized Implicit Policy for Offline Reinforcement Learning [54.7427227775581]
  オフラインの強化学習は、環境とのさらなるインタラクションなしに、固定データセットから学習を可能にする。 フレキシブルだが十分に調整された完全実装ポリシーの学習を支援するフレームワークを提案する。 D4RLデータセットの実験とアブレーション研究により、我々のフレームワークとアルゴリズム設計の有効性が検証された。
  論文  参考訳（メタデータ） (2022-02-19T20:22:04Z)
• Understanding the Effect of Stochasticity in Policy Optimization [86.7574122154668]
  最適化手法の優位性は、正確な勾配が用いられるかどうかに大きく依存することを示す。 次に,政策最適化におけるコミット率の概念を紹介する。 第三に、外部のオラクル情報がない場合には、収束を加速するために幾何を利用することと、最適性をほぼ確実に達成することとの間に本質的にトレードオフがあることが示される。
  論文  参考訳（メタデータ） (2021-10-29T06:35:44Z)
• Improper Learning with Gradient-based Policy Optimization [62.50997487685586]
  未知のマルコフ決定過程に対して学習者がmベースコントローラを与えられる不適切な強化学習設定を考える。 制御器の不適切な混合のクラス上で動作する勾配に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-16T14:53:55Z)
• Independent Policy Gradient Methods for Competitive Reinforcement Learning [62.91197073795261]
  2つのエージェントによる競争強化学習環境における独立学習アルゴリズムに対するグローバル・非漸近収束保証を得る。 本研究は,両選手がタンデムで政策勾配法を実行すると,学習率を2回ルールに従えば,その政策はゲームの最小均衡に収束することを示す。
  論文  参考訳（メタデータ） (2021-01-11T23:20:42Z)
• Batch Reinforcement Learning with a Nonparametric Off-Policy Policy Gradient [34.16700176918835]
  オフライン強化学習は、より良いデータ効率を約束する。 現在の非政治政策勾配法は、高いバイアスまたは高い分散に悩まされ、しばしば信頼できない見積もりを提供する。 閉形式で解ける非パラメトリックベルマン方程式を提案する。
  論文  参考訳（メタデータ） (2020-10-27T13:40:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。