論文の概要: Fusion-PSRO: Nash Policy Fusion for Policy Space Response Oracles
- arxiv url: http://arxiv.org/abs/2405.21027v4
- Date: Fri, 21 Jun 2024 04:28:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-24 19:07:12.517754
- Title: Fusion-PSRO: Nash Policy Fusion for Policy Space Response Oracles
- Title（参考訳）: Fusion-PSRO:Nash Policy Fusion for Policy Space Response Oracles
- Authors: Jiesong Lian,
- Abstract要約: ゼロサムゲームを解決するための一般的なアプローチは、Nash Equilibrium (NE) を近似するポリシーの集団を維持することである。
政策空間対応 Oracleは、そのようなゲームを解くための効果的なマルチエージェント強化学習フレームワークである。
BRの近似を改善するためにポリシーを初期化するためにポリシー融合を利用するFusion-PSROを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A popular approach for solving zero-sum games is to maintain populations of policies to approximate the Nash Equilibrium (NE). Previous studies have shown that Policy Space Response Oracle (PSRO) algorithm is an effective multi-agent reinforcement learning framework for solving such games. However, repeatedly training new policies from scratch to approximate Best Response (BR) to opponents' mixed policies at each iteration is both inefficient and costly. While some PSRO variants initialize a new policy by inheriting from past BR policies, this approach limits the exploration of new policies, especially against challenging opponents. To address this issue, we propose Fusion-PSRO, which employs policy fusion to initialize policies for better approximation to BR. By selecting high-quality base policies from meta-NE, policy fusion fuses the base policies into a new policy through model averaging. This approach allows the initialized policies to incorporate multiple expert policies, making it easier to handle difficult opponents compared to inheriting from past BR policies or initializing from scratch. Moreover, our method only modifies the policy initialization phase, allowing its application to nearly all PSRO variants without additional training overhead. Our experiments on non-transitive matrix games, Leduc Poker, and the more complex Liars Dice demonstrate that Fusion-PSRO enhances the performance of nearly all PSRO variants, achieving lower exploitability.
- Abstract（参考訳）: ゼロサムゲームを解決するための一般的なアプローチは、Nash Equilibrium (NE) を近似するポリシーの集団を維持することである。
これまでの研究では、ポリシー空間応答オラクル(PSRO)アルゴリズムが、そのようなゲームを解くための効果的なマルチエージェント強化学習フレームワークであることが示されている。
しかし、各イテレーションで相手の混合ポリシーに対して、スクラッチからBest Response(BR)を近似するために、新しいポリシーを繰り返し訓練することは、非効率かつコストがかかる。
いくつかのPSROは、過去のBRポリシーから継承することで、新しいポリシーを初期化するが、このアプローチは、特に挑戦する相手に対して、新しいポリシーの探索を制限する。
この問題に対処するために、政策融合を利用してBRの近似を改善するためのポリシーを初期化するFusion-PSROを提案する。
メタNEから高品質なベースポリシーを選択することで、ポリシー融合はベースポリシーをモデル平均化を通じて新しいポリシーに融合させる。
このアプローチにより、初期化されたポリシーが複数の専門家ポリシーを組み込むことができ、過去のBRポリシーを継承したり、スクラッチから初期化したりするよりも、難しい相手を扱うのが簡単になる。
さらに,本手法はポリシー初期化フェーズのみを修正し,PSROのほぼすべての変種を追加のトレーニングオーバーヘッドなく適用できるようにする。
非推移的行列ゲーム、Leduc Pokerおよびより複雑なLiars Diceに関する実験は、Fusion-PSROがほぼ全てのPSRO変種の性能を高め、より低い利用性を実現することを示した。
関連論文リスト
- Statistical Analysis of Policy Space Compression Problem [54.1754937830779]
政策探索手法は強化学習において重要であり、継続的な状態反応と部分的に観察可能な問題に対処するための枠組みを提供する。
政策圧縮による政策空間の削減は、学習プロセスを加速するための強力で報酬のないアプローチとして現れます。
この手法は方針空間をより小さく代表的な集合に凝縮し、元の効果のほとんどを維持している。
論文 参考訳（メタデータ） (2024-11-15T02:46:55Z) - WARP: On the Benefits of Weight Averaged Rewarded Policies [66.95013068137115]
ウェイトアベレード・リワード・ポリシー(WARP)という新しいアライメント戦略を導入する。
WARPは重量空間のポリシーを3つの異なる段階でマージする。
GEMMAポリシによる実験では、WARPが品質とアライメントを改善し、他のオープンソースLLMよりも優れています。
論文 参考訳（メタデータ） (2024-06-24T16:24:34Z) - A Simple Mixture Policy Parameterization for Improving Sample Efficiency of CVaR Optimization [33.752940941471756]
政策勾配(PG)を利用してリスク条件値(CVaR)を最適化する強化学習アルゴリズムは、サンプルの非効率性において重大な課題に直面している。
本稿では,リスクニュートラル政策と調整可能な政策を統合し,リスク・アバース政策を形成する簡易な混合政策パラメタライゼーションを提案する。
実験により、この混合パラメータ化は様々なベンチマーク領域で一意に有効であることが判明した。
論文 参考訳（メタデータ） (2024-03-17T02:24:09Z) - POTEC: Off-Policy Learning for Large Action Spaces via Two-Stage Policy
Decomposition [40.851324484481275]
大規模離散行動空間における文脈的バンディット政策の非政治的学習について検討する。
本稿では,2段階ポリシー分解によるポリシー最適化という新しい2段階アルゴリズムを提案する。
特に大規模かつ構造化された行動空間において,POTECはOPLの有効性を大幅に向上させることを示す。
論文 参考訳（メタデータ） (2024-02-09T03:01:13Z) - Last-Iterate Convergent Policy Gradient Primal-Dual Methods for
Constrained MDPs [107.28031292946774]
無限水平割引マルコフ決定過程(拘束型MDP)の最適ポリシの計算問題について検討する。
我々は, 最適制約付きポリシーに反復的に対応し, 非漸近収束性を持つ2つの単一スケールポリシーに基づく原始双対アルゴリズムを開発した。
我々の知る限り、この研究は制約付きMDPにおける単一時間スケールアルゴリズムの非漸近的な最後の収束結果となる。
論文 参考訳（メタデータ） (2023-06-20T17:27:31Z) - Policy Gradient in Robust MDPs with Global Convergence Guarantee [13.40471012593073]
Robust Markov決定プロセス(RMDP)は、モデルエラーに直面した信頼性の高いポリシーを計算するための有望なフレームワークを提供する。
本稿では、RMDPの汎用的ポリシー勾配法であるDRPG(Double-Loop Robust Policy Gradient)を提案する。
従来のロバストなポリシー勾配アルゴリズムとは対照的に、DRPGはグローバルな最適ポリシーへの収束を保証するために近似誤差を単調に削減する。
論文 参考訳（メタデータ） (2022-12-20T17:14:14Z) - CUP: Critic-Guided Policy Reuse [37.12379523150601]
Critic-gUided Policy reuse (CUP)は、任意の余分なコンポーネントのトレーニングを回避し、ソースポリシーを効率的に再利用するポリシー再利用アルゴリズムである。
CUPは、現在の目標ポリシーよりも最大の1段階の改善を持つソースポリシーを選択し、ガイダンスポリシーを形成する。
実験により、CUPは効率的な転送を実現し、ベースラインアルゴリズムを大幅に上回ることを示す。
論文 参考訳（メタデータ） (2022-10-15T00:53:03Z) - Memory-Constrained Policy Optimization [59.63021433336966]
政策勾配強化学習のための制約付き最適化手法を提案する。
我々は、過去の幅広い政策を表す別の仮想ポリシーの構築を通じて、第2の信頼領域を形成します。
そして、我々は、新しいポリシーをバーチャルポリシーに近づき続けるよう強制する。
論文 参考訳（メタデータ） (2022-04-20T08:50:23Z) - Hinge Policy Optimization: Rethinking Policy Improvement and
Reinterpreting PPO [6.33198867705718]
政策最適化は強化学習アルゴリズムを設計するための基本原理である。
優れた経験的性能にもかかわらず、PPO-clipは今まで理論的な証明によって正当化されていない。
PPO-クリップの変種に対する最適ポリシーへの大域収束を証明できるのはこれが初めてである。
論文 参考訳（メタデータ） (2021-10-26T15:56:57Z) - Stable Policy Optimization via Off-Policy Divergence Regularization [50.98542111236381]
信頼地域政策最適化(TRPO)とPPO(Pximal Policy Optimization)は、深層強化学習(RL)において最も成功した政策勾配アプローチの一つである。
本稿では, 連続的な政策によって引き起こされる割引状態-行動訪問分布を, 近接項で抑制し, 政策改善を安定化させる新しいアルゴリズムを提案する。
提案手法は, ベンチマーク高次元制御タスクの安定性と最終的な性能向上に有効である。
論文 参考訳（メタデータ） (2020-03-09T13:05:47Z) - BRPO: Batch Residual Policy Optimization [79.53696635382592]
バッチ強化学習では、学習したポリシーが行動(データ生成)ポリシーに近いように制約されることがよくある。
本稿では,学習方針の逸脱が国家の行動に依存した残留政策を提案する。
我々は,ポリシーと許容偏差の両方を学習し,政策性能の低い境界を共同で最大化する新しいRL法BRPOを導出する。
論文 参考訳（メタデータ） (2020-02-08T01:59:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。