論文の概要: Conservative Policy Iteration For Zero-Sum POSGs

• arxiv url: http://arxiv.org/abs/2610.36847v1
• Date: Tue, 27 Oct 2026 08:45:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-29 04:15:49.247873
• Title: Conservative Policy Iteration For Zero-Sum POSGs
• Title（参考訳）: ゼロサムPOSGの保守的政策イテレーション
• Abstract要約: 有限水平zs-POSGに対する近似的ポリシーイテレーションアルゴリズムを提案する。 この方法はプレイヤーごとに1つのポリシーを維持し、保守的なポリシー更新によって誘導される占有軌道に沿って共同で更新する。 有限ホライゾンゼロサムPOSGベンチマークでは、この手法は小さな地平線において競争力があり、より大きな地平線でのランタイム・エクスロイタビリティトレードオフを改善することがしばしばある。
• 参考スコア（独自算出の注目度）: 3.746889836344766
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Occupancy-state reductions make dynamic programming possible for zero-sum partially observable stochastic games (zs-POSGs). Existing point-based solvers usually optimise a central value function. This restores Bellman recursion, but it requires point-based updates over high-dimensional occupancy spaces. We introduce an approximate policy-iteration algorithm for finite-horizon zs-POSGs. The method maintains one policy per player and updates both jointly along occupancy trajectories induced by conservative policy updates. Instead of approximating a full central value function, each update uses a single supporting hyperplane induced by the current joint policy. The algorithm alternates local policy improvements, conservative updates, and persistent exploration. Computation is therefore concentrated on occupancy regions where the current joint policy is exploitable. On finite-horizon zero-sum POSG benchmarks, the method is competitive at small horizons and often improves the runtime-exploitability trade-off at larger horizons compared with PBVI, HSVI, and CFR+.
• Abstract（参考訳）: 占有状態の減少は、ゼロサム部分可観測確率ゲーム(zs-POSGs)の動的プログラミングを可能にする。 既存の点ベースの解法は通常、中心値関数を最適化する。 これはベルマン再帰を復元するが、高次元占有空間上の点ベースの更新を必要とする。 有限水平zs-POSGに対する近似的ポリシーイテレーションアルゴリズムを提案する。 この方法はプレイヤーごとに1つのポリシーを維持し、保守的なポリシー更新によって引き起こされる占有軌道に沿って、双方を共同で更新する。 完全な中心値関数を近似する代わりに、各更新は現在の合同ポリシーによって誘導される1つの支持超平面を使用する。 このアルゴリズムは、ローカルポリシーの改善、保守的な更新、永続的な探索を交互に行う。 したがって計算は現在の共同政策が活用可能な占領地域に集中している。 有限ホライゾンゼロサムPOSGベンチマークでは、この手法は小さな地平線において競争力があり、PBVI、HSVI、CFR+と比較して、より大きな地平線でのランタイム・エクスロイタビリティトレードオフを改善することがしばしばある。

関連論文リスト

• Closing the Horizon Gap in Policy Optimization for Adversarial MDPs [12.70261661948628]
  正規化された$Q$関数を使用して、すべての状態-動作ペアに対して共同でローカル更新の安定性を制御する。 得られたアルゴリズムは、既知の遷移に対して$widetilde O(sqrtHS(H+A)T)$、未知遷移に対して$widetilde O(HSsqrtAT)$の高確率後悔境界を得る。 我々は,逆線形混合MDPにアルゴリズムを拡張し,地平面依存性を改良した。
  論文  参考訳（メタデータ） (2026-10-08T17:26:55Z)
• Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent [53.828537014796574]
  オンラインの非政治強化学習(RL)は、ポリシークラスと更新ルールの2つの選択肢によって構成されている。 我々は、MeanFlow変換を通じてノイズをアクションにマッピングする一段階生成ポリシークラスであるMeanFlow Policiesを提案する。 7つのMuJoCoベンチマークで、Sは1ステップの推論効率を維持しながら、ガウスおよび生成ベースラインを改善する。
  論文  参考訳（メタデータ） (2026-05-20T15:14:14Z)
• Approximate Next Policy Sampling: Replacing Conservative Target Policy Updates in Deep RL [2.2592563948275486]
  ポリシーを改善するためには、更新されたポリシーの状態視認分布について、値関数を正確にする必要がある。 保守的な更新はこの問題を解決しますが、ポリシー更新を縮小するコストがかかります。 本稿では,次世代政策サンプリング(ANPS)の代替手法について検討する。 トレーニングデータの分布が次のポリシと近似した場合、ANPSは満足する。
  論文  参考訳（メタデータ） (2026-05-06T22:02:35Z)
• Achieve Performatively Optimal Policy for Performative Reinforcement Learning [55.983627302691424]
  本研究は,0階次FrankWolfe- (0FW) アルゴリズムを提案する。 実験結果から, 所望のPOポリシを求める場合, 既存の近似よりも0FWの方が有効であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-06T01:56:31Z)
• Last-Iterate Convergent Policy Gradient Primal-Dual Methods for Constrained MDPs [107.28031292946774]
  無限水平割引マルコフ決定過程(拘束型MDP)の最適ポリシの計算問題について検討する。 我々は, 最適制約付きポリシーに反復的に対応し, 非漸近収束性を持つ2つの単一スケールポリシーに基づく原始双対アルゴリズムを開発した。 我々の知る限り、この研究は制約付きMDPにおける単一時間スケールアルゴリズムの非漸近的な最後の収束結果となる。
  論文  参考訳（メタデータ） (2023-06-20T17:27:31Z)
• On the Hidden Biases of Policy Mirror Ascent in Continuous Action Spaces [23.186300629667134]
  重み付きパラメータ化の下でのポリシー勾配アルゴリズムの収束性について検討する。 我々の主要な理論的貢献は、このスキームが一定のステップとバッチサイズに収束することである。
  論文  参考訳（メタデータ） (2022-01-28T18:54:30Z)
• Robust and Adaptive Temporal-Difference Learning Using An Ensemble of Gaussian Processes [70.80716221080118]
  本稿では、時間差学習(TD)による政策評価の世代的視点について考察する。 OS-GPTDアプローチは、状態-逆ペアのシーケンスを観測することにより、与えられたポリシーの値関数を推定するために開発された。 1つの固定カーネルに関連する限られた表現性を緩和するために、GP前の重み付けアンサンブル(E)を用いて代替のスキームを生成する。
  論文  参考訳（メタデータ） (2021-12-01T23:15:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。