論文の概要: Achieve Performatively Optimal Policy for Performative Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2510.04430v1
• Date: Mon, 06 Oct 2025 01:56:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.645383
• Title: Achieve Performatively Optimal Policy for Performative Reinforcement Learning
• Title（参考訳）: 適応的強化学習のための適応的最適政策の達成
• Authors: Ziyi Chen, Heng Huang,
• Abstract要約: 本研究は,0階次FrankWolfe- (0FW) アルゴリズムを提案する。 実験結果から, 所望のPOポリシを求める場合, 既存の近似よりも0FWの方が有効であることが示唆された。
• 参考スコア（独自算出の注目度）: 55.983627302691424
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Performative reinforcement learning is an emerging dynamical decision making framework, which extends reinforcement learning to the common applications where the agent's policy can change the environmental dynamics. Existing works on performative reinforcement learning only aim at a performatively stable (PS) policy that maximizes an approximate value function. However, there is a provably positive constant gap between the PS policy and the desired performatively optimal (PO) policy that maximizes the original value function. In contrast, this work proposes a zeroth-order Frank-Wolfe algorithm (0-FW) algorithm with a zeroth-order approximation of the performative policy gradient in the Frank-Wolfe framework, and obtains \textbf{the first polynomial-time convergence to the desired PO} policy under the standard regularizer dominance condition. For the convergence analysis, we prove two important properties of the nonconvex value function. First, when the policy regularizer dominates the environmental shift, the value function satisfies a certain gradient dominance property, so that any stationary point (not PS) of the value function is a desired PO. Second, though the value function has unbounded gradient, we prove that all the sufficiently stationary points lie in a convex and compact policy subspace $\Pi_{\Delta}$, where the policy value has a constant lower bound $\Delta>0$ and thus the gradient becomes bounded and Lipschitz continuous. Experimental results also demonstrate that our 0-FW algorithm is more effective than the existing algorithms in finding the desired PO policy.
• Abstract（参考訳）: 適応的強化学習(Performative reinforcement learning)は、エージェントのポリシーが環境力学を変えることができる一般的なアプリケーションに強化学習を拡張する、動的意思決定フレームワークである。 実演強化学習に関する既存の研究は、近似値関数を最大化する実演安定(PS)ポリシーのみを対象としている。 しかし、PSポリシーと、元の値関数を最大化する所望のパフォーマンス最適(PO)ポリシーの間には、確実に正のギャップがある。 これとは対照的に、Frank-Wolfe フレームワークにおけるパフォーマンスポリシー勾配のゼロ階近似を用いたゼロ階Frank-Wolfe アルゴリズム (0-FW) を提案し、標準正規化器支配条件の下で所望のPO} ポリシーに対する最初の多項式時間収束性を得る。 収束解析では、非凸値関数の2つの重要な性質を証明している。 まず、ポリシー正則化器が環境シフトを支配するとき、値関数は一定の勾配支配性を満たすので、値関数の静止点(PSではない)が所望のPOとなる。 第二に、値関数は非有界勾配を持つが、十分定常なすべての点は凸かつコンパクトなポリシー部分空間 $\Pi_{\Delta}$ にあることを証明している。 また, 提案アルゴリズムは, 所望のPOポリシの探索において, 既存のアルゴリズムよりも有効であることを示す。

関連論文リスト

• Convergence and Sample Complexity of First-Order Methods for Agnostic Reinforcement Learning [66.4260157478436]
  政策学習における強化学習について検討する。 目的は、特定の種類の利害関係において最高の政策と競争力のある政策を見つけることである。
  論文  参考訳（メタデータ） (2025-07-06T14:40:05Z)
• Rethinking the Global Convergence of Softmax Policy Gradient with Linear Function Approximation [52.772454746132276]
  問題依存量のモデル化における近似誤差は,アルゴリズムのグローバル収束とは無関係であることを示す。 我々は,任意の定値学習率を持つ$textttLin-SPG$が,最適ポリシーへのグローバル収束を保証することを証明した。
  論文  参考訳（メタデータ） (2025-05-06T04:03:06Z)
• Confident Natural Policy Gradient for Local Planning in $q_π$-realizable Constrained MDPs [44.69257217086967]
  制約付きマルコフ決定プロセス(CMDP)フレームワークは、安全性や他の重要な目的を課すための重要な強化学習アプローチとして出現する。 本稿では,線形関数近似が$q_pi$-realizabilityで与えられる学習問題に対処する。
  論文  参考訳（メタデータ） (2024-06-26T17:57:13Z)
• Last-Iterate Convergent Policy Gradient Primal-Dual Methods for Constrained MDPs [107.28031292946774]
  無限水平割引マルコフ決定過程(拘束型MDP)の最適ポリシの計算問題について検討する。 我々は, 最適制約付きポリシーに反復的に対応し, 非漸近収束性を持つ2つの単一スケールポリシーに基づく原始双対アルゴリズムを開発した。 我々の知る限り、この研究は制約付きMDPにおける単一時間スケールアルゴリズムの非漸近的な最後の収束結果となる。
  論文  参考訳（メタデータ） (2023-06-20T17:27:31Z)
• The Role of Baselines in Policy Gradient Optimization [83.42050606055822]
  Emphstateのバリューベースラインが、オン・ポリティクスを可能にしていることを示す。 世界的な最適な政策勾配(NPG)に収束する。 O (1/t) レート勾配でのポリシー。 値ベースラインの主な効果は、その分散ではなく、更新のアグレッシブさをthabfreduceすることにある。
  論文  参考訳（メタデータ） (2023-01-16T06:28:00Z)
• Neural Network Compatible Off-Policy Natural Actor-Critic Algorithm [16.115903198836694]
  既存のデータから最適な行動を学ぶことは、強化学習(RL)における最も重要な問題の1つである。 エージェントの目的は、与えられたポリシー(行動ポリシーとして知られる)から得られたデータに基づいて最適なポリシーを計算することである。 本研究は,非政治行動と自然政策勾配を扱うために状態-行動分布補正を利用する,非政治的自然なアクター-批判的アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-19T14:36:45Z)
• Fast Global Convergence of Natural Policy Gradient Methods with Entropy Regularization [44.24881971917951]
  自然政策勾配法(NPG)は、最も広く使われている政策最適化アルゴリズムの一つである。 我々は,ソフトマックスパラメータ化の下で,エントロピー規則化NPG法に対する収束保証を開発する。 この結果から, エントロピー正則化の役割を浮き彫りにした。
  論文  参考訳（メタデータ） (2020-07-13T17:58:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。