論文の概要: POTEC: Off-Policy Learning for Large Action Spaces via Two-Stage Policy Decomposition

• arxiv url: http://arxiv.org/abs/2402.06151v1
• Date: Fri, 9 Feb 2024 03:01:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-12 18:04:58.433820
• Title: POTEC: Off-Policy Learning for Large Action Spaces via Two-Stage Policy Decomposition
• Title（参考訳）: POTEC:2段階政策分割による大規模行動空間のためのオフ・ポリティ・ラーニング
• Authors: Yuta Saito, Jihan Yao, Thorsten Joachims
• Abstract要約: 大規模離散行動空間における文脈的バンディット政策の非政治的学習について検討する。 本稿では,2段階ポリシー分解によるポリシー最適化という新しい2段階アルゴリズムを提案する。 特に大規模かつ構造化された行動空間において,POTECはOPLの有効性を大幅に向上させることを示す。
• 参考スコア（独自算出の注目度）: 40.851324484481275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study off-policy learning (OPL) of contextual bandit policies in large discrete action spaces where existing methods -- most of which rely crucially on reward-regression models or importance-weighted policy gradients -- fail due to excessive bias or variance. To overcome these issues in OPL, we propose a novel two-stage algorithm, called Policy Optimization via Two-Stage Policy Decomposition (POTEC). It leverages clustering in the action space and learns two different policies via policy- and regression-based approaches, respectively. In particular, we derive a novel low-variance gradient estimator that enables to learn a first-stage policy for cluster selection efficiently via a policy-based approach. To select a specific action within the cluster sampled by the first-stage policy, POTEC uses a second-stage policy derived from a regression-based approach within each cluster. We show that a local correctness condition, which only requires that the regression model preserves the relative expected reward differences of the actions within each cluster, ensures that our policy-gradient estimator is unbiased and the second-stage policy is optimal. We also show that POTEC provides a strict generalization of policy- and regression-based approaches and their associated assumptions. Comprehensive experiments demonstrate that POTEC provides substantial improvements in OPL effectiveness particularly in large and structured action spaces.
• Abstract（参考訳）: 既存の手法が報酬回帰モデルや重要度重み付けされた政策勾配に決定的に依存しているような、大規模な離散行動空間における文脈的バンディット政策の非政治学習(OPL)は、過度なバイアスやばらつきによって失敗する。 OPLにおけるこれらの問題を克服するため、我々は2段階ポリシー分解(POTEC)によるポリシー最適化と呼ばれる新しい2段階アルゴリズムを提案する。 アクション空間でクラスタリングを活用し、それぞれポリシーと回帰ベースのアプローチで2つの異なるポリシーを学習する。 特に,クラスタ選択のための第1段階ポリシをポリシベースアプローチで効率的に学習できる,新しい低分散勾配推定器を導出する。 第一段階ポリシーによってサンプリングされたクラスタ内の特定のアクションを選択するために、POTECは各クラスタ内の回帰ベースのアプローチから派生した第二段階ポリシーを使用する。 局所的正当性条件は、回帰モデルが各クラスタ内の行動の相対的な報酬差を保ち、我々の政策勾配推定器が偏りなく、第2段階の政策が最適であることを保証している。 また,政策と回帰に基づくアプローチの厳密な一般化と,それに関連する仮定を提供する。 総合的な実験により、特に大規模かつ構造化された行動空間において、POTECはOPLの有効性を大幅に改善することが示された。

関連論文リスト

• Last-Iterate Global Convergence of Policy Gradients for Constrained Reinforcement Learning [62.81324245896717]
  我々はC-PGと呼ばれる探索非依存のアルゴリズムを導入し、このアルゴリズムは(弱)勾配支配仮定の下でのグローバルな最終点収束を保証する。 制約付き制御問題に対して,我々のアルゴリズムを数値的に検証し,それらを最先端のベースラインと比較する。
  論文  参考訳（メタデータ） (2024-07-15T14:54:57Z)
• Fast Policy Learning for Linear Quadratic Control with Entropy Regularization [10.771650397337366]
  本稿では,レギュラー化政策勾配 (RPG) と反復政策最適化 (IPO) の2つの新しい政策学習手法を提案し,分析する。 正確な政策評価にアクセスできると仮定すると、どちらの手法も正規化されたLQCの最適ポリシーを見つける際に線形に収束することが証明される。
  論文  参考訳（メタデータ） (2023-11-23T19:08:39Z)
• Clipped-Objective Policy Gradients for Pessimistic Policy Optimization [3.2996723916635275]
  政策勾配法は、政策出力の有界変化を通じて単調な改善を図っている。 本研究では,PPOの性能を連続的な作用空間に適用した場合,目的の単純変化によって一貫した改善が期待できることを示す。 PPO と PPO の両目標に比較して, COPG の目標が平均的な「悲観的」であること, 2) この悲観主義は探索を促進させることを示した。
  論文  参考訳（メタデータ） (2023-11-10T03:02:49Z)
• Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
  本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。 D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
  論文  参考訳（メタデータ） (2023-08-28T20:46:07Z)
• Last-Iterate Convergent Policy Gradient Primal-Dual Methods for Constrained MDPs [107.28031292946774]
  無限水平割引マルコフ決定過程(拘束型MDP)の最適ポリシの計算問題について検討する。 我々は, 最適制約付きポリシーに反復的に対応し, 非漸近収束性を持つ2つの単一スケールポリシーに基づく原始双対アルゴリズムを開発した。 我々の知る限り、この研究は制約付きMDPにおける単一時間スケールアルゴリズムの非漸近的な最後の収束結果となる。
  論文  参考訳（メタデータ） (2023-06-20T17:27:31Z)
• Coordinate Ascent for Off-Policy RL with Global Convergence Guarantees [8.610425739792284]
  RLにおける非政治政策最適化の領域を再考する。 一般的に使用されるアプローチの1つは、代理目的を最適化するために、政治外の政策勾配を活用することである。 このアプローチは、分散ミスマッチの問題に悩まされていることが示されている。
  論文  参考訳（メタデータ） (2022-12-10T07:47:04Z)
• Supervised Off-Policy Ranking [145.3039527243585]
  オフポリシー評価(OPE)は、他のポリシーによって生成されたデータを活用して、ターゲットポリシーを評価する。 本稿では,訓練方針と既知の実績を正しくランク付けすることで,政策スコアリングモデルを学習する教師付き非政治ランキングを提案する。 本手法は,上位3つのポリシーのうち,最良と最良の双方のランク相関と性能差の両面から,強力なベースラインOPE法より優れる。
  論文  参考訳（メタデータ） (2021-07-03T07:01:23Z)
• Projection-Based Constrained Policy Optimization [34.555500347840805]
  我々は,PCPO (Projection-based Constrained Policy Optimization) という新しいアルゴリズムを提案する。 PCPOは、最先端の手法に比べて3.5倍以上の制約違反と約15%の報酬を達成している。
  論文  参考訳（メタデータ） (2020-10-07T04:22:45Z)
• Stable Policy Optimization via Off-Policy Divergence Regularization [50.98542111236381]
  信頼地域政策最適化(TRPO)とPPO(Pximal Policy Optimization)は、深層強化学習(RL)において最も成功した政策勾配アプローチの一つである。 本稿では, 連続的な政策によって引き起こされる割引状態-行動訪問分布を, 近接項で抑制し, 政策改善を安定化させる新しいアルゴリズムを提案する。 提案手法は, ベンチマーク高次元制御タスクの安定性と最終的な性能向上に有効である。
  論文  参考訳（メタデータ） (2020-03-09T13:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。