論文の概要: Correcting discount-factor mismatch in on-policy policy gradient methods

• arxiv url: http://arxiv.org/abs/2306.13284v1
• Date: Fri, 23 Jun 2023 04:10:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-26 13:46:20.233813
• Title: Correcting discount-factor mismatch in on-policy policy gradient methods
• Title（参考訳）: on-policy policygradient methodにおけるディスカウントファクタミスマッチの補正
• Authors: Fengdi Che, Gautham Vasan, A. Rupam Mahmood
• Abstract要約: 本稿では,ディスカウントされた定常分布を考慮した新しい分布補正を提案する。 我々のアルゴリズムは、いくつかのOpenAIジムとDeepMindスイートベンチマークにおいて、元のパフォーマンスと一貫して一致または上回っている。
• 参考スコア（独自算出の注目度）: 2.9005223064604078
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The policy gradient theorem gives a convenient form of the policy gradient in terms of three factors: an action value, a gradient of the action likelihood, and a state distribution involving discounting called the \emph{discounted stationary distribution}. But commonly used on-policy methods based on the policy gradient theorem ignores the discount factor in the state distribution, which is technically incorrect and may even cause degenerate learning behavior in some environments. An existing solution corrects this discrepancy by using $\gamma^t$ as a factor in the gradient estimate. However, this solution is not widely adopted and does not work well in tasks where the later states are similar to earlier states. We introduce a novel distribution correction to account for the discounted stationary distribution that can be plugged into many existing gradient estimators. Our correction circumvents the performance degradation associated with the $\gamma^t$ correction with a lower variance. Importantly, compared to the uncorrected estimators, our algorithm provides improved state emphasis to evade suboptimal policies in certain environments and consistently matches or exceeds the original performance on several OpenAI gym and DeepMind suite benchmarks.
• Abstract（参考訳）: ポリシー勾配定理は、アクション値、アクション可能性の勾配、および \emph{discounted stationary distribution} と呼ばれる割引を含む状態分布という3つの因子の観点で、ポリシー勾配の便利な形式を与える。 しかし、ポリシー勾配定理に基づくオンポリシー手法は、技術的に不正確であり、一部の環境において退化学習行動を引き起こす可能性がある状態分布のディスカウント因子を無視している。 既存の解はこの差を、勾配推定の因子として$\gamma^t$を用いて補正する。 しかし、この解は広く採用されておらず、後の状態が以前の状態と類似したタスクではうまく機能しない。 既存の勾配推定器に差し込むことのできる割引された定常分布を考慮した新しい分布補正を提案する。 我々の補正は,低分散の$\gamma^t$補正に伴う性能劣化を回避する。 重要なことは、修正されていない推定器と比較して、我々のアルゴリズムは、特定の環境における準最適ポリシーを回避し、いくつかのOpenAIジムとDeepMindスイートベンチマークで元のパフォーマンスに一貫した一致または超過する状態強調を提供する。

関連論文リスト

• Optimal Baseline Corrections for Off-Policy Contextual Bandits [61.740094604552475]
  オンライン報酬指標の偏りのないオフライン推定を最適化する意思決定ポリシーを学習することを目指している。 学習シナリオにおける同値性に基づく単一のフレームワークを提案する。 我々のフレームワークは、分散最適非バイアス推定器の特徴付けを可能にし、それに対する閉形式解を提供する。
  論文  参考訳（メタデータ） (2024-05-09T12:52:22Z)
• Policy Gradient with Active Importance Sampling [55.112959067035916]
  政策勾配法(PG法)はISの利点を大いに生かし、以前に収集したサンプルを効果的に再利用することができる。 しかし、ISは歴史的サンプルを再重み付けするための受動的ツールとしてRLに採用されている。 我々は、政策勾配のばらつきを減らすために、サンプルを収集する最良の行動ポリシーを模索する。
  論文  参考訳（メタデータ） (2024-05-09T09:08:09Z)
• Score-Aware Policy-Gradient Methods and Performance Guarantees using Local Lyapunov Conditions: Applications to Product-Form Stochastic Networks and Queueing Systems [1.747623282473278]
  本稿では,ネットワーク上の決定過程(MDP)から得られる定常分布のタイプを利用したモデル強化学習(RL)のポリシー段階的手法を提案する。 具体的には、政策パラメータによってMDPの定常分布がパラメータ化されている場合、平均回帰推定のための既存の政策手法を改善することができる。
  論文  参考訳（メタデータ） (2023-12-05T14:44:58Z)
• Revisiting Estimation Bias in Policy Gradients for Deep Reinforcement Learning [0.0]
  我々は、Deep Reinforcement Learningの観点から、割引されたエピソードマルコフ決定プロセス(MDP)の政策勾配の推定バイアスを再考する。 主要な政策バイアスの1つは、州の分散シフトである。 このような状態分布シフトにもかかわらず、政策勾配推定バイアスは以下の3つの方法で低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-20T06:46:43Z)
• The Role of Baselines in Policy Gradient Optimization [83.42050606055822]
  Emphstateのバリューベースラインが、オン・ポリティクスを可能にしていることを示す。 世界的な最適な政策勾配(NPG)に収束する。 O (1/t) レート勾配でのポリシー。 値ベースラインの主な効果は、その分散ではなく、更新のアグレッシブさをthabfreduceすることにある。
  論文  参考訳（メタデータ） (2023-01-16T06:28:00Z)
• A Temporal-Difference Approach to Policy Gradient Estimation [27.749993205038148]
  本稿では,特定のサンプリング戦略を必要とせず,開始状態から方針勾配を再構築する新しい手法を提案する。 本研究では、非政治データストリームからの勾配批判の時間差更新を用いて、分散シフト問題をモデル無しでサイドステップする最初の推定器を開発する。
  論文  参考訳（メタデータ） (2022-02-04T21:23:33Z)
• Improper Learning with Gradient-based Policy Optimization [62.50997487685586]
  未知のマルコフ決定過程に対して学習者がmベースコントローラを与えられる不適切な強化学習設定を考える。 制御器の不適切な混合のクラス上で動作する勾配に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-16T14:53:55Z)
• Implicit Distributional Reinforcement Learning [61.166030238490634]
  2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC) 半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。 我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
  論文  参考訳（メタデータ） (2020-07-13T02:52:18Z)
• Minimax-Optimal Off-Policy Evaluation with Linear Function Approximation [49.502277468627035]
  本稿では,関数近似を用いたバッチデータ強化学習の統計的理論について検討する。 記録履歴から新たな対象政策の累積値を推定するオフ・ポリティクス評価問題を考察する。
  論文  参考訳（メタデータ） (2020-02-21T19:20:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。