論文の概要: Variance Penalized On-Policy and Off-Policy Actor-Critic

• arxiv url: http://arxiv.org/abs/2102.01985v1
• Date: Wed, 3 Feb 2021 10:06:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-04 17:48:03.257376
• Title: Variance Penalized On-Policy and Off-Policy Actor-Critic
• Title（参考訳）: 分散刑罰のオン・ポリシーとオフ・ポリシー・アクタ-クリティック
• Authors: Arushi Jain, Gandharv Patil, Ayush Jain, Khimya Khetarpal, Doina Precup
• Abstract要約: 本稿では,平均値と変動値の両方を含むパフォーマンス基準を最適化する,オン・ポリティィおよびオフ・ポリティィ・アクター・クリティカルなアルゴリズムを提案する。 提案手法は, アクタ批判的かつ事前の分散-ペナライゼーションベースラインに匹敵するだけでなく, リターンのばらつきが低いトラジェクトリも生成する。
• 参考スコア（独自算出の注目度）: 60.06593931848165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning algorithms are typically geared towards optimizing the expected return of an agent. However, in many practical applications, low variance in the return is desired to ensure the reliability of an algorithm. In this paper, we propose on-policy and off-policy actor-critic algorithms that optimize a performance criterion involving both mean and variance in the return. Previous work uses the second moment of return to estimate the variance indirectly. Instead, we use a much simpler recently proposed direct variance estimator which updates the estimates incrementally using temporal difference methods. Using the variance-penalized criterion, we guarantee the convergence of our algorithm to locally optimal policies for finite state action Markov decision processes. We demonstrate the utility of our algorithm in tabular and continuous MuJoCo domains. Our approach not only performs on par with actor-critic and prior variance-penalization baselines in terms of expected return, but also generates trajectories which have lower variance in the return.
• Abstract（参考訳）: 強化学習アルゴリズムは、通常、エージェントの期待されるリターンを最適化する。 しかし、多くの実用的な応用において、アルゴリズムの信頼性を確保するためにリターンのばらつきが低いことが望まれる。 本稿では,平均値と分散値の両方を含むパフォーマンス基準を最適化するオンポリシーおよびオフポリシーアクタークリティカルアルゴリズムを提案する。 以前の仕事は、間接的に分散を推定するために戻りの2番目の瞬間を使用します。 代わりに,最近提案されているより単純な直接分散推定器を用いて,時間差法を用いて推定値を漸進的に更新する。 分散ペナライズド基準を用いて,有限状態マルコフ決定過程に対する局所最適ポリシーへのアルゴリズムの収束を保証する。 表および連続MuJoCoドメインにおけるアルゴリズムの有用性を実証する。 私たちのアプローチは、期待されるリターンの点でアクター・クリティカルおよび以前の分散・ペナライゼーションのベースラインと同等に機能するだけでなく、リターンの分散度が低い軌道も生成します。

関連論文リスト

• Policy Gradient with Active Importance Sampling [55.112959067035916]
  政策勾配法(PG法)はISの利点を大いに生かし、以前に収集したサンプルを効果的に再利用することができる。 しかし、ISは歴史的サンプルを再重み付けするための受動的ツールとしてRLに採用されている。 我々は、政策勾配のばらつきを減らすために、サンプルを収集する最良の行動ポリシーを模索する。
  論文  参考訳（メタデータ） (2024-05-09T09:08:09Z)
• Maximum-Likelihood Inverse Reinforcement Learning with Finite-Time Guarantees [56.848265937921354]
  逆強化学習(IRL)は報酬関数と関連する最適ポリシーを回復することを目的としている。 IRLの多くのアルゴリズムは本質的にネスト構造を持つ。 我々は、報酬推定精度を損なわないIRLのための新しいシングルループアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-10-04T17:13:45Z)
• Offline RL Without Off-Policy Evaluation [49.11859771578969]
  政治Qを用いた制約付き/規則化された政策改善の一段階を単に行うだけで、行動方針の予測が驚くほどうまく機能することを示す。 この1ステップのアルゴリズムは、D4RLベンチマークの大部分において、以前報告された反復アルゴリズムの結果を上回っている。
  論文  参考訳（メタデータ） (2021-06-16T16:04:26Z)
• Variance-Reduced Off-Policy Memory-Efficient Policy Search [61.23789485979057]
  政治政策の最適化は強化学習において難しい問題である。 オフポリシーアルゴリズムはメモリ効率が高く、オフポリシーサンプルから学ぶことができる。
  論文  参考訳（メタデータ） (2020-09-14T16:22:46Z)
• Risk-Sensitive Markov Decision Processes with Combined Metrics of Mean and Variance [3.062772835338966]
  本稿では,長期平均値を持つ無限段階離散時間マルコフ決定過程(MDP)の最適化問題について検討する。 性能差式が導出され、任意の2つの異なるポリシーの下で、MPPの平均分散結合メトリクスの差を定量化することができる。 最適政策の必要条件と決定論的政策の最適性が導出される。
  論文  参考訳（メタデータ） (2020-08-09T10:35:35Z)
• Is Temporal Difference Learning Optimal? An Instance-Dependent Analysis [102.29671176698373]
  我々は、割引決定過程における政策評価の問題に対処し、生成モデルの下で、ll_infty$errorに対するマルコフに依存した保証を提供する。 我々は、ポリシー評価のために、局所ミニマックス下限の両漸近バージョンと非漸近バージョンを確立し、アルゴリズムを比較するためのインスタンス依存ベースラインを提供する。
  論文  参考訳（メタデータ） (2020-03-16T17:15:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。