Fugu-MT 論文翻訳(概要): Proximal Deterministic Policy Gradient

論文の概要: Proximal Deterministic Policy Gradient

arxiv url: http://arxiv.org/abs/2008.00759v1
Date: Mon, 3 Aug 2020 10:19:59 GMT
ステータス: 処理完了
システム内更新日: 2022-11-03 05:46:49.017087
Title: Proximal Deterministic Policy Gradient
Title（参考訳）: 最近決定論的政策グラディエント
Authors: Marco Maggipinto and Gian Antonio Susto and Pratik Chaudhari
Abstract要約: 政治以外の強化学習(RL)アルゴリズムを改善するための2つの手法を提案する。我々は、現在最先端のオフポリシーアルゴリズムでよく使われている2つの値関数を利用して、改善されたアクション値推定を提供する。標準連続制御RLベンチマークにおいて,最先端アルゴリズムよりも高い性能向上を示す。
参考スコア（独自算出の注目度）: 20.951797549505986
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper introduces two simple techniques to improve off-policy Reinforcement Learning (RL) algorithms. First, we formulate off-policy RL as a stochastic proximal point iteration. The target network plays the role of the variable of optimization and the value network computes the proximal operator. Second, we exploits the two value functions commonly employed in state-of-the-art off-policy algorithms to provide an improved action value estimate through bootstrapping with limited increase of computational resources. Further, we demonstrate significant performance improvement over state-of-the-art algorithms on standard continuous-control RL benchmarks.
Abstract（参考訳）: 本稿では,オフポリシー強化学習(rl)アルゴリズムを改善するための2つの簡易手法を提案する。まず,オフポリシーrlを確率的近位点反復として定式化する。対象ネットワークは最適化の変数の役割を担い、値ネットワークは近位演算子を演算する。第二に、最先端のオフポリシーアルゴリズムでよく用いられる2つの値関数を利用して、ブートストラップによる行動価値の推定を改善し、計算資源の増大を抑える。さらに,標準連続制御RLベンチマークにおいて,最先端アルゴリズムよりも高い性能向上を示す。

関連論文リスト

Fast Two-Time-Scale Stochastic Gradient Method with Applications in Reinforcement Learning [5.325297567945828]
本稿では,従来の手法よりもはるかに高速な収束を実現する2段階最適化手法を提案する。提案アルゴリズムは,様々な条件下で特徴付けられ,オンラインサンプルベース手法に特化していることを示す。
論文参考訳（メタデータ） (2024-05-15T19:03:08Z)
Decoupled Prioritized Resampling for Offline RL [120.49021589395005]
オフライン強化学習のためのオフライン優先体験再生(OPER)を提案する。 OPERは、高度に反転する遷移を優先するように設計された優先順位関数のクラスを備えており、トレーニング中により頻繁に訪問することができる。優先順位関数のクラスは行動ポリシーの改善を誘導し、この改善されたポリシーに制約された場合、ポリシー制約付きオフラインRLアルゴリズムによりより良い解が得られる可能性が示唆された。
論文参考訳（メタデータ） (2023-06-08T17:56:46Z)
Quantile-Based Deep Reinforcement Learning using Two-Timescale Policy Gradient Algorithms [0.0]
ニューラルネットワークによるポリシー制御動作のパラメータ化を行い,QPO(Quantile-Based Policy Optimization)と呼ばれる新しいポリシー勾配アルゴリズムを提案する。数値計算の結果,提案アルゴリズムは量子的基準の下で既存のベースラインアルゴリズムより優れていたことが示唆された。
論文参考訳（メタデータ） (2023-05-12T04:47:02Z)
Offline Policy Optimization in RL with Variance Regularizaton [142.87345258222942]
定常分布補正を用いたオフラインRLアルゴリズムの分散正則化を提案する。 Fenchel双対性を用いることで、分散正規化器の勾配を計算するための二重サンプリング問題を回避することができることを示す。オフライン分散正規化アルゴリズム(OVAR)は,既存のオフラインポリシー最適化アルゴリズムを拡張できる。
論文参考訳（メタデータ） (2022-12-29T18:25:01Z)
Offline RL Without Off-Policy Evaluation [49.11859771578969]
政治Qを用いた制約付き/規則化された政策改善の一段階を単に行うだけで、行動方針の予測が驚くほどうまく機能することを示す。この1ステップのアルゴリズムは、D4RLベンチマークの大部分において、以前報告された反復アルゴリズムの結果を上回っている。
論文参考訳（メタデータ） (2021-06-16T16:04:26Z)
Average-Reward Off-Policy Policy Evaluation with Function Approximation [66.67075551933438]
平均報酬MDPの関数近似によるオフポリシ政策評価を検討する。ブートストラップは必要であり、オフポリシ学習とFAと一緒に、致命的なトライアドをもたらす。そこで本研究では,勾配型tdアルゴリズムの成功を再現する2つの新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-01-08T00:43:04Z)
Iterative Amortized Policy Optimization [147.63129234446197]
政策ネットワークは、継続的制御のための深層強化学習(RL)アルゴリズムの中心的な特徴である。変分推論の観点からは、ポリシーネットワークは、ポリシー分布を直接ではなく、ネットワークパラメータを最適化する、テキスト化最適化の一形態である。我々は,反復的アモート化ポリシ最適化により,ベンチマーク連続制御タスクの直接アモート化よりも性能が向上することが実証された。
論文参考訳（メタデータ） (2020-10-20T23:25:42Z)
Implementation Matters in Deep Policy Gradients: A Case Study on PPO and TRPO [90.90009491366273]
本稿では,2つの一般的なアルゴリズムのケーススタディにより,ディープポリシー勾配アルゴリズムにおけるアルゴリズムの進歩のルーツについて検討する。具体的には,「コードレベルの最適化」の結果について検討する。以上の結果から, (a) TRPOに対するPPOの累積報酬のほとんどを担っていることが示され, (b) RL メソッドの動作方法が根本的に変化していることが示唆された。
論文参考訳（メタデータ） (2020-05-25T16:24:59Z)
Mirror Descent Policy Optimization [41.46894905097985]
MDPO (Em mirror descent Policy Optimization) と呼ばれる効率的なRLアルゴリズムを提案する。 MDPOは、信頼領域問題を概ね解決することで、ポリシーを反復的に更新する。本稿では,オンラインMDPOと,TRPOとPPOという2つの一般的な信頼領域RLアルゴリズムの関連性を強調し,信頼領域制約を明示的に実施することは,TRPOの性能向上に必要ではないことを示す。
論文参考訳（メタデータ） (2020-05-20T01:30:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。