論文の概要: Implementation Matters in Deep Policy Gradients: A Case Study on PPO and TRPO

• arxiv url: http://arxiv.org/abs/2005.12729v1
• Date: Mon, 25 May 2020 16:24:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 05:47:17.342239
• Title: Implementation Matters in Deep Policy Gradients: A Case Study on PPO and TRPO
• Title（参考訳）: 深層政策グラディエントにおける実装課題:PPOとTRPOを事例として
• Authors: Logan Engstrom, Andrew Ilyas, Shibani Santurkar, Dimitris Tsipras, Firdaus Janoos, Larry Rudolph, Aleksander Madry
• Abstract要約: 本稿では,2つの一般的なアルゴリズムのケーススタディにより,ディープポリシー勾配アルゴリズムにおけるアルゴリズムの進歩のルーツについて検討する。 具体的には,「コードレベルの最適化」の結果について検討する。 以上の結果から, (a) TRPOに対するPPOの累積報酬のほとんどを担っていることが示され, (b) RL メソッドの動作方法が根本的に変化していることが示唆された。
• 参考スコア（独自算出の注目度）: 90.90009491366273
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the roots of algorithmic progress in deep policy gradient algorithms through a case study on two popular algorithms: Proximal Policy Optimization (PPO) and Trust Region Policy Optimization (TRPO). Specifically, we investigate the consequences of "code-level optimizations:" algorithm augmentations found only in implementations or described as auxiliary details to the core algorithm. Seemingly of secondary importance, such optimizations turn out to have a major impact on agent behavior. Our results show that they (a) are responsible for most of PPO's gain in cumulative reward over TRPO, and (b) fundamentally change how RL methods function. These insights show the difficulty and importance of attributing performance gains in deep reinforcement learning. Code for reproducing our results is available at https://github.com/MadryLab/implementation-matters .
• Abstract（参考訳）: 本稿では,PPO (Proximal Policy Optimization) とTRPO (Trust Region Policy Optimization) の2つのアルゴリズムをケーススタディとして,ディープポリシー勾配アルゴリズムのアルゴリズム進歩のルーツについて検討する。 具体的には,実装やコアアルゴリズムの補助的詳細として記述された"コードレベルの最適化:"アルゴリズム拡張の結果について検討する。 二次的な重要性を見れば、このような最適化はエージェントの振る舞いに大きな影響を与えることが分かる。 私たちの結果は (a) TRPOに対する累積報酬におけるPPOの利益の大部分を担い、 b) RL メソッドの機能を根本的に変える。 これらの知見は、深層強化学習における業績向上の難しさと重要性を示している。 結果の再現コードはhttps://github.com/MadryLab/implementation-matters で公開されている。

関連論文リスト

• Exploration-Driven Policy Optimization in RLHF: Theoretical Insights on Efficient Data Utilization [56.54271464134885]
  ポリシー最適化(PO-RLHF)に基づくRLHFアルゴリズムの検討 クエリの複雑さが低いPO-RLHFの性能バウンダリを提供する。 鍵となる新規性は、軌跡レベルの楕円ポテンシャル分析である。
  論文  参考訳（メタデータ） (2024-02-15T22:11:18Z)
• Secrets of RLHF in Large Language Models Part I: PPO [81.01936993929127]
  大規模言語モデル (LLMs) は、人工知能の進歩のためのブループリントを定式化した。 人間のフィードバックによる強化学習(RLHF)がこの追求を支える重要な技術パラダイムとして出現する。 本稿では、RLHFの枠組みを解明し、PPOの内部構造を再評価し、PPOアルゴリズムを構成する部分が政策エージェントの訓練にどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2023-07-11T01:55:24Z)
• Decoupled Prioritized Resampling for Offline RL [120.49021589395005]
  オフライン強化学習のためのオフライン優先体験再生(OPER)を提案する。 OPERは、高度に反転する遷移を優先するように設計された優先順位関数のクラスを備えており、トレーニング中により頻繁に訪問することができる。 優先順位関数のクラスは行動ポリシーの改善を誘導し、この改善されたポリシーに制約された場合、ポリシー制約付きオフラインRLアルゴリズムによりより良い解が得られる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-06-08T17:56:46Z)
• Hinge Policy Optimization: Rethinking Policy Improvement and Reinterpreting PPO [6.33198867705718]
  政策最適化は強化学習アルゴリズムを設計するための基本原理である。 優れた経験的性能にもかかわらず、PPO-clipは今まで理論的な証明によって正当化されていない。 PPO-クリップの変種に対する最適ポリシーへの大域収束を証明できるのはこれが初めてである。
  論文  参考訳（メタデータ） (2021-10-26T15:56:57Z)
• Offline RL Without Off-Policy Evaluation [49.11859771578969]
  政治Qを用いた制約付き/規則化された政策改善の一段階を単に行うだけで、行動方針の予測が驚くほどうまく機能することを示す。 この1ステップのアルゴリズムは、D4RLベンチマークの大部分において、以前報告された反復アルゴリズムの結果を上回っている。
  論文  参考訳（メタデータ） (2021-06-16T16:04:26Z)
• Proximal Policy Optimization via Enhanced Exploration Efficiency [6.2501569560329555]
  近似ポリシー最適化(PPO)アルゴリズムは、優れた性能を持つ深層強化学習アルゴリズムである。 本稿では,PPOアルゴリズムにおける元のガウス的行動探索機構の仮定を分析し,探索能力が性能に与える影響を明らかにする。 複雑な環境で使用可能な固有探査モジュール(IEM-PPO)を提案する。
  論文  参考訳（メタデータ） (2020-11-11T03:03:32Z)
• Proximal Deterministic Policy Gradient [20.951797549505986]
  政治以外の強化学習(RL)アルゴリズムを改善するための2つの手法を提案する。 我々は、現在最先端のオフポリシーアルゴリズムでよく使われている2つの値関数を利用して、改善されたアクション値推定を提供する。 標準連続制御RLベンチマークにおいて,最先端アルゴリズムよりも高い性能向上を示す。
  論文  参考訳（メタデータ） (2020-08-03T10:19:59Z)
• Population-Guided Parallel Policy Search for Reinforcement Learning [17.360163137926]
  都市外強化学習(RL)の性能向上を図るために,新たな人口誘導型並列学習手法を提案する。 提案手法では,複数の同一学習者が独自の値関数とポリシーを共用し,共通体験再生バッファを共有し,最良のポリシー情報のガイダンスと協調して適切なポリシーを探索する。
  論文  参考訳（メタデータ） (2020-01-09T10:13:57Z)
• Provably Efficient Exploration in Policy Optimization [117.09887790160406]
  本稿では,最適化アルゴリズム(OPPO)の最適変種を提案する。 OPPO は $tildeO(sqrtd2 H3 T )$ regret を達成する。 我々の知る限りでは、OPPOは、探索する最初の証明可能な効率的なポリシー最適化アルゴリズムである。
  論文  参考訳（メタデータ） (2019-12-12T08:40:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。