Fugu-MT 論文翻訳(概要): Hindsight Experience Replay Accelerates Proximal Policy Optimization

論文の概要: Hindsight Experience Replay Accelerates Proximal Policy Optimization

arxiv url: http://arxiv.org/abs/2410.22524v1
Date: Tue, 29 Oct 2024 20:37:23 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-31 14:27:07.812908
Title: Hindsight Experience Replay Accelerates Proximal Policy Optimization
Title（参考訳）: Hindsight Experience Replayがポリシー最適化を加速
Authors: Douglas C. Crowder, Darrien M. McKenzie, Matthew L. Trappett, Frances S. Chance,
Abstract要約: Hindsight Experience Replay(HER)は、スパース報酬を発行する環境に対する、政治外の強化学習アルゴリズムを加速する。観測されたゴールのホック後の修正は、オン・ポリティクス・アルゴリズムの仮定に反するので、HERは通常、オン・ポリティクス・アルゴリズムには適用されない。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: Hindsight experience replay (HER) accelerates off-policy reinforcement learning algorithms for environments that emit sparse rewards by modifying the goal of the episode post-hoc to be some state achieved during the episode. Because post-hoc modification of the observed goal violates the assumptions of on-policy algorithms, HER is not typically applied to on-policy algorithms. Here, we show that HER can dramatically accelerate proximal policy optimization (PPO), an on-policy reinforcement learning algorithm, when tested on a custom predator-prey environment.
Abstract（参考訳）: Hindsight Experience Replay(HER)は、ホック後のエピソードの目標を、エピソード中に達成された状態に修正することで、スパース報酬を発生させる環境に対する、政治外の強化学習アルゴリズムを加速する。観測されたゴールのホック後の修正は、オン・ポリティクス・アルゴリズムの仮定に反するので、HERは通常、オン・ポリティクス・アルゴリズムには適用されない。そこで本研究では,HERが独自の捕食者・捕食者環境でテストした場合に,PPO(Phyximal Policy Optimization)を劇的に高速化できることを示す。

関連論文リスト

Maximum Entropy Hindsight Experience Replay [0.0]
HERは、ゴールベースのPredator-Prey環境に対して、PPO(proximal policy optimization)のような、政治上のアルゴリズムを高速化できることを示す。我々は,HERを原理的に選択的に適用することにより,従来のPPO-HERアルゴリズムを改善することができることを示す。
論文参考訳（メタデータ） (2024-10-31T15:18:37Z)
Adversarial Style Transfer for Robust Policy Optimization in Deep Reinforcement Learning [13.652106087606471]
本稿では,特徴量に対する過度な適合を取り除き,強化学習エージェントの一般化をめざすアルゴリズムを提案する。政策ネットワークは、そのパラメータを更新し、そのような摂動の影響を最小限に抑え、将来期待される報酬を最大化しながら頑健に維持する。一般化とサンプル効率向上のためのProcgen and Distracting Control Suiteに対するアプローチを評価した。
論文参考訳（メタデータ） (2023-08-29T18:17:35Z)
Acceleration in Policy Optimization [50.323182853069184]
我々は、楽観的かつ適応的な更新を通じて、政策改善のステップにフォレストを組み込むことにより、強化学習(RL)における政策最適化手法を加速するための統一パラダイムに向けて研究する。我々は、楽観主義を、政策の将来行動の予測モデルとして定義し、適応性は、過度な予測や変化に対する遅延反応からエラーを軽減するために、即時かつ予測的な修正措置をとるものである。我々は,メタグラディエント学習による適応型楽観的ポリシー勾配アルゴリズムを設計し,実証的なタスクにおいて,加速度に関連するいくつかの設計選択を実証的に強調する。
論文参考訳（メタデータ） (2023-06-18T15:50:57Z)
EnTRPO: Trust Region Policy Optimization Method with Entropy Regularization [1.599072005190786]
信頼地域政策最適化(Trust Region Policy Optimization, TRPO)は、強化学習における政策探索アルゴリズムである。本研究では、リプレイバッファを用いて、政治以外の学習環境からTRPOに借用する。 TRPO において、時間ステップで蓄積される pi の利点を生かすためにエントロピー正則化項を付加する。
論文参考訳（メタデータ） (2021-10-26T03:04:00Z)
Variance Reduction based Experience Replay for Policy Optimization [3.0790370651488983]
Variance Reduction Experience Replay (VRER) は、政策勾配推定を改善するために、関連するサンプルを選択的に再利用するためのフレームワークである。 VRERは、VRERによるポリシーグラディエントとして知られる、効率的な非政治学習アルゴリズムの基盤となる。
論文参考訳（メタデータ） (2021-10-17T19:28:45Z)
Offline RL Without Off-Policy Evaluation [49.11859771578969]
政治Qを用いた制約付き/規則化された政策改善の一段階を単に行うだけで、行動方針の予測が驚くほどうまく機能することを示す。この1ステップのアルゴリズムは、D4RLベンチマークの大部分において、以前報告された反復アルゴリズムの結果を上回っている。
論文参考訳（メタデータ） (2021-06-16T16:04:26Z)
Variance-Reduced Off-Policy Memory-Efficient Policy Search [61.23789485979057]
政治政策の最適化は強化学習において難しい問題である。オフポリシーアルゴリズムはメモリ効率が高く、オフポリシーサンプルから学ぶことができる。
論文参考訳（メタデータ） (2020-09-14T16:22:46Z)
DDPG++: Striving for Simplicity in Continuous-control Off-Policy Reinforcement Learning [95.60782037764928]
過大評価バイアスが制御される限り、単純な決定論的政策勾配は著しく機能することを示す。第二に、非政治的なアルゴリズムの典型であるトレーニングの不安定性を、欲張りのポリシー更新ステップに向ける。第3に、確率推定文学におけるアイデアは、リプレイバッファからの重要サンプル遷移や、性能劣化を防ぐためのポリシー更新に利用できることを示す。
論文参考訳（メタデータ） (2020-06-26T20:21:12Z)
Implementation Matters in Deep Policy Gradients: A Case Study on PPO and TRPO [90.90009491366273]
本稿では,2つの一般的なアルゴリズムのケーススタディにより,ディープポリシー勾配アルゴリズムにおけるアルゴリズムの進歩のルーツについて検討する。具体的には,「コードレベルの最適化」の結果について検討する。以上の結果から, (a) TRPOに対するPPOの累積報酬のほとんどを担っていることが示され, (b) RL メソッドの動作方法が根本的に変化していることが示唆された。
論文参考訳（メタデータ） (2020-05-25T16:24:59Z)
Accelerating Deep Reinforcement Learning With the Aid of Partial Model: Energy-Efficient Predictive Video Streaming [97.75330397207742]
深層強化学習を用いて,モバイルネットワーク上でのエネルギー効率の高いビデオストリーミングのための予測電力割り当てを考案した。連続状態と行動空間を扱うために、我々はDeep Deterministic Policy gradient (DDPG)アルゴリズムを利用する。シミュレーションの結果,提案手法は完全大規模チャネル予測に基づいて導出される最適方針に収束することが示された。
論文参考訳（メタデータ） (2020-03-21T17:36:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。