Fugu-MT 論文翻訳(概要): Rewarded Region Replay (R3) for Policy Learning with Discrete Action Space

論文の概要: Rewarded Region Replay (R3) for Policy Learning with Discrete Action Space

arxiv url: http://arxiv.org/abs/2405.16383v1
Date: Sun, 26 May 2024 00:01:29 GMT
ステータス: 処理完了
システム内更新日: 2024-05-28 21:37:49.515213
Title: Rewarded Region Replay (R3) for Policy Learning with Discrete Action Space
Title（参考訳）: 離散行動空間を用いた政策学習のためのRewarded Region Replay(R3)
Authors: Bangzheng Li, Ningshan Ma, Zifan Wang,
Abstract要約: 本稿では,個別な行動空間を持つ環境において,PPOを大幅に改善するRewarded Region Replay (R3)を紹介する。 R3は、ある閾値を超える報酬を持つ過去の成功した軌道を含む再生バッファを使用することで、サンプリング効率を向上させる。その結果、R3はミニグリッド環境でのPPOよりも顕著に優れており、スパース報酬と離散アクション空間があることがわかった。
参考スコア（独自算出の注目度）: 11.509626633260327
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We introduce a new on-policy algorithm called Rewarded Region Replay (R3), which significantly improves on PPO in solving environments with discrete action spaces. R3 improves sample efficiency by using a replay buffer which contains past successful trajectories with reward above a certain threshold, which are used to update a PPO agent with importance sampling. Crucially, we discard the importance sampling factors which are above a certain ratio to reduce variance and stabilize training. We found that R3 significantly outperforms PPO in Minigrid environments with sparse rewards and discrete action space, such as DoorKeyEnv and CrossingEnv, and moreover we found that the improvement margin of our method versus baseline PPO increases with the complexity of the environment. We also benchmarked the performance of R3 against DDQN (Double Deep Q-Network), which is a standard baseline in off-policy methods for discrete actions, and found that R3 also outperforms DDQN agent in DoorKeyEnv. Lastly, we adapt the idea of R3 to dense reward setting to obtain the Dense R3 algorithm (or DR3) and benchmarked it against PPO on Cartpole-V1 environment. We found that DR3 outperforms PPO significantly on this dense reward environment. Our code can be found at https://github.com/chry-santhemum/R3.
Abstract（参考訳）: 我々は、個別の行動空間を持つ環境におけるPPOの大幅な改善を行う、Rewarded Region Replay (R3) と呼ばれる新しいオンデマンドアルゴリズムを導入する。 R3は、ある閾値を超える報酬で過去の成功した軌道を含むリプレイバッファを使用し、重要なサンプリングでPPOエージェントを更新するために使用されるサンプリング効率を向上させる。重要なことは、分散を減らし、トレーニングを安定させるために、特定の比率以上の重要なサンプリング要素を廃棄する。また,DorKeyEnvやCrossingEnvなど,スプリットな報酬と離散的なアクション空間を持つミニグリッド環境において,R3はPPOよりも有意に優れており,さらに,本手法とベースラインPPOの改善マージンは,環境の複雑さによって増大することがわかった。我々はまた、離散アクションのオフポリティクス手法における標準ベースラインであるDDQN(Double Deep Q-Network)に対するR3の性能をベンチマークし、また、R3がDoorKeyEnvにおけるDDQNエージェントよりも優れていることを発見した。最後に、R3のアイデアを高密度な報酬設定に適応させ、Dense R3アルゴリズム(DR3)を取得し、Cartpole-V1環境上でPPOと比較した。 DR3は高密度報酬環境においてPPOよりも優れていた。私たちのコードはhttps://github.com/chry-santhemum/R3.comで参照できます。

関連論文リスト

SAPG: Split and Aggregate Policy Gradients [37.433915947580076]
本稿では,大規模環境をチャンクに分割し,重要サンプリングにより融合させることにより,大規模環境を効果的に活用できる新しいオンラインRLアルゴリズムを提案する。我々のアルゴリズムはSAPGと呼ばれ、バニラPPOや他の強力なベースラインが高い性能を達成できない様々な困難環境において、非常に高い性能を示す。
論文参考訳（メタデータ） (2024-07-29T17:59:50Z)
REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
論文参考訳（メタデータ） (2024-04-25T17:20:45Z)
NeRF-Det++: Incorporating Semantic Cues and Perspective-aware Depth Supervision for Indoor Multi-View 3D Detection [72.0098999512727]
NeRF-Detは、NeRFを用いた屋内マルチビュー3次元検出において、表現学習の強化による優れた性能を実現している。セマンティックエンハンスメント(セマンティックエンハンスメント)、パースペクティブ・アウェア・サンプリング(パースペクティブ・アウェア・サンプリング)、および順序深度監視を含む3つのソリューションを提案する。結果として得られたアルゴリズムであるNeRF-Det++は、ScanNetV2とAR KITScenesデータセットで魅力的なパフォーマンスを示している。
論文参考訳（メタデータ） (2024-02-22T11:48:06Z)
ReLU to the Rescue: Improve Your On-Policy Actor-Critic with Positive Advantages [37.12048108122337]
本稿では, アクター批判的深層強化学習におけるベイズ推定の近似に向けてのステップを提案する。 Asynchronous Advantage Actor-Critic (A3C)アルゴリズムの3つの変更によって実装されている。
論文参考訳（メタデータ） (2023-06-02T11:37:22Z)
Robust Policy Optimization in Deep Reinforcement Learning [16.999444076456268]
連続的な行動領域では、パラメータ化された行動分布は容易に探索の制御を可能にする。特に,摂動分布を利用したロバストポリシ最適化(RPO)アルゴリズムを提案する。我々は,DeepMind Control,OpenAI Gym,Pybullet,IsaacGymの各種連続制御タスクについて評価を行った。
論文参考訳（メタデータ） (2022-12-14T22:43:56Z)
Pyramid R-CNN: Towards Better Performance and Adaptability for 3D Object Detection [89.66162518035144]
点雲から2段階の3Dオブジェクトを検出するための柔軟で高性能なフレームワークであるPraamid R-CNNを提案する。興味の疎い点から特徴を適応的に学習するために,ピラミッドRoIヘッドという新しい第2段モジュールを提案する。我々のピラミッドRoIヘッドはスパースかつ不均衡な状況に対して堅牢であり、検出性能を継続的に向上するために様々な3Dバックボーンに適用することができる。
論文参考訳（メタデータ） (2021-09-06T14:17:51Z)
MADE: Exploration via Maximizing Deviation from Explored Regions [48.49228309729319]
オンライン強化学習(RL)では、高次元環境における効率的な探索は依然として困難であり、報酬は少ない。調査地域からの次の政策の逸脱を最大化することによる新たな探索手法を提案する。提案手法は,最先端手法よりもサンプル効率を著しく向上させる。
論文参考訳（メタデータ） (2021-06-18T17:57:00Z)
On-Policy Deep Reinforcement Learning for the Average-Reward Criterion [9.343119070691735]
平均回帰型政治強化学習(RL)のための理論とアルゴリズムを開発する。特に,Average-Reward TRPO (ATRPO) が平均再帰基準に適応し,最も困難な MuJuCo 環境において TRPO を著しく上回っていることを示す。
論文参考訳（メタデータ） (2021-06-14T12:12:09Z)
State Entropy Maximization with Random Encoders for Efficient Exploration [162.39202927681484]
近年,深層補強学習(rl)におけるサンプル効率向上のための手法が提案されている。本稿では,状態エントロピーを本質的な報酬として利用する探索手法であるRandoms for Efficient Exploration (RE3)を提案する。特に、ランダムエンコーダを用いて、状態エントロピーを安定かつ計算効率の良い方法で推定できることが判明した。
論文参考訳（メタデータ） (2021-02-18T15:45:17Z)
Optimistic Policy Optimization with Bandit Feedback [70.75568142146493]
我々は,事前の報奨を後悔する$tilde O(sqrtS2 A H4 K)を定め,楽観的な信頼領域ポリシー最適化(TRPO)アルゴリズムを提案する。我々の知る限り、この2つの結果は、未知の遷移と帯域幅フィードバックを持つポリシー最適化アルゴリズムにおいて得られた最初のサブ線形後悔境界である。
論文参考訳（メタデータ） (2020-02-19T15:41:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。