Fugu-MT 論文翻訳(概要): CUER: Corrected Uniform Experience Replay for Off-Policy Continuous Deep Reinforcement Learning Algorithms

論文の概要: CUER: Corrected Uniform Experience Replay for Off-Policy Continuous Deep Reinforcement Learning Algorithms

arxiv url: http://arxiv.org/abs/2406.09030v1
Date: Thu, 13 Jun 2024 12:03:40 GMT
ステータス: 処理完了
システム内更新日: 2024-06-14 18:15:03.615414
Title: CUER: Corrected Uniform Experience Replay for Off-Policy Continuous Deep Reinforcement Learning Algorithms
Title（参考訳）: CUER: オフポリティ継続的深層強化学習アルゴリズムのための修正された一様体験リプレイ
Authors: Arda Sarp Yenicesu, Furkan B. Mutlu, Suleyman S. Kozat, Ozgur S. Oguz,
Abstract要約: 我々は,他のすべての経験の公平性を考慮しつつ,記憶された経験をサンプリングする新しいアルゴリズム,Corrected Uniform Experience (CUER) を開発した。 CUERは、トレーニング中のポリシーのサンプル効率、最終的なパフォーマンス、安定性の観点から、非政治的な継続的制御アルゴリズムに有望な改善を提供する。
参考スコア（独自算出の注目度）: 5.331052581441265
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The utilization of the experience replay mechanism enables agents to effectively leverage their experiences on several occasions. In previous studies, the sampling probability of the transitions was modified based on their relative significance. The process of reassigning sample probabilities for every transition in the replay buffer after each iteration is considered extremely inefficient. Hence, in order to enhance computing efficiency, experience replay prioritization algorithms reassess the importance of a transition as it is sampled. However, the relative importance of the transitions undergoes dynamic adjustments when the agent's policy and value function are iteratively updated. Furthermore, experience replay is a mechanism that retains the transitions generated by the agent's past policies, which could potentially diverge significantly from the agent's most recent policy. An increased deviation from the agent's most recent policy results in a greater frequency of off-policy updates, which has a negative impact on the agent's performance. In this paper, we develop a novel algorithm, Corrected Uniform Experience Replay (CUER), which stochastically samples the stored experience while considering the fairness among all other experiences without ignoring the dynamic nature of the transition importance by making sampled state distribution more on-policy. CUER provides promising improvements for off-policy continuous control algorithms in terms of sample efficiency, final performance, and stability of the policy during the training.
Abstract（参考訳）: 体験再生機構の利用により、エージェントは経験を効果的に活用することができる。過去の研究では、遷移のサンプリング確率は相対的重要性に基づいて変化した。反復後のリプレイバッファの遷移毎にサンプル確率を再割り当てするプロセスは、極めて非効率であると考えられる。したがって、計算効率を向上させるために、経験的再生優先化アルゴリズムは、サンプルとしてトランジションの重要性を再評価する。しかし、遷移の相対的な重要性は、エージェントのポリシーと値関数が反復的に更新されたときに動的に調整される。さらに、経験的リプレイは、エージェントの過去のポリシーによって生成された遷移を保持するメカニズムであり、エージェントの最新のポリシーと大きく異なる可能性がある。エージェントの最新のポリシーからの逸脱が増加すると、オフポリシー更新の頻度が高くなり、エージェントのパフォーマンスに悪影響を及ぼす。そこで本稿では, サンプル状態の分布をよりポリティクスにすることで, 遷移重要度の動的性質を無視することなく, 保存された経験の公平性を考慮しつつ, 確率的に記憶された経験をサンプリングする新しいアルゴリズムであるCorrected Uniform Experience Replay (CUER) を開発する。 CUERは、トレーニング中のポリシーのサンプル効率、最終的なパフォーマンス、安定性の観点から、非政治的な継続的制御アルゴリズムに有望な改善を提供する。

関連論文リスト

From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
論文参考訳（メタデータ） (2024-11-06T10:35:11Z)
Directly Attention Loss Adjusted Prioritized Experience Replay [0.07366405857677226]
優先度付き再生体験(PER)は、アクセス頻度を人工的に変化させることで、比較的重要なサンプルについてより深く学習することを可能にする。 DALAPが提案され、パラレル自己保持ネットワークを通じて、シフト分布の変化範囲を直接定量化することができる。
論文参考訳（メタデータ） (2023-11-24T10:14:05Z)
MAC-PO: Multi-Agent Experience Replay via Collective Priority Optimization [12.473095790918347]
マルチエージェント問題に対する最適優先体験再生を定式化する名前を提案する。結果として生じた政策の後悔を最小限にすることで、現在の政策と明確な最適政策とのギャップを狭めることができる。
論文参考訳（メタデータ） (2023-02-21T03:11:21Z)
Actor Prioritized Experience Replay [0.0]
優先度付き体験再生(PER)では、エージェントは時間差誤差(TD)に比例した非一様確率でサンプリングされた遷移から学習することができる。本稿では,アクター・クリティカルな手法に対する新しい経験リプレイ・サンプリング・フレームワークを紹介し,安定性の問題やPERの実証的性能の低下の背景にある最近の知見についても考察する。我々の理論的主張を検証し、導入した手法が競合するアプローチを著しく上回ることを示した。
論文参考訳（メタデータ） (2022-09-01T15:27:46Z)
Neighborhood Mixup Experience Replay: Local Convex Interpolation for Improved Sample Efficiency in Continuous Control Tasks [60.88792564390274]
Neighborhood Mixup Experience Replay (NMER) は、状態-作用空間における遷移を補間する幾何学的に接地されたリプレイバッファである。 NMERは,ベースライン再生バッファ上で平均94%(TD3)と29%(SAC)のサンプリング効率を向上する。
論文参考訳（メタデータ） (2022-05-18T02:44:08Z)
Replay For Safety [51.11953997546418]
経験的なリプレイでは、過去の遷移はメモリバッファに格納され、学習中に再使用される。適切なバイアスサンプリング方式を用いることで,エファンセーフなポリシーを実現できることを示す。
論文参考訳（メタデータ） (2021-12-08T11:10:57Z)
Off-Policy Correction for Deep Deterministic Policy Gradient Algorithms via Batch Prioritized Experience Replay [0.0]
そこで我々は, KL Divergence を用いた新しいアルゴリズム Batch Prioritizing Experience Replay を開発した。我々は,このアルゴリズムをDeep Deterministic Policy GradientとTwin Delayed Deep Deterministic Policy Gradientと組み合わせ,様々な連続制御タスクで評価する。
論文参考訳（メタデータ） (2021-11-02T19:51:59Z)
Variance Reduction based Experience Replay for Policy Optimization [3.0790370651488983]
Variance Reduction Experience Replay (VRER) は、政策勾配推定を改善するために、関連するサンプルを選択的に再利用するためのフレームワークである。 VRERは、VRERによるポリシーグラディエントとして知られる、効率的な非政治学習アルゴリズムの基盤となる。
論文参考訳（メタデータ） (2021-10-17T19:28:45Z)
Provably Good Batch Reinforcement Learning Without Great Exploration [51.51462608429621]
バッチ強化学習(RL)は、RLアルゴリズムを多くの高利得タスクに適用するために重要である。最近のアルゴリズムは将来性を示しているが、期待された結果に対して過度に楽観的である。より保守的な更新を行うため、ベルマンの最適性と評価のバックアップに小さな修正を加えることで、はるかに強力な保証が得られることを示す。
論文参考訳（メタデータ） (2020-07-16T09:25:54Z)
Learning to Sample with Local and Global Contexts in Experience Replay Buffer [135.94190624087355]
遷移の相対的重要性を計算できる学習に基づく新しいサンプリング手法を提案する。本研究の枠組みは, 様々な非政治強化学習手法の性能を著しく向上させることができることを示す。
論文参考訳（メタデータ） (2020-07-14T21:12:56Z)
Experience Replay with Likelihood-free Importance Weights [123.52005591531194]
本研究は,現在の政策の定常分布下での経験を生かし,その可能性に基づいて,その経験を再評価することを提案する。提案手法は,ソフトアクタ批判 (SAC) とツイン遅延Deep Deterministic Policy gradient (TD3) の2つの競合手法に実証的に適用する。
論文参考訳（メタデータ） (2020-06-23T17:17:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。