論文の概要: vMFER: Von Mises-Fisher Experience Resampling Based on Uncertainty of Gradient Directions for Policy Improvement

• arxiv url: http://arxiv.org/abs/2405.08638v1
• Date: Tue, 14 May 2024 14:18:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-15 13:49:19.563092
• Title: vMFER: Von Mises-Fisher Experience Resampling Based on Uncertainty of Gradient Directions for Policy Improvement
• Title（参考訳）: vMFER:政策改善のためのグラディエント方向の不確実性に基づくVon Mises-Fisherエクスペリエンスのリサンプリング
• Authors: Yiwen Zhu, Jinyi Liu, Wenya Wei, Qianyi Fu, Yujing Hu, Zhou Fang, Bo An, Jianye Hao, Tangjie Lv, Changjie Fan,
• Abstract要約: 本研究は、アンサンブル批評家が政策改善に与える影響について検討する。 本稿では、政策改善プロセスで利用される勾配間の不一致を測定する手段として、勾配方向の不確実性の概念を導入する。 政策改善プロセスにおいて、勾配方向の不確実性の低い遷移の方が信頼性が高いことが判明した。
• 参考スコア（独自算出の注目度）: 57.926269845305804
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement Learning (RL) is a widely employed technique in decision-making problems, encompassing two fundamental operations -- policy evaluation and policy improvement. Enhancing learning efficiency remains a key challenge in RL, with many efforts focused on using ensemble critics to boost policy evaluation efficiency. However, when using multiple critics, the actor in the policy improvement process can obtain different gradients. Previous studies have combined these gradients without considering their disagreements. Therefore, optimizing the policy improvement process is crucial to enhance learning efficiency. This study focuses on investigating the impact of gradient disagreements caused by ensemble critics on policy improvement. We introduce the concept of uncertainty of gradient directions as a means to measure the disagreement among gradients utilized in the policy improvement process. Through measuring the disagreement among gradients, we find that transitions with lower uncertainty of gradient directions are more reliable in the policy improvement process. Building on this analysis, we propose a method called von Mises-Fisher Experience Resampling (vMFER), which optimizes the policy improvement process by resampling transitions and assigning higher confidence to transitions with lower uncertainty of gradient directions. Our experiments demonstrate that vMFER significantly outperforms the benchmark and is particularly well-suited for ensemble structures in RL.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、政策評価と政策改善という2つの基本的な操作を含む、意思決定問題において広く用いられるテクニックである。 学習効率の向上は、RLの重要な課題であり、政策評価効率を高めるためにアンサンブル批評家を使うことに重点を置いている。 しかし、複数の批評家を使用する場合、政策改善プロセスのアクターは異なる勾配を得ることができる。 これまでの研究では、これらの勾配は意見の相違を考慮せずに組み合わされている。 したがって、学習効率を高めるためには、政策改善プロセスの最適化が不可欠である。 本研究は、アンサンブル批評家が政策改善に与える影響について検討する。 本稿では、政策改善プロセスで利用される勾配間の不一致を測定する手段として、勾配方向の不確実性の概念を導入する。 勾配間の不一致を測定することで、政策改善プロセスにおいて、勾配方向の不確実性の低い遷移の方がより信頼性が高いことが分かる。 この分析に基づいて、遷移を再サンプリングし、勾配方向の不確実性の低い遷移に高い信頼を割り当てることにより、政策改善プロセスを最適化するvon Mises-Fisher Experience Resampling (vMFER) という手法を提案する。 実験の結果,vMFERはベンチマークを著しく上回り,特にRLのアンサンブル構造に適していることがわかった。

関連論文リスト

• Actor-Critic Reinforcement Learning with Phased Actor [10.577516871906816]
  本稿では,政策勾配推定を改善するために,PAAC法における新しい段階的アクターを提案する。 PAACはアクターアップデートで$Q$とTDエラーの両方を処理している。 その結果,PAACは総コスト,学習ばらつき,堅牢性,学習速度,成功率などによって,大幅な性能向上をもたらすことがわかった。
  論文  参考訳（メタデータ） (2024-04-18T01:27:31Z)
• Clipped-Objective Policy Gradients for Pessimistic Policy Optimization [3.2996723916635275]
  政策勾配法は、政策出力の有界変化を通じて単調な改善を図っている。 本研究では,PPOの性能を連続的な作用空間に適用した場合,目的の単純変化によって一貫した改善が期待できることを示す。 PPO と PPO の両目標に比較して, COPG の目標が平均的な「悲観的」であること, 2) この悲観主義は探索を促進させることを示した。
  論文  参考訳（メタデータ） (2023-11-10T03:02:49Z)
• Improving Deep Policy Gradients with Value Function Search [21.18135854494779]
  本稿では、値近似の改善とDeep PGプリミティブへの影響の分析に焦点をあてる。 本稿では,より優れた近似を求めるために,摂動値ネットワークの集団を用いた値関数探索を提案する。 我々のフレームワークは、追加の環境相互作用、勾配計算、アンサンブルを必要としない。
  論文  参考訳（メタデータ） (2023-02-20T18:23:47Z)
• Variance Reduction based Partial Trajectory Reuse to Accelerate Policy Gradient Optimization [3.621753051212441]
  我々は,グリーンシミュレーション支援政策勾配(GS-PG)の考え方をマルコフ決定過程(MDP)の歴史的部分的再利用に拡張する。 本稿では、MLRに基づく政策勾配推定法を用いて、異なる行動方針の下で生成された歴史的状態決定遷移の情報を活用する。
  論文  参考訳（メタデータ） (2022-05-06T01:42:28Z)
• Bag of Tricks for Natural Policy Gradient Reinforcement Learning [87.54231228860495]
  我々は,自然政策勾配強化学習のパフォーマンスに影響を及ぼす戦略を実装し,比較した。 提案されたパフォーマンス最適化戦略の収集は、MuJuCoコントロールベンチマークにおいて、結果を86%から181%改善することができる。
  論文  参考訳（メタデータ） (2022-01-22T17:44:19Z)
• Off-policy Reinforcement Learning with Optimistic Exploration and Distribution Correction [73.77593805292194]
  我々は、政治以外のアクター批判的枠組みにおいて、批評家のほぼ上位信頼度を最大化するために、別の調査政策を訓練する。 最近導入されたDICEフレームワークを応用して、非政治アクター犯罪訓練のための分布補正比を学習する。
  論文  参考訳（メタデータ） (2021-10-22T22:07:51Z)
• Semi-On-Policy Training for Sample Efficient Multi-Agent Policy Gradients [51.749831824106046]
  本稿では,オンライン政策グラデーション手法のサンプル非効率性に効果的かつ効率的な手法として,セミ・オン・ポリティ(SOP)トレーニングを導入する。 提案手法は,様々なSMACタスクにおいて,最先端の値ベース手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2021-04-27T19:37:01Z)
• Implementation Matters in Deep Policy Gradients: A Case Study on PPO and TRPO [90.90009491366273]
  本稿では,2つの一般的なアルゴリズムのケーススタディにより,ディープポリシー勾配アルゴリズムにおけるアルゴリズムの進歩のルーツについて検討する。 具体的には,「コードレベルの最適化」の結果について検討する。 以上の結果から, (a) TRPOに対するPPOの累積報酬のほとんどを担っていることが示され, (b) RL メソッドの動作方法が根本的に変化していることが示唆された。
  論文  参考訳（メタデータ） (2020-05-25T16:24:59Z)
• Stable Policy Optimization via Off-Policy Divergence Regularization [50.98542111236381]
  信頼地域政策最適化(TRPO)とPPO(Pximal Policy Optimization)は、深層強化学習(RL)において最も成功した政策勾配アプローチの一つである。 本稿では, 連続的な政策によって引き起こされる割引状態-行動訪問分布を, 近接項で抑制し, 政策改善を安定化させる新しいアルゴリズムを提案する。 提案手法は, ベンチマーク高次元制御タスクの安定性と最終的な性能向上に有効である。
  論文  参考訳（メタデータ） (2020-03-09T13:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。