論文の概要: Qualitative Differences Between Evolutionary Strategies and
Reinforcement Learning Methods for Control of Autonomous Agents
- arxiv url: http://arxiv.org/abs/2205.07592v1
- Date: Mon, 16 May 2022 11:51:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-17 20:24:08.514055
- Title: Qualitative Differences Between Evolutionary Strategies and
Reinforcement Learning Methods for Control of Autonomous Agents
- Title（参考訳）: 自律エージェント制御のための進化的戦略と強化学習方法の質的差異
- Authors: Nicola Milano and Stefano Nolfi
- Abstract要約: 我々は,OpenAI-ES進化戦略とPPO強化学習アルゴリズムという,最先端の2つのアルゴリズムに注目した。
i) 一般的な有効性, (ii) スパース報酬に対処する能力, (iii) 最小解の正当性/能力, (iv) 報酬形成への依存, (v) 環境条件の変動に対処する能力。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper we analyze the qualitative differences between evolutionary
strategies and reinforcement learning algorithms by focusing on two popular
state-of-the-art algorithms: the OpenAI-ES evolutionary strategy and the
Proximal Policy Optimization (PPO) reinforcement learning algorithm -- the most
similar methods of the two families. We analyze how the methods differ with
respect to: (i) general efficacy, (ii) ability to cope with sparse rewards,
(iii) propensity/capacity to discover minimal solutions, (iv) dependency on
reward shaping, and (v) ability to cope with variations of the environmental
conditions. The analysis of the performance and of the behavioral strategies
displayed by the agents trained with the two methods on benchmark problems
enable us to demonstrate qualitative differences which were not identified in
previous studies, to identify the relative weakness of the two methods, and to
propose ways to ameliorate some of those weakness. We show that the
characteristics of the reward function has a strong impact which vary
qualitatively not only for the OpenAI-ES and the PPO but also for alternative
reinforcement learning algorithms, thus demonstrating the importance of
optimizing the characteristic of the reward function to the algorithm used.
- Abstract（参考訳）: 本稿では,OpenAI-ES進化戦略とPPO強化学習アルゴリズムという2つの一般的な最先端アルゴリズムに着目し,進化戦略と強化学習アルゴリズムの質的な違いを分析する。
我々は、メソッドがどのように異なるかを分析する。
(i)一般的な効力
(ii)軽微な報酬に対処できる能力
(iii)極小解の発見力・能力
(iv)報酬形成への依存、及び
(v)環境の変動に対応する能力
ベンチマーク問題における2つの手法を用いて訓練したエージェントの行動戦略と性能の分析により,従来の研究では同定されなかった質的差異を実証し,2つの手法の相対的弱さを同定し,その弱さを緩和する方法を提案する。
報酬関数の特徴は、OpenAI-ESやPPOだけでなく、代替強化学習アルゴリズムにも質的に異なる強い影響があることを示し、それによって、報酬関数の特性をアルゴリズムに最適化することが重要であることを示す。
関連論文リスト
- Exploring the Generalization Capabilities of AID-based Bi-level Optimization [50.3142765099442]
本稿では, 近似暗黙差分法 (AID) と反復差分法 (D) の2種類の二段階最適化手法を提案する。
AIDベースのメソッドは容易に変換できないが、2レベル構造に留まる必要がある。
実世界のタスクにおけるこれらの手法の有効性と応用の可能性を示す。
論文 参考訳（メタデータ） (2024-11-25T04:22:17Z) - Deep Reinforcement Learning for Online Optimal Execution Strategies [49.1574468325115]
本稿では,動的な金融市場における非マルコフ的最適実行戦略の学習に挑戦する。
我々は,Deep Deterministic Policy Gradient(DDPG)に基づく新しいアクター批判アルゴリズムを提案する。
提案アルゴリズムは最適実行戦略の近似に成功していることを示す。
論文 参考訳（メタデータ） (2024-10-17T12:38:08Z) - Performance Comparison of Surrogate-Assisted Evolutionary Algorithms on
Computational Fluid Dynamics Problems [2.1756081703276]
実世界の計算流体力学問題を用いて、11の最先端単目的SAEAの性能を比較する。
以上の結果から,最近発表された手法と,微分進化を最適化手法の1つとして活用する手法が,他の検討手法よりも優れていることが示唆された。
論文 参考訳（メタデータ） (2024-02-26T09:58:36Z) - ACE : Off-Policy Actor-Critic with Causality-Aware Entropy Regularization [52.5587113539404]
因果関係を考慮したエントロピー(entropy)という用語を導入し,効率的な探索を行うための潜在的影響の高いアクションを効果的に識別し,優先順位付けする。
提案アルゴリズムであるACE:Off-policy Actor-critic with Causality-aware Entropy regularizationは,29種類の連続制御タスクに対して,大幅な性能上の優位性を示す。
論文 参考訳（メタデータ） (2024-02-22T13:22:06Z) - Exploring Novel Quality Diversity Methods For Generalization in
Reinforcement Learning [0.0]
強化学習分野は成果に強く、再適用に弱い。
本稿では,ネットワークの学習方法が一般化を改善するかどうかを問う。
論文 参考訳（メタデータ） (2023-03-26T00:23:29Z) - Distillation Policy Optimization [5.439020425819001]
本研究では,評価と制御の両面において2つのデータソースを調和させるアクタ批判学習フレームワークを提案する。
このフレームワークには、統一利便推定器(UAE)と残留基線を含む分散還元機構が組み込まれている。
以上の結果から,オンラインアルゴリズムのサンプル効率は大幅に向上し,非政治的アプローチとのギャップを効果的に埋めることができた。
論文 参考訳（メタデータ） (2023-02-01T15:59:57Z) - Lexicographic Multi-Objective Reinforcement Learning [65.90380946224869]
このような問題を解決するために,アクション値アルゴリズムとポリシー勾配アルゴリズムの両方のファミリを提案する。
エージェントの動作に安全制約を課すのに我々のアルゴリズムをどのように使用できるかを示し、この文脈でのそれらの性能を他の制約付き強化学習アルゴリズムと比較する。
論文 参考訳（メタデータ） (2022-12-28T10:22:36Z) - Learning Dynamics and Generalization in Reinforcement Learning [59.530058000689884]
時間差学習は, エージェントが訓練の初期段階において, 値関数の非平滑成分を適合させるのに役立つことを理論的に示す。
本研究では,高密度報酬タスクの時間差アルゴリズムを用いて学習したニューラルネットワークが,ランダムなネットワークや政策手法で学習した勾配ネットワークよりも,状態間の一般化が弱いことを示す。
論文 参考訳（メタデータ） (2022-06-05T08:49:16Z) - Deterministic and Discriminative Imitation (D2-Imitation): Revisiting
Adversarial Imitation for Sample Efficiency [61.03922379081648]
本稿では,敵対的トレーニングやmin-max最適化を必要としない非政治的サンプル効率の手法を提案する。
実験の結果, D2-Imitation はサンプル効率の向上に有効であることが示唆された。
論文 参考訳（メタデータ） (2021-12-11T19:36:19Z) - Behavior-based Neuroevolutionary Training in Reinforcement Learning [3.686320043830301]
本稿では,神経進化的最適化と価値に基づく強化学習を組み合わせたハイブリッドアルゴリズムを提案する。
この目的のために,エージェントポリシーの生成と最適化のための異なる手法を統合し,多様な集団を創出する。
その結果, 進化的手法のサンプル効率と学習速度を向上できることがわかった。
論文 参考訳（メタデータ） (2021-05-17T15:40:42Z) - Inverse Reinforcement Learning with Explicit Policy Estimates [19.159290496678004]
逆強化学習問題を解くための様々な手法が、機械学習と経済学において独立に開発された。
我々は、それらがすべて共通の形態の勾配、関連する政策と目的によって特徴づけられる最適化問題のクラスに属していることを示しています。
この最適化問題の研究から得られた知見を用いて,様々な問題シナリオを特定し,それらの問題に対する各手法の適合性について検討する。
論文 参考訳（メタデータ） (2021-03-04T07:00:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。