論文の概要: Supplementing Gradient-Based Reinforcement Learning with Simple Evolutionary Ideas

• arxiv url: http://arxiv.org/abs/2305.07571v1
• Date: Wed, 10 May 2023 09:46:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-15 12:20:20.325851
• Title: Supplementing Gradient-Based Reinforcement Learning with Simple Evolutionary Ideas
• Title（参考訳）: 単純な進化的アイデアを用いたグラディエントに基づく強化学習
• Authors: Harshad Khadilkar
• Abstract要約: 我々は、強化学習(RL)における大規模だが指向的な学習ステップを導入するための、単純でサンプル効率のよいアルゴリズムを提案する。 この手法では、共通経験バッファを持つRLエージェントの集団を用いて、ポリシー空間を効率的に探索するために、エージェントのクロスオーバーと突然変異を行う。
• 参考スコア（独自算出の注目度）: 4.873362301533824
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We present a simple, sample-efficient algorithm for introducing large but directed learning steps in reinforcement learning (RL), through the use of evolutionary operators. The methodology uses a population of RL agents training with a common experience buffer, with occasional crossovers and mutations of the agents in order to search efficiently through the policy space. Unlike prior literature on combining evolutionary search (ES) with RL, this work does not generate a distribution of agents from a common mean and covariance matrix. Neither does it require the evaluation of the entire population of policies at every time step. Instead, we focus on gradient-based training throughout the life of every policy (individual), with a sparse amount of evolutionary exploration. The resulting algorithm is shown to be robust to hyperparameter variations. As a surprising corollary, we show that simply initialising and training multiple RL agents with a common memory (with no further evolutionary updates) outperforms several standard RL baselines.
• Abstract（参考訳）: 本稿では,進化演算子を用いた強化学習(rl)において,大規模かつ有向な学習手順を導入するための簡易でサンプル効率の良いアルゴリズムを提案する。 この手法では、共通経験バッファを持つRLエージェントの集団を用いて、ポリシー空間を効率的に探索するために、エージェントのクロスオーバーと突然変異を行う。 進化的探索(es)とrlを組み合わせる以前の文献とは異なり、この研究は共通の平均と共分散行列からエージェントの分布を生成しない。 同時に、各段階における政策全体の評価も必要としない。 その代わり、私たちはあらゆる政策(個別)の生涯を通して勾配に基づくトレーニングに重点を置いています。 結果のアルゴリズムはハイパーパラメータの変動に対して堅牢であることが示されている。 驚くべき結論として、複数のRLエージェントを(さらなる進化的更新なしに)共有メモリで初期化し、訓練するだけで、いくつかの標準RLベースラインを上回っていることを示す。

関連論文リスト

• On the Linear Speedup of Personalized Federated Reinforcement Learning with Shared Representations [15.549340968605234]
  フェデレート強化学習(FedRL)は、エージェントと環境相互作用の間に収集された局所的な軌跡を共有することなく、複数のエージェントが協調的にポリシーを学ぶことを可能にする。 異種環境におけるエージェント間の共通構造を生かし, 共生型FedRLフレームワーク(PFedRL)を導入する。
  論文  参考訳（メタデータ） (2024-11-22T15:42:43Z)
• Hybrid Inverse Reinforcement Learning [34.793570631021005]
  逆強化学習による模倣学習は 両刃剣である。 我々は、不要な探索を抑えるために、ハイブリッドRL(オンラインデータとエキスパートデータの混合に関するトレーニング)の使用を提案する。 モデルフリーとモデルベースハイブリッド逆RLアルゴリズムの両方を導出し、強力なポリシー性能を保証する。
  論文  参考訳（メタデータ） (2024-02-13T23:29:09Z)
• Reinforcement Learning-assisted Evolutionary Algorithm: A Survey and Research Opportunities [63.258517066104446]
  進化的アルゴリズムの構成要素として統合された強化学習は,近年,優れた性能を示している。 本稿では,RL-EA 統合手法,RL-EA が採用する RL-EA 支援戦略,および既存文献による適用について論じる。 RL-EAセクションの適用例では、RL-EAのいくつかのベンチマークおよび様々な公開データセットにおける優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-25T15:06:05Z)
• RL$^3$: Boosting Meta Reinforcement Learning via RL inside RL$^2$ [12.111848705677142]
  メタRLへの入力において、従来のRLを通してタスク毎に学習されるアクション値を含むハイブリッドアプローチであるRL$3$を提案する。 RL$3$は、RL$2$と比較して、短期的にはデータ効率を保ちながら、長期的には累積的な報酬を多く得ており、アウト・オブ・ディストリビューション・タスクよりも一般化されていることを示す。
  論文  参考訳（メタデータ） (2023-06-28T04:16:16Z)
• One-Step Distributional Reinforcement Learning [10.64435582017292]
  簡単な一段階分散強化学習(OS-DistrRL)フレームワークを提案する。 当社のアプローチには,政策評価と統制の両面での統一理論があることが示されている。 ほぼ確実に収束解析を行う2つのOS-DistrRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-27T06:57:00Z)
• A Survey of Meta-Reinforcement Learning [69.76165430793571]
  我々は,メタRLと呼ばれるプロセスにおいて,機械学習問題自体として,より優れたRLアルゴリズムを開発した。 本稿では,タスク分布の存在と各タスクに利用可能な学習予算に基づいて,高レベルでメタRL研究をクラスタ化する方法について議論する。 RL実践者のための標準ツールボックスにメタRLを組み込むことの道程について,オープンな問題を提示することによって,結論を下す。
  論文  参考訳（メタデータ） (2023-01-19T12:01:41Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)
• Jump-Start Reinforcement Learning [68.82380421479675]
  本稿では、オフラインデータやデモ、あるいは既存のポリシーを使ってRLポリシーを初期化するメタアルゴリズムを提案する。 特に,タスク解決に2つのポリシーを利用するアルゴリズムであるJump-Start Reinforcement Learning (JSRL)を提案する。 実験により、JSRLは既存の模倣と強化学習アルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:25:22Z)
• Text Generation with Efficient (Soft) Q-Learning [91.47743595382758]
  強化学習(RL)は、任意のタスクメトリクスを報酬としてプラグインすることで、より柔軟なソリューションを提供する。 ソフトQ-ラーニングの観点からテキスト生成のための新しいRL式を導入する。 雑音/負の例から学習し、敵攻撃、即時生成など、幅広いタスクにアプローチを適用する。
  論文  参考訳（メタデータ） (2021-06-14T18:48:40Z)
• Dynamics Generalization via Information Bottleneck in Deep Reinforcement Learning [90.93035276307239]
  本稿では,RLエージェントのより優れた一般化を実現するために,情報理論正則化目標とアニーリングに基づく最適化手法を提案する。 迷路ナビゲーションからロボットタスクまで、さまざまな領域において、我々のアプローチの極端な一般化の利点を実証する。 この研究は、タスク解決のために冗長な情報を徐々に取り除き、RLの一般化を改善するための原則化された方法を提供する。
  論文  参考訳（メタデータ） (2020-08-03T02:24:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。