論文の概要: EvoRL: A GPU-accelerated Framework for Evolutionary Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2501.15129v2
• Date: Sun, 02 Feb 2025 09:28:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-04 16:07:08.475319
• Title: EvoRL: A GPU-accelerated Framework for Evolutionary Reinforcement Learning
• Title（参考訳）: EvoRL: 進化的強化学習のためのGPUアクセラレーションフレームワーク
• Authors: Bowen Zheng, Ran Cheng, Kay Chen Tan,
• Abstract要約: 我々はGPUアクセラレーションに最適化された最初のエンドツーエンドEvoRLフレームワークである$texttt$textbfEvoRL$$を紹介した。 このフレームワークは、環境シミュレーションやECプロセスを含む、アクセラレーター上のトレーニングパイプライン全体を実行する。
• 参考スコア（独自算出の注目度）: 24.389896398264202
• License:
• Abstract: Evolutionary Reinforcement Learning (EvoRL) has emerged as a promising approach to overcoming the limitations of traditional reinforcement learning (RL) by integrating the Evolutionary Computation (EC) paradigm with RL. However, the population-based nature of EC significantly increases computational costs, thereby restricting the exploration of algorithmic design choices and scalability in large-scale settings. To address this challenge, we introduce $\texttt{$\textbf{EvoRL}$}$, the first end-to-end EvoRL framework optimized for GPU acceleration. The framework executes the entire training pipeline on accelerators, including environment simulations and EC processes, leveraging hierarchical parallelism through vectorization and compilation techniques to achieve superior speed and scalability. This design enables the efficient training of large populations on a single machine. In addition to its performance-oriented design, $\texttt{$\textbf{EvoRL}$}$ offers a comprehensive platform for EvoRL research, encompassing implementations of traditional RL algorithms (e.g., A2C, PPO, DDPG, TD3, SAC), Evolutionary Algorithms (e.g., CMA-ES, OpenES, ARS), and hybrid EvoRL paradigms such as Evolutionary-guided RL (e.g., ERL, CEM-RL) and Population-Based AutoRL (e.g., PBT). The framework's modular architecture and user-friendly interface allow researchers to seamlessly integrate new components, customize algorithms, and conduct fair benchmarking and ablation studies. The project is open-source and available at: https://github.com/EMI-Group/evorl.
• Abstract（参考訳）: 進化的強化学習(EvoRL)は、進化的計算(EC)パラダイムをRLに統合することにより、従来の強化学習(RL)の限界を克服するための有望なアプローチとして登場した。 しかし、ECの人口ベースの性質は計算コストを大幅に増加させ、大規模環境におけるアルゴリズム設計の選択とスケーラビリティの探索を制限した。 この課題に対処するために、GPUアクセラレーションに最適化された最初のエンドツーエンドEvoRLフレームワークである$\textt{$\textbf{EvoRL}$}$を紹介した。 このフレームワークは、環境シミュレーションやECプロセスを含むアクセラレーター上のトレーニングパイプライン全体を実行し、ベクタライゼーションとコンパイル技術を通じて階層的な並列性を活用し、より優れたスピードとスケーラビリティを実現する。 この設計により、1台のマシンで大集団を効率的に訓練することができる。 パフォーマンス指向設計に加えて、$\texttt{$\textbf{EvoRL}$}は、従来のRLアルゴリズム(例えば、A2C、PPO、PGPG、TD3、SAC)、進化アルゴリズム(例えば、CMA-ES、OpenES、ARS)、進化誘導RL(eg、ERL、CEM-RL)や人口ベースオートRL(eg、PBT)といったハイブリッドなEvoRLパラダイムの実装を含む、EvoRL研究のための包括的なプラットフォームを提供する。 このフレームワークのモジュラーアーキテクチャとユーザフレンドリなインターフェースにより、研究者は新しいコンポーネントをシームレスに統合し、アルゴリズムをカスタマイズし、公正なベンチマークとアブレーションの研究を行うことができる。 プロジェクトはオープンソースで、https://github.com/EMI-Group/evorl.comで入手できる。

関連論文リスト

• Vintix: Action Model via In-Context Reinforcement Learning [72.65703565352769]
  In-context reinforcement learning を通じて振る舞いを学習できる固定されたクロスドメインモデルを導入することで ICRL のスケールアップに向けた第一歩を提示する。 ICRLを促進するために設計されたフレームワークであるアルゴリズム蒸留は、多目的な作用モデルを構築するために、専門家蒸留に代わる魅力的な、競争力のある代替手段を提供することを示した。
  論文  参考訳（メタデータ） (2025-01-31T18:57:08Z)
• PCGRL+: Scaling, Control and Generalization in Reinforcement Learning Level Generators [2.334978724544296]
  制御可能なデザイナーエージェントを訓練する手段として,PCGRL (Procedural Content Generation) が導入された。 PCGRLはゲームデザイナーにユニークな余裕を提供するが、RLエージェントを訓練する計算集約的なプロセスによって制約される。 我々はJaxにいくつかのPCGRL環境を実装し、GPU上で学習とシミュレーションのあらゆる側面が並列に行われるようにした。
  論文  参考訳（メタデータ） (2024-08-22T16:30:24Z)
• REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
  生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。 理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。 我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
  論文  参考訳（メタデータ） (2024-04-25T17:20:45Z)
• Scalable Volt-VAR Optimization using RLlib-IMPALA Framework: A Reinforcement Learning Approach [11.11570399751075]
  本研究は, 深層強化学習(DRL)の可能性を活用した新しい枠組みを提案する。 DRLエージェントをRAYプラットフォームに統合することにより、RAYのリソースを効率的に利用してシステム適応性と制御を改善する新しいフレームワークであるRLlib-IMPALAの開発が容易になる。
  論文  参考訳（メタデータ） (2024-02-24T23:25:35Z)
• Discovering General Reinforcement Learning Algorithms with Adversarial Environment Design [54.39859618450935]
  メタ学習型更新ルールは,広範囲のRLタスクで良好に機能するアルゴリズムの発見を期待して,実現可能であることを示す。 Learned Policy Gradient (LPG)のようなアルゴリズムによる印象的な初期結果にもかかわらず、これらのアルゴリズムが目に見えない環境に適用される場合、まだギャップが残っている。 本研究では,メタ教師付き学習分布の特性が,これらのアルゴリズムの性能に与える影響について検討する。
  論文  参考訳（メタデータ） (2023-10-04T12:52:56Z)
• RLLTE: Long-Term Evolution Project of Reinforcement Learning [45.88099757610731]
  本稿では,RLLTEについて紹介する。RLLTEは長期的進化であり,高度にモジュール化された,強化学習(RL)研究と応用のためのオープンソースフレームワークである。 トップノーチアルゴリズムの実装を提供するだけでなく、RLLTEはアルゴリズム開発のためのツールキットとしても機能する。 RLLTEは、RLエンジニアリングの基準を設定し、産業や学界に高い刺激を与えると期待されている。
  論文  参考訳（メタデータ） (2023-09-28T12:30:37Z)
• Reinforcement Learning-assisted Evolutionary Algorithm: A Survey and Research Opportunities [63.258517066104446]
  進化的アルゴリズムの構成要素として統合された強化学習は,近年,優れた性能を示している。 本稿では,RL-EA 統合手法,RL-EA が採用する RL-EA 支援戦略,および既存文献による適用について論じる。 RL-EAセクションの適用例では、RL-EAのいくつかのベンチマークおよび様々な公開データセットにおける優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-25T15:06:05Z)
• BiERL: A Meta Evolutionary Reinforcement Learning Framework via Bilevel Optimization [34.24884427152513]
  双レベル最適化(BiERL)による一般的なメタERLフレームワークを提案する。 我々は、内部レベルの進化した経験を情報的人口表現に組み込むエレガントなメタレベルアーキテクチャを設計する。 我々は MuJoCo と Box2D タスクの広範な実験を行い、一般的なフレームワークとして BiERL が様々なベースラインを上回り、ERL アルゴリズムの多様性の学習性能を一貫して向上することを検証する。
  論文  参考訳（メタデータ） (2023-08-01T09:31:51Z)
• On Transforming Reinforcement Learning by Transformer: The Development Trajectory [97.79247023389445]
  Transformerは元々自然言語処理用に開発されたもので、コンピュータビジョンでも大きな成功を収めている。 既存の開発をアーキテクチャ拡張と軌道最適化の2つのカテゴリに分類する。 ロボット操作,テキストベースのゲーム,ナビゲーション,自律運転におけるTRLの主な応用について検討する。
  論文  参考訳（メタデータ） (2022-12-29T03:15:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。