論文の概要: DARLEI: Deep Accelerated Reinforcement Learning with Evolutionary Intelligence

• arxiv url: http://arxiv.org/abs/2312.05171v1
• Date: Fri, 8 Dec 2023 16:51:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-11 14:38:40.904860
• Title: DARLEI: Deep Accelerated Reinforcement Learning with Evolutionary Intelligence
• Title（参考訳）: darlei: 進化的知性による強化学習の深層化
• Authors: Saeejith Nair, Mohammad Javad Shafiee, Alexander Wong
• Abstract要約: 本稿では,進化アルゴリズムと並列化強化学習を組み合わせたフレームワークであるDARLEIを提案する。 我々はDARLEIの性能を様々な条件で特徴付け、進化形態の多様性に影響を与える要因を明らかにした。 今後DARLEIを拡張して、よりリッチな環境における多様な形態素間の相互作用を取り入れていきたいと考えています。
• 参考スコア（独自算出の注目度）: 77.78795329701367
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present DARLEI, a framework that combines evolutionary algorithms with parallelized reinforcement learning for efficiently training and evolving populations of UNIMAL agents. Our approach utilizes Proximal Policy Optimization (PPO) for individual agent learning and pairs it with a tournament selection-based generational learning mechanism to foster morphological evolution. By building on Nvidia's Isaac Gym, DARLEI leverages GPU accelerated simulation to achieve over 20x speedup using just a single workstation, compared to previous work which required large distributed CPU clusters. We systematically characterize DARLEI's performance under various conditions, revealing factors impacting diversity of evolved morphologies. For example, by enabling inter-agent collisions within the simulator, we find that we can simulate some multi-agent interactions between the same morphology, and see how it influences individual agent capabilities and long-term evolutionary adaptation. While current results demonstrate limited diversity across generations, we hope to extend DARLEI in future work to include interactions between diverse morphologies in richer environments, and create a platform that allows for coevolving populations and investigating emergent behaviours in them. Our source code is also made publicly at https://saeejithnair.github.io/darlei.
• Abstract（参考訳）: 本稿では,進化アルゴリズムと並列化強化学習を組み合わせたフレームワークであるDARLEIについて述べる。 提案手法は, PPO(Proximal Policy Optimization)を個人エージェント学習に利用し, 形態的進化を促進するために, トーナメント選択に基づく世代学習機構と組み合わせる。 nvidiaのアイザックジム上に構築することで、darleiはgpuアクセラレーションシミュレーションを利用して、1つのワークステーションだけで20倍以上のスピードアップを実現している。 様々な条件下でDARLEIの性能を体系的に評価し,進化形態の多様性に影響を与える要因を明らかにする。 例えば、シミュレータ内でエージェント間衝突を可能にすることで、同じ形態間のマルチエージェント相互作用をシミュレートし、それが個々のエージェント能力と長期の進化的適応にどのように影響するかを確認することができる。 現在の結果は、世代間で限定的な多様性を示しているが、将来的にdarleiを拡張して、より豊かな環境における多様な形態学間の相互作用を含めることを望んでいる。 ソースコードはhttps://saeejithnair.github.io/darleiで公開しています。

関連論文リスト

• Evolution with Opponent-Learning Awareness [10.689403855269704]
  学習エージェントの多種多様な集団が通常のゲームでどのように進化するかを示す。 進化シミュレーションに適した対向学習意識の高速で並列化可能な実装を導出する。 我々は,Hawk-Dove,Stag-Hunt,Rock-Paper-Scissorsの古典ゲームにおいて,20万エージェントのシミュレーションでアプローチを実証した。
  論文  参考訳（メタデータ） (2024-10-22T22:49:04Z)
• Scaling Large-Language-Model-based Multi-Agent Collaboration [75.5241464256688]
  大規模言語モデルによるエージェントのパイオニア化は、マルチエージェントコラボレーションの設計パターンを暗示している。 神経スケーリング法則に触発された本研究では,マルチエージェント協調におけるエージェントの増加に類似の原理が適用されるかを検討する。
  論文  参考訳（メタデータ） (2024-06-11T11:02:04Z)
• Trackable Agent-based Evolution Models at Wafer Scale [0.0]
  我々は,85万プロセッサCerebras Wafer Scale Engine(WSE)のエージェントベース進化から系統情報を抽出する問題に焦点をあてる。 We present a asynchronous island-based genetic algorithm (GA) framework for WSE hardware。 本研究は,これらの治験の系統的再構成を検証し,根底にある進化状態の推測に適合することを示す。
  論文  参考訳（メタデータ） (2024-04-16T19:24:14Z)
• Evolving Reservoirs for Meta Reinforcement Learning [1.6874375111244329]
  本稿では,そのようなプロセスを実現する機構を研究するための計算モデルを提案する。 進化のスケールでは、リカレントニューラルネットワークの族である貯水池を進化させます。 我々は、強化学習(RL)を通じた行動政策の学習を容易にするために、これらの進化した貯水池を利用する。 以上の結果から,貯水池の進化は多様な課題の学習を改善することが示唆された。
  論文  参考訳（メタデータ） (2023-12-09T16:11:48Z)
• Generative Adversarial Neuroevolution for Control Behaviour Imitation [3.04585143845864]
  本稿では,一般的なシミュレーション環境における行動模倣にディープ・ニューロエボリューションが有効かどうかを考察する。 我々は、単純な共進化的逆数生成フレームワークを導入し、標準の深い再帰ネットワークを進化させることにより、その能力を評価する。 全てのタスクにおいて、事前訓練されたエージェントが獲得したものよりも高いスコアを達成できる最後のエリートアクターが見つかる。
  論文  参考訳（メタデータ） (2023-04-03T16:33:22Z)
• Co-design of Embodied Neural Intelligence via Constrained Evolution [8.350757829136315]
  自律移動エージェントの形状特性と移動特性を共設計する手法を提案する。 私たちの主なインスピレーションは進化であり、それが自然の幅広い多様性と適応につながった。 その結果,変化の10%に過ぎなかったとしても,進化したエージェントの全体的な性能は50%向上した。
  論文  参考訳（メタデータ） (2022-05-21T22:44:12Z)
• Epigenetic evolution of deep convolutional models [81.21462458089142]
  我々は、より深い畳み込みモデルを進化させるために、これまで提案されていた神経進化の枠組みを構築した。 異なる形状と大きさのカーネルを同一層内に共存させる畳み込み層配置を提案する。 提案したレイアウトにより、畳み込み層内の個々のカーネルのサイズと形状を、対応する新しい突然変異演算子で進化させることができる。
  論文  参考訳（メタデータ） (2021-04-12T12:45:16Z)
• GEM: Group Enhanced Model for Learning Dynamical Control Systems [78.56159072162103]
  サンプルベースの学習が可能な効果的なダイナミクスモデルを構築します。 リー代数ベクトル空間上のダイナミクスの学習は、直接状態遷移モデルを学ぶよりも効果的であることを示す。 この研究は、ダイナミクスの学習とリー群の性質の関連性を明らかにし、新たな研究の方向への扉を開く。
  論文  参考訳（メタデータ） (2021-04-07T01:08:18Z)
• Task-Agnostic Morphology Evolution [94.97384298872286]
  モルフォロジーと振る舞いを共同適用する現在のアプローチでは、特定のタスクの報酬をモルフォロジー最適化のシグナルとして使用します。 これはしばしば高価なポリシー最適化を必要とし、一般化するために構築されていないタスクに依存した形態をもたらす。 我々は,これらの問題を緩和するための新しいアプローチであるタスク非依存形態進化(tame)を提案する。
  論文  参考訳（メタデータ） (2021-02-25T18:59:21Z)
• PsiPhi-Learning: Reinforcement Learning with Demonstrations using Successor Features and Inverse Temporal Difference Learning [102.36450942613091]
  時間差学習(ITD)と呼ばれる逆強化学習アルゴリズムを提案する。 Psi Phi$-learningと呼ばれるデモで強化学習のための新しいアルゴリズムに到達し、オンライン環境の相互作用から学習とITDをシームレスに統合する方法を示します。
  論文  参考訳（メタデータ） (2021-02-24T21:12:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。