論文の概要: Evolution with Opponent-Learning Awareness

• arxiv url: http://arxiv.org/abs/2410.17466v2
• Date: Thu, 24 Oct 2024 19:03:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-28 09:36:53.028449
• Title: Evolution with Opponent-Learning Awareness
• Title（参考訳）: 対人学習意識による進化
• Authors: Yann Bouteiller, Karthik Soma, Giovanni Beltrame,
• Abstract要約: 学習エージェントの多種多様な集団が通常のゲームでどのように進化するかを示す。 進化シミュレーションに適した対向学習意識の高速で並列化可能な実装を導出する。 我々は,Hawk-Dove,Stag-Hunt,Rock-Paper-Scissorsの古典ゲームにおいて,20万エージェントのシミュレーションでアプローチを実証した。
• 参考スコア（独自算出の注目度）: 10.689403855269704
• License:
• Abstract: The universe involves many independent co-learning agents as an ever-evolving part of our observed environment. Yet, in practice, Multi-Agent Reinforcement Learning (MARL) applications are usually constrained to small, homogeneous populations and remain computationally intensive. In this paper, we study how large heterogeneous populations of learning agents evolve in normal-form games. We show how, under assumptions commonly made in the multi-armed bandit literature, Multi-Agent Policy Gradient closely resembles the Replicator Dynamic, and we further derive a fast, parallelizable implementation of Opponent-Learning Awareness tailored for evolutionary simulations. This enables us to simulate the evolution of very large populations made of heterogeneous co-learning agents, under both naive and advanced learning strategies. We demonstrate our approach in simulations of 200,000 agents, evolving in the classic games of Hawk-Dove, Stag-Hunt, and Rock-Paper-Scissors. Each game highlights distinct ways in which Opponent-Learning Awareness affects evolution.
• Abstract（参考訳）: この宇宙には、観測された環境の絶え間なく進化する部分として、多くの独立したコラーニングエージェントが含まれている。 しかし、実際には、MARL(Multi-Agent Reinforcement Learning)アプリケーションは、通常、小さく均質な集団に制約され、計算集約的のままである。 本稿では,学習エージェントの多種多様な集団が,通常型ゲームにおいてどのように進化するかを考察する。 マルチアームバンディットの文献でよく見られる仮定では、マルチエージェントポリシーグラディエントはReplicator Dynamicによく似ており、進化シミュレーションに適した対向学習アウェアネスの高速で並列化可能な実装を導出する。 これにより、多種多様な共学習エージェントによる非常に大きな集団の進化を、ナイーブな学習戦略と高度な学習戦略の両方の下でシミュレートすることができる。 我々は,Hawk-Dove,Stag-Hunt,Rock-Paper-Scissorsの古典ゲームにおいて,20万エージェントのシミュレーションでアプローチを実証した。 各ゲームは、対向学習意識が進化に影響を及ぼす異なる方法を強調している。

関連論文リスト

• A Survey on Self-Evolution of Large Language Models [116.54238664264928]
  大規模言語モデル(LLM)は、様々な分野やインテリジェントエージェントアプリケーションにおいて大きく進歩している。 この問題に対処するために、LLMが自律的に獲得し、洗練し、モデル自身によって生成された経験から学ぶことができる自己進化的アプローチが急速に成長している。
  論文  参考訳（メタデータ） (2024-04-22T17:43:23Z)
• Mathematics of multi-agent learning systems at the interface of game theory and artificial intelligence [0.8049333067399385]
  進化ゲーム理論と人工知能は、一見すると異なるように見える2つの分野であるが、それらは顕著なつながりと交差を持っている。 前者は集団における行動(または戦略)の進化に焦点を当て、個人が他人と対話し、模倣(または社会学習)に基づいて戦略を更新する。 一方後者は、機械学習アルゴリズムと(ディープ)ニューラルネットワークに重点を置いている。
  論文  参考訳（メタデータ） (2024-03-09T17:36:54Z)
• DARLEI: Deep Accelerated Reinforcement Learning with Evolutionary Intelligence [77.78795329701367]
  本稿では,進化アルゴリズムと並列化強化学習を組み合わせたフレームワークであるDARLEIを提案する。 我々はDARLEIの性能を様々な条件で特徴付け、進化形態の多様性に影響を与える要因を明らかにした。 今後DARLEIを拡張して、よりリッチな環境における多様な形態素間の相互作用を取り入れていきたいと考えています。
  論文  参考訳（メタデータ） (2023-12-08T16:51:10Z)
• Generating Personas for Games with Multimodal Adversarial Imitation Learning [47.70823327747952]
  強化学習は、人間のレベルでゲームをすることができるエージェントを生産する上で、広く成功している。 強化学習を超えて進むことは、幅広い人間のプレイスタイルをモデル化するために必要である。 本稿では,プレイテストのための複数のペルソナポリシーを生成するための,新しい模倣学習手法を提案する。
  論文  参考訳（メタデータ） (2023-08-15T06:58:19Z)
• Supplementing Gradient-Based Reinforcement Learning with Simple Evolutionary Ideas [4.873362301533824]
  我々は、強化学習(RL)における大規模だが指向的な学習ステップを導入するための、単純でサンプル効率のよいアルゴリズムを提案する。 この手法では、共通経験バッファを持つRLエージェントの集団を用いて、ポリシー空間を効率的に探索するために、エージェントのクロスオーバーと突然変異を行う。
  論文  参考訳（メタデータ） (2023-05-10T09:46:53Z)
• Generative Adversarial Neuroevolution for Control Behaviour Imitation [3.04585143845864]
  本稿では,一般的なシミュレーション環境における行動模倣にディープ・ニューロエボリューションが有効かどうかを考察する。 我々は、単純な共進化的逆数生成フレームワークを導入し、標準の深い再帰ネットワークを進化させることにより、その能力を評価する。 全てのタスクにおいて、事前訓練されたエージェントが獲得したものよりも高いスコアを達成できる最後のエリートアクターが見つかる。
  論文  参考訳（メタデータ） (2023-04-03T16:33:22Z)
• Conditional Imitation Learning for Multi-Agent Games [89.897635970366]
  本研究では,条件付きマルチエージェント模倣学習の課題について考察する。 本稿では,スケーラビリティとデータ不足の難しさに対処する新しい手法を提案する。 我々のモデルは,egoやパートナエージェント戦略よりも低ランクなサブスペースを学習し,サブスペースに補間することで,新たなパートナ戦略を推論し,適応する。
  論文  参考訳（メタデータ） (2022-01-05T04:40:13Z)
• From Motor Control to Team Play in Simulated Humanoid Football [56.86144022071756]
  我々は、現実的な仮想環境でサッカーをするために、物理的にシミュレートされたヒューマノイドアバターのチームを訓練する。 一連の段階において、プレイヤーはまず、現実的な人間のような動きを実行するために、完全に関節化された身体を制御することを学習する。 その後、ドリブルやシューティングといった中級のサッカーのスキルを身につける。 最後に、彼らは他の人を意識し、チームとしてプレーし、ミリ秒のタイムスケールで低レベルのモーターコントロールのギャップを埋める。
  論文  参考訳（メタデータ） (2021-05-25T20:17:10Z)
• Embodied Intelligence via Learning and Evolution [92.26791530545479]
  環境の複雑さが形態学的知能の進化を促進することを示す。 また、進化は速く学習する形態を素早く選択することを示した。 我々の実験は、ボールドウィン効果とモルフォロジーインテリジェンスの発生の両方の力学的基礎を示唆している。
  論文  参考訳（メタデータ） (2021-02-03T18:58:31Z)
• The Evolutionary Dynamics of Independent Learning Agents in Population Games [21.68881173635777]
  本稿では,集団ゲームにおける独立学習エージェントのプロセスとダイナミクスの形式的関係について述べる。 マスター方程式アプローチを用いて、人口動態を特徴付けるための新しい統一的な枠組みを提供する。
  論文  参考訳（メタデータ） (2020-06-29T14:22:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。