論文の概要: Evolution of Societies via Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2410.17466v4
• Date: Sun, 27 Apr 2025 21:36:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-29 18:43:10.966314
• Title: Evolution of Societies via Reinforcement Learning
• Title（参考訳）: 強化学習による社会の進化
• Authors: Yann Bouteiller, Karthik Soma, Giovanni Beltrame,
• Abstract要約: 本稿では,強化学習エージェントの個体群を進化的規模でシミュレーションする手法を提案する。 政策グラディエント(PG)と対極学習意識(LOLA)の高速かつ並列化可能な実装を導出する。 我々は,異質な共学習エージェントによる非常に大きな集団の進化を,ナイーブな学習戦略と高度な学習戦略の両方の下でシミュレートすることで,我々のアプローチを実証する。
• 参考スコア（独自算出の注目度）: 10.689403855269704
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The universe involves many independent co-learning agents as an ever-evolving part of our observed environment. Yet, in practice, Multi-Agent Reinforcement Learning (MARL) applications are typically constrained to small, homogeneous populations and remain computationally intensive. We propose a methodology that enables simulating populations of Reinforcement Learning agents at evolutionary scale. More specifically, we derive a fast, parallelizable implementation of Policy Gradient (PG) and Opponent-Learning Awareness (LOLA), tailored for evolutionary simulations where agents undergo random pairwise interactions in stateless normal-form games. We demonstrate our approach by simulating the evolution of very large populations made of heterogeneous co-learning agents, under both naive and advanced learning strategies. In our experiments, 200,000 PG or LOLA agents evolve in the classic games of Hawk-Dove, Stag-Hunt, and Rock-Paper-Scissors. Each game provides distinct insights into how populations evolve under both naive and advanced MARL rules, including compelling ways in which Opponent-Learning Awareness affects social evolution.
• Abstract（参考訳）: この宇宙には、観測された環境の絶え間なく進化する部分として、多くの独立したコラーニングエージェントが含まれている。 しかし、実際には、MARL(Multi-Agent Reinforcement Learning)アプリケーションは、通常、小さく均質な集団に制約され、計算集約的のままである。 本稿では,強化学習エージェントの個体群を進化的規模でシミュレーションする手法を提案する。 より具体的には、エージェントがステートレスなノーマルフォームゲームにおいてランダムにペアワイズする進化シミュレーションに適した、ポリシーグラディエント(PG)と対向学習意識(LOLA)の高速で並列化可能な実装を導出する。 我々は,異質な共学習エージェントによる非常に大きな集団の進化を,ナイーブな学習戦略と高度な学習戦略の両方の下でシミュレートすることで,我々のアプローチを実証する。 我々の実験では、Hawk-Dove、Stag-Hunt、Rock-Paper-Scissorsといった古典的なゲームで、20万のPGまたはLOLAエージェントが進化した。 それぞれのゲームは、本質的なMARLルールと高度なMARLルールの両方の下での人口の進化に関する明確な洞察を与え、対人学習意識が社会進化に影響を与える魅力的な方法を含む。

関連論文リスト

• SocialGFs: Learning Social Gradient Fields for Multi-Agent Reinforcement Learning [58.84311336011451]
  マルチエージェント強化学習のための新しい勾配に基づく状態表現を提案する。 オフラインサンプルからソーシャルグラデーションフィールド(SocialGF)を学習するために,デノジングスコアマッチングを採用している。 実際に、SocialGFをMAPPOなど、広く使われているマルチエージェント強化学習アルゴリズムに統合する。
  論文  参考訳（メタデータ） (2024-05-03T04:12:19Z)
• A Survey on Self-Evolution of Large Language Models [116.54238664264928]
  大規模言語モデル(LLM)は、様々な分野やインテリジェントエージェントアプリケーションにおいて大きく進歩している。 この問題に対処するために、LLMが自律的に獲得し、洗練し、モデル自身によって生成された経験から学ぶことができる自己進化的アプローチが急速に成長している。
  論文  参考訳（メタデータ） (2024-04-22T17:43:23Z)
• Mathematics of multi-agent learning systems at the interface of game theory and artificial intelligence [0.8049333067399385]
  進化ゲーム理論と人工知能は、一見すると異なるように見える2つの分野であるが、それらは顕著なつながりと交差を持っている。 前者は集団における行動(または戦略)の進化に焦点を当て、個人が他人と対話し、模倣(または社会学習)に基づいて戦略を更新する。 一方後者は、機械学習アルゴリズムと(ディープ)ニューラルネットワークに重点を置いている。
  論文  参考訳（メタデータ） (2024-03-09T17:36:54Z)
• Agent Alignment in Evolving Social Norms [65.45423591744434]
  本稿では,エージェント進化とアライメントのための進化的フレームワークであるEvolutionaryAgentを提案する。 社会規範が継続的に進化する環境では、エージェントは現在の社会規範に適応し、生存と増殖の確率が高くなる。 進化的エージェントは、一般的なタスクにおいてその能力を維持しながら、進化する社会規範と徐々に整合できることを示す。
  論文  参考訳（メタデータ） (2024-01-09T15:44:44Z)
• DARLEI: Deep Accelerated Reinforcement Learning with Evolutionary Intelligence [77.78795329701367]
  本稿では,進化アルゴリズムと並列化強化学習を組み合わせたフレームワークであるDARLEIを提案する。 我々はDARLEIの性能を様々な条件で特徴付け、進化形態の多様性に影響を与える要因を明らかにした。 今後DARLEIを拡張して、よりリッチな環境における多様な形態素間の相互作用を取り入れていきたいと考えています。
  論文  参考訳（メタデータ） (2023-12-08T16:51:10Z)
• Generating Personas for Games with Multimodal Adversarial Imitation Learning [47.70823327747952]
  強化学習は、人間のレベルでゲームをすることができるエージェントを生産する上で、広く成功している。 強化学習を超えて進むことは、幅広い人間のプレイスタイルをモデル化するために必要である。 本稿では,プレイテストのための複数のペルソナポリシーを生成するための,新しい模倣学習手法を提案する。
  論文  参考訳（メタデータ） (2023-08-15T06:58:19Z)
• Supplementing Gradient-Based Reinforcement Learning with Simple Evolutionary Ideas [4.873362301533824]
  我々は、強化学習(RL)における大規模だが指向的な学習ステップを導入するための、単純でサンプル効率のよいアルゴリズムを提案する。 この手法では、共通経験バッファを持つRLエージェントの集団を用いて、ポリシー空間を効率的に探索するために、エージェントのクロスオーバーと突然変異を行う。
  論文  参考訳（メタデータ） (2023-05-10T09:46:53Z)
• Generative Adversarial Neuroevolution for Control Behaviour Imitation [3.04585143845864]
  本稿では,一般的なシミュレーション環境における行動模倣にディープ・ニューロエボリューションが有効かどうかを考察する。 我々は、単純な共進化的逆数生成フレームワークを導入し、標準の深い再帰ネットワークを進化させることにより、その能力を評価する。 全てのタスクにおいて、事前訓練されたエージェントが獲得したものよりも高いスコアを達成できる最後のエリートアクターが見つかる。
  論文  参考訳（メタデータ） (2023-04-03T16:33:22Z)
• Efficient Model-based Multi-agent Reinforcement Learning via Optimistic Equilibrium Computation [93.52573037053449]
  H-MARL (Hallucinated Multi-Agent Reinforcement Learning) は,環境と数回交流した後の平衡政策を学習する。 自律運転シミュレーションベンチマークにおいて,本手法を実験的に実証した。
  論文  参考訳（メタデータ） (2022-03-14T17:24:03Z)
• Conditional Imitation Learning for Multi-Agent Games [89.897635970366]
  本研究では,条件付きマルチエージェント模倣学習の課題について考察する。 本稿では,スケーラビリティとデータ不足の難しさに対処する新しい手法を提案する。 我々のモデルは,egoやパートナエージェント戦略よりも低ランクなサブスペースを学習し,サブスペースに補間することで,新たなパートナ戦略を推論し,適応する。
  論文  参考訳（メタデータ） (2022-01-05T04:40:13Z)
• From Motor Control to Team Play in Simulated Humanoid Football [56.86144022071756]
  我々は、現実的な仮想環境でサッカーをするために、物理的にシミュレートされたヒューマノイドアバターのチームを訓練する。 一連の段階において、プレイヤーはまず、現実的な人間のような動きを実行するために、完全に関節化された身体を制御することを学習する。 その後、ドリブルやシューティングといった中級のサッカーのスキルを身につける。 最後に、彼らは他の人を意識し、チームとしてプレーし、ミリ秒のタイムスケールで低レベルのモーターコントロールのギャップを埋める。
  論文  参考訳（メタデータ） (2021-05-25T20:17:10Z)
• Embodied Intelligence via Learning and Evolution [92.26791530545479]
  環境の複雑さが形態学的知能の進化を促進することを示す。 また、進化は速く学習する形態を素早く選択することを示した。 我々の実験は、ボールドウィン効果とモルフォロジーインテリジェンスの発生の両方の力学的基礎を示唆している。
  論文  参考訳（メタデータ） (2021-02-03T18:58:31Z)
• Emergent Social Learning via Multi-agent Reinforcement Learning [91.57176641192771]
  社会学習は、人間と動物の知性の重要な構成要素である。 本稿では,独立系強化学習エージェントが,社会的学習を用いてパフォーマンスを向上させることを学べるかどうかを検討する。
  論文  参考訳（メタデータ） (2020-10-01T17:54:14Z)
• The Evolutionary Dynamics of Independent Learning Agents in Population Games [21.68881173635777]
  本稿では,集団ゲームにおける独立学習エージェントのプロセスとダイナミクスの形式的関係について述べる。 マスター方程式アプローチを用いて、人口動態を特徴付けるための新しい統一的な枠組みを提供する。
  論文  参考訳（メタデータ） (2020-06-29T14:22:23Z)
• Evolutionary Population Curriculum for Scaling Multi-Agent Reinforcement Learning [37.22210622432453]
  進化的人口カリキュラムは、段階的にトレーニングエージェントの人口を徐々に増加させ、マルチエージェント強化学習(MARL)をスケールアップする。 我々は、人気のあるMARLアルゴリズムであるMADDPGにEPCを実装し、エージェントの数が指数関数的に増加するにつれて、我々のアプローチがベースラインを一貫して上回っていることを実証的に示す。
  論文  参考訳（メタデータ） (2020-03-23T17:49:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。