論文の概要: PooL: Pheromone-inspired Communication Framework forLarge Scale Multi-Agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2202.09722v1
• Date: Sun, 20 Feb 2022 03:09:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-25 12:31:20.455606
• Title: PooL: Pheromone-inspired Communication Framework forLarge Scale Multi-Agent Reinforcement Learning
• Title（参考訳）: PooL:大規模マルチエージェント強化学習のためのフェロモンによるコミュニケーションフレームワーク
• Authors: Zixuan Cao, Mengzhi Shi, Zhanbo Zhao, Xiujun Ma
• Abstract要約: textbfPooLは、大規模マルチエージェント強化の textbfl に適用される間接通信フレームワークである。 PooLはフェロモンの放出と利用機構を利用して、大規模なエージェント調整を制御する。 PooLは効果的な情報を取り込み、通信コストの低い他の最先端手法よりも高い報酬を得ることができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Being difficult to scale poses great problems in multi-agent coordination. Multi-agent Reinforcement Learning (MARL) algorithms applied in small-scale multi-agent systems are hard to extend to large-scale ones because the latter is far more dynamic and the number of interactions increases exponentially with the growing number of agents. Some swarm intelligence algorithms simulate the release and utilization mechanism of pheromones to control large-scale agent coordination. Inspired by such algorithms, \textbf{PooL}, an \textbf{p}her\textbf{o}m\textbf{o}ne-based indirect communication framework applied to large scale multi-agent reinforcement \textbf{l}earning is proposed in order to solve the large-scale multi-agent coordination problem. Pheromones released by agents of PooL are defined as outputs of most reinforcement learning algorithms, which reflect agents' views of the current environment. The pheromone update mechanism can efficiently organize the information of all agents and simplify the complex interactions among agents into low-dimensional representations. Pheromones perceived by agents can be regarded as a summary of the views of nearby agents which can better reflect the real situation of the environment. Q-Learning is taken as our base model to implement PooL and PooL is evaluated in various large-scale cooperative environments. Experiments show agents can capture effective information through PooL and achieve higher rewards than other state-of-arts methods with lower communication costs.
• Abstract（参考訳）: スケールアップが難しいことは、マルチエージェント協調において大きな問題を引き起こす。 小規模マルチエージェントシステムに適用されたマルチエージェント強化学習(marl)アルゴリズムは,エージェント数の増加に伴って相互作用数が指数関数的に増加するため,大規模システムへの拡張が困難である。 いくつかのスウォームインテリジェンスアルゴリズムは、大規模なエージェント調整を制御するためにフェロモンの放出と利用機構をシミュレートする。 このようなアルゴリズムに着想を得て, 大規模マルチエージェント強化に応用した \textbf{PooL}, a \textbf{p}her\textbf{o}m\textbf{o}ne-based indirect communication framework を提案する。 poolのエージェントによって放出されるフェロモンは、現在の環境に対するエージェントの見解を反映した強化学習アルゴリズムのアウトプットとして定義される。 フェロモン更新機構は、全てのエージェントの情報を効率的に整理し、エージェント間の複雑な相互作用を低次元表現に単純化することができる。 エージェントによって知覚されるフェロモンは、環境の実態をよりよく反映できる近くのエージェントの視点の要約と見なすことができる。 また, 大規模協調環境において, PooL の実装のためのQ-Learning を基本モデルとし, PooL の評価を行った。 実験によると、エージェントはプールを通じて効果的な情報をキャプチャし、通信コストの低減で他の最先端メソッドよりも高い報酬を得ることができる。

関連論文リスト

• Very Large-Scale Multi-Agent Simulation in AgentScope [112.98986800070581]
  我々は,ユーザフレンドリーなマルチエージェントプラットフォームであるAgentScopeの新機能とコンポーネントを開発した。 高いスケーラビリティと高効率を実現するために,アクタをベースとした分散機構を提案する。 また、多数のエージェントを便利に監視し、管理するためのWebベースのインターフェースも提供します。
  論文  参考訳（メタデータ） (2024-07-25T05:50:46Z)
• Scaling Large-Language-Model-based Multi-Agent Collaboration [75.5241464256688]
  大規模言語モデルによるエージェントのパイオニア化は、マルチエージェントコラボレーションの設計パターンを暗示している。 神経スケーリング法則に触発された本研究では,マルチエージェント協調におけるエージェントの増加に類似の原理が適用されるかを検討する。
  論文  参考訳（メタデータ） (2024-06-11T11:02:04Z)
• ProAgent: Building Proactive Cooperative Agents with Large Language Models [89.53040828210945]
  ProAgentは、大規模な言語モデルを利用してプロアクティブエージェントを生成する新しいフレームワークである。 ProAgentは現状を分析し、チームメイトの意図を観察から推測することができる。 ProAgentは高度なモジュール化と解釈可能性を示し、様々な調整シナリオに容易に統合できる。
  論文  参考訳（メタデータ） (2023-08-22T10:36:56Z)
• AgentVerse: Facilitating Multi-Agent Collaboration and Exploring Emergent Behaviors [93.38830440346783]
  本稿では,その構成をより高機能なシステムとして協調的に調整できるマルチエージェントフレームワークを提案する。 実験により,フレームワークが単一エージェントより優れたマルチエージェントグループを効果的に展開できることが実証された。 これらの振舞いの観点から、我々は、ポジティブなものを活用し、ネガティブなものを緩和し、マルチエージェントグループの協調可能性を改善するためのいくつかの戦略について議論する。
  論文  参考訳（メタデータ） (2023-08-21T16:47:11Z)
• MADiff: Offline Multi-agent Learning with Diffusion Models [79.18130544233794]
  拡散モデル(DM)は、最近オフライン強化学習を含む様々なシナリオで大きな成功を収めた。 この問題に対処する新しい生成型マルチエージェント学習フレームワークであるMADiffを提案する。 本実験は,マルチエージェント学習タスクにおけるベースラインアルゴリズムと比較して,MADiffの優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-27T02:14:09Z)
• Depthwise Convolution for Multi-Agent Communication with Enhanced Mean-Field Approximation [9.854975702211165]
  本稿では,MARL(Multi-agent RL)課題に取り組むための,局所的なコミュニケーション学習に基づく新しい手法を提案する。 まず,局所的な関係を効率的に抽出する深層的畳み込み機能を利用する新しい通信プロトコルを設計する。 第2に,エージェント相互作用の規模を減らすために,平均場近似を導入する。
  論文  参考訳（メタデータ） (2022-03-06T07:42:43Z)
• Recursive Reasoning Graph for Multi-Agent Reinforcement Learning [44.890087638530524]
  マルチエージェント強化学習(MARL)は、複数のエージェントが相互に相互作用するポリシーを同時に学習する効率的な方法である。 既存のアルゴリズムは、他のエージェントに対する自己行動の影響を正確に予測できない。 提案アルゴリズムはRecursive Reasoning Graph (R2G)と呼ばれ、複数のマルチエージェント粒子およびロボットゲームにおける最先端の性能を示す。
  論文  参考訳（メタデータ） (2022-03-06T00:57:50Z)
• Meta-CPR: Generalize to Unseen Large Number of Agents with Communication Pattern Recognition Module [29.75594940509839]
  エージェント数が異なるマルチエージェント環境をマルチタスク問題として定式化する。 本稿では,メタ強化学習(meta-RL)フレームワークを提案する。 提案フレームワークはメタ学習型通信パターン認識(CPR)モジュールを用いて通信の振る舞いを識別する。
  論文  参考訳（メタデータ） (2021-12-14T08:23:04Z)
• HAMMER: Multi-Level Coordination of Reinforcement Learning Agents via Learned Messaging [14.960795846548029]
  協調型マルチエージェント強化学習(marl)は,ディープニューラルネットワークの表現学習能力を活用することで,大きな成果を上げている。 本稿では、観測空間全体を観測できる単一の、強力な、中央のエージェントが存在する場合と、局所的な観測のみを受信できる複数の、低パワーのローカルエージェントが相互に通信できない場合について考察する。 中央エージェントの役割は、グローバル観察に基づいて、異なるローカルエージェントに送信すべきメッセージを学ぶことであるが、個々のエージェントがよりよい決定を下せるように、どのような追加情報を受け取るべきかを決定することである。
  論文  参考訳（メタデータ） (2021-01-18T19:00:12Z)
• Scaling Up Multiagent Reinforcement Learning for Robotic Systems: Learn an Adaptive Sparse Communication Graph [39.48317026356428]
  多エージェント強化学習の複雑さはエージェント数に対して指数関数的に増加する。 しばしば無視されるMARLの重要な特徴は、エージェント間の相互作用が極めて疎いことである。 疎度誘導活性化関数を一般化した適応的スパースアテンション機構を提案する。 提案アルゴリズムは,解釈可能なスパース構造を学習し,大規模マルチエージェントシステムを含むアプリケーションにおいて,従来よりも優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2020-03-02T17:18:25Z)
• Multi-Agent Interactions Modeling with Correlated Policies [53.38338964628494]
  本稿では,マルチエージェントインタラクションモデリング問題をマルチエージェント模倣学習フレームワークに実装する。 相関ポリシー(CoDAIL)を用いた分散型適応模倣学習アルゴリズムの開発 様々な実験により、CoDAILはデモレーターに近い複雑な相互作用をより良く再生できることが示されている。
  論文  参考訳（メタデータ） (2020-01-04T17:31:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。