論文の概要: Partially Observable Mean Field Multi-Agent Reinforcement Learning Based on Graph-Attention
- arxiv url: http://arxiv.org/abs/2304.12653v3
- Date: Fri, 6 Sep 2024 10:12:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-09 21:18:57.312690
- Title: Partially Observable Mean Field Multi-Agent Reinforcement Learning Based on Graph-Attention
- Title（参考訳）: グラフ注意に基づく部分観測可能平均場多元強化学習
- Authors: Min Yang, Guanjun Liu, Ziyuan Zhou,
- Abstract要約: グラフ認識(GAMFQ)に基づく部分観測可能な平均場多エージェント強化学習法を提案する。
GAMFQは、グラフアテンションモジュールと平均フィールドモジュールを使用して、エージェントが各ステップにおける他のエージェントのアクションにどのように影響されるかを記述する。
- 参考スコア（独自算出の注目度）: 12.588866091856309
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Traditional multi-agent reinforcement learning algorithms are difficultly applied in a large-scale multi-agent environment. The introduction of mean field theory has enhanced the scalability of multi-agent reinforcement learning in recent years. This paper considers partially observable multi-agent reinforcement learning (MARL), where each agent can only observe other agents within a fixed range. This partial observability affects the agent's ability to assess the quality of the actions of surrounding agents. This paper focuses on developing a method to capture more effective information from local observations in order to select more effective actions. Previous work in this field employs probability distributions or weighted mean field to update the average actions of neighborhood agents, but it does not fully consider the feature information of surrounding neighbors and leads to a local optimum. In this paper, we propose a novel multi-agent reinforcement learning algorithm, Partially Observable Mean Field Multi-Agent Reinforcement Learning based on Graph--Attention (GAMFQ) to remedy this flaw. GAMFQ uses a graph attention module and a mean field module to describe how an agent is influenced by the actions of other agents at each time step. This graph attention module consists of a graph attention encoder and a differentiable attention mechanism, and this mechanism outputs a dynamic graph to represent the effectiveness of neighborhood agents against central agents. The mean--field module approximates the effect of a neighborhood agent on a central agent as the average effect of effective neighborhood agents. We evaluate GAMFQ on three challenging tasks in the MAgents framework. Experiments show that GAMFQ outperforms baselines including the state-of-the-art partially observable mean-field reinforcement learning algorithms.
- Abstract（参考訳）: 従来のマルチエージェント強化学習アルゴリズムは大規模マルチエージェント環境では難しい。
近年, 平均場理論の導入により, 多エージェント強化学習のスケーラビリティが向上している。
本稿では、各エージェントが一定の範囲内で他のエージェントを観察できる部分観測可能マルチエージェント強化学習(MARL)について考察する。
この部分的な観察性は、周囲のエージェントの行動の質を評価するエージェントの能力に影響を与える。
本稿では,より効果的な行動を選択するために,局所的な観測からより効果的な情報を取得する手法の開発に焦点をあてる。
この分野でのこれまでの作業では, 周辺エージェントの平均行動を更新するために, 確率分布や重み付き平均場を用いていたが, 周辺エージェントの特徴情報を十分に考慮しておらず, 局所的な最適化につながっている。
本稿では,グラフアテンション(GAMFQ)に基づく新しいマルチエージェント強化学習アルゴリズムを提案する。GAMFQは,グラフアテンションモジュールと平均フィールドモジュールを用いて,各時間における他のエージェントの動作にエージェントがどのように影響するかを記述する。グラフアテンションモジュールは,グラフアテンションエンコーダと可変アテンション機構から構成される。この機構は,中央エージェントに対する近隣エージェントの効果を表すダイナミックグラフを出力する。平均フィールドモジュールは,中央エージェントに対する周辺エージェントの効果を,有効エージェントの作用として近似する。
我々は,MAgentsフレームワークにおける3つの課題に対してGAMFQを評価した。
実験により、GAMFQは最先端の部分的に観測可能な平均場強化学習アルゴリズムを含むベースラインを上回っていることが示された。
関連論文リスト
- Self-Supervised Neuron Segmentation with Multi-Agent Reinforcement
Learning [53.00683059396803]
マスク画像モデル(MIM)は,マスク画像から元の情報を復元する簡便さと有効性から広く利用されている。
本稿では、強化学習(RL)を利用して最適な画像マスキング比とマスキング戦略を自動検索する決定に基づくMIMを提案する。
本手法は,ニューロン分節の課題において,代替自己監督法に対して有意な優位性を有する。
論文 参考訳（メタデータ） (2023-10-06T10:40:46Z) - SACHA: Soft Actor-Critic with Heuristic-Based Attention for Partially
Observable Multi-Agent Path Finding [3.4260993997836753]
我々は,ヒューリスティック・ベース・アテンション(SACHA)を用いたソフト・アクター・クリティカル(Soft Actor-Critic)と呼ばれる新しいマルチエージェント・アクター・クリティカルな手法を提案する。
SACHAは、各エージェントが最短経路ガイダンスに選択的に注目するニューラルネットワークを、その視野内の複数のエージェントから学習する。
我々は、いくつかの最先端の学習ベースMAPF法に対して、成功率とソリューション品質に関して、良好な改善を示す。
論文 参考訳（メタデータ） (2023-07-05T23:36:33Z) - MA2CL:Masked Attentive Contrastive Learning for Multi-Agent
Reinforcement Learning [128.19212716007794]
我々はtextbfMulti-textbfAgent textbfMasked textbfAttentive textbfContrastive textbfLearning (MA2CL) という効果的なフレームワークを提案する。
MA2CLは、潜伏空間におけるマスクされたエージェント観察を再構築することにより、時間的およびエージェントレベルの予測の両方の学習表現を奨励する。
提案手法は,様々なMARLアルゴリズムの性能とサンプル効率を大幅に向上させ,様々な視覚的,状態的シナリオにおいて,他の手法よりも優れる。
論文 参考訳（メタデータ） (2023-06-03T05:32:19Z) - MADiff: Offline Multi-agent Learning with Diffusion Models [79.18130544233794]
拡散モデル(DM)は、最近オフライン強化学習を含む様々なシナリオで大きな成功を収めた。
この問題に対処する新しい生成型マルチエージェント学習フレームワークであるMADiffを提案する。
本実験は,マルチエージェント学習タスクにおけるベースラインアルゴリズムと比較して,MADiffの優れた性能を示す。
論文 参考訳（メタデータ） (2023-05-27T02:14:09Z) - Beyond Rewards: a Hierarchical Perspective on Offline Multiagent
Behavioral Analysis [14.656957226255628]
本稿では,マルチエージェント領域における行動クラスタの発見のためのモデルに依存しない手法を提案する。
我々のフレームワークはエージェントの基盤となる学習アルゴリズムを前提とせず、潜伏状態やモデルへのアクセスを必要とせず、完全にオフラインで観察データを使って訓練することができる。
論文 参考訳（メタデータ） (2022-06-17T23:07:33Z) - PooL: Pheromone-inspired Communication Framework forLarge Scale
Multi-Agent Reinforcement Learning [0.0]
textbfPooLは、大規模マルチエージェント強化の textbfl に適用される間接通信フレームワークである。
PooLはフェロモンの放出と利用機構を利用して、大規模なエージェント調整を制御する。
PooLは効果的な情報を取り込み、通信コストの低い他の最先端手法よりも高い報酬を得ることができる。
論文 参考訳（メタデータ） (2022-02-20T03:09:53Z) - Soft Hierarchical Graph Recurrent Networks for Many-Agent Partially
Observable Environments [9.067091068256747]
本稿では,階層型グラフ再帰ネットワーク(HGRN)と呼ばれる新しいネットワーク構造を提案する。
以上の技術に基づいて,Soft-HGRNと呼ばれる値に基づくMADRLアルゴリズムと,SAC-HRGNというアクタクリティカルな変種を提案する。
論文 参考訳（メタデータ） (2021-09-05T09:51:25Z) - What is Going on Inside Recurrent Meta Reinforcement Learning Agents? [63.58053355357644]
recurrent meta reinforcement learning (meta-rl)エージェントは「学習アルゴリズムの学習」を目的としてrecurrent neural network (rnn)を使用するエージェントである。
部分観測可能なマルコフ決定プロセス(POMDP)フレームワークを用いてメタRL問題を再構成することにより,これらのエージェントの内部動作機構を明らかにする。
論文 参考訳（メタデータ） (2021-04-29T20:34:39Z) - Graph Convolutional Value Decomposition in Multi-Agent Reinforcement
Learning [9.774412108791218]
深層強化学習における値関数分解のための新しい枠組みを提案する。
特に、エージェントのチームは完全有向グラフのノードの集合であると考えている。
我々は,チーム状態-行動値関数を各エージェント毎の観察-行動値関数に分解する混合GNNモジュールを導入し,グローバルチーム報酬の分数で各エージェントに明示的なクレジット割り当てを行う。
論文 参考訳（メタデータ） (2020-10-09T18:01:01Z) - Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。
提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。
シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
論文 参考訳（メタデータ） (2020-10-06T16:51:09Z) - FACMAC: Factored Multi-Agent Centralised Policy Gradients [103.30380537282517]
FACtored Multi-Agent Centralized Policy gradients (FACMAC)を提案する。
離散的および連続的な行動空間における協調的マルチエージェント強化学習のための新しい手法である。
我々は,マルチエージェント粒子環境の変動に対するFACMAC,新しいマルチエージェント MuJoCo ベンチマーク,およびStarCraft II マイクロマネジメントタスクの挑戦的セットについて評価した。
論文 参考訳（メタデータ） (2020-03-14T21:29:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。