論文の概要: Distributed Multi-Agent Deep Reinforcement Learning for Robust
Coordination against Noise
- arxiv url: http://arxiv.org/abs/2205.09705v1
- Date: Thu, 19 May 2022 17:18:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-20 14:05:42.291893
- Title: Distributed Multi-Agent Deep Reinforcement Learning for Robust
Coordination against Noise
- Title(参考訳): 雑音に対するロバスト調整のための分散マルチエージェント深部強化学習
- Authors: Yoshinari Motokawa and Toshiharu Sugawara
- Abstract要約: マルチエージェントシステム(DA3-X)のための多機能アクターアーキテクチャモデルを提案する。
我々は,DA3-Xのエージェントが雑音環境を選択的に学習し,協調して行動できることを実証した。
我々は,DA3-Xの有効性を実験的に評価し,DA3-Xのエージェントがベースラインエージェントよりも優れた性能が得られることを示す。
- 参考スコア(独自算出の注目度): 2.741266294612776
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In multi-agent systems, noise reduction techniques are important for
improving the overall system reliability as agents are required to rely on
limited environmental information to develop cooperative and coordinated
behaviors with the surrounding agents. However, previous studies have often
applied centralized noise reduction methods to build robust and versatile
coordination in noisy multi-agent environments, while distributed and
decentralized autonomous agents are more plausible for real-world application.
In this paper, we introduce a \emph{distributed attentional actor architecture
model for a multi-agent system} (DA3-X), using which we demonstrate that agents
with DA3-X can selectively learn the noisy environment and behave
cooperatively. We experimentally evaluate the effectiveness of DA3-X by
comparing learning methods with and without DA3-X and show that agents with
DA3-X can achieve better performance than baseline agents. Furthermore, we
visualize heatmaps of \emph{attentional weights} from the DA3-X to analyze how
the decision-making process and coordinated behavior are influenced by noise.
- Abstract(参考訳): マルチエージェントシステムでは,周囲のエージェントとの協調的協調行動を促進するために,限られた環境情報に頼らなければならないため,システム全体の信頼性を向上させるためにノイズ低減技術が重要である。
しかし、従来の研究では、雑音の多いマルチエージェント環境においてロバストで多用途な協調を構築するために集中型ノイズ低減法を適用してきた。
本稿では,多エージェントシステム(DA3-X)のための<emph{distributed attentional actor architecture model(DA3-X)を紹介し,DA3-Xを持つエージェントが雑音環境を選択的に学習し,協調して振る舞うことを実証する。
DA3-Xの学習方法とDA3-Xの有無を比較し,DA3-Xのエージェントがベースラインエージェントよりも優れた性能が得られることを示す。
さらに,DA3-Xから<emph{attentional weights</e>の熱マップを可視化し,決定過程と協調行動がノイズに与える影響を分析する。
関連論文リスト
- Multiagent Copilot Approach for Shared Autonomy between Human EEG and
TD3 Deep Reinforcement Learning [1.6627862444646657]
人体の脳波(EEG)からデコードされた作用指令と、与えられた環境に対する双発遅延DDPG(TD3)エージェントから生成された作用との間には、共有自律性が認められた。
提案手法は,EEG(EEG-NB)やTD3(TD3制御)よりも有意に優れていた。
論文 参考訳(メタデータ) (2023-12-22T06:15:50Z) - A Variational Approach to Mutual Information-Based Coordination for
Multi-Agent Reinforcement Learning [17.893310647034188]
マルチエージェント強化学習のための新しい相互情報フレームワークを提案する。
導出された下界を最大化するためにポリシーを適用することで,多エージェントアクタ-アクタ-アクタ-アクタ-アクタ-アクタ-アクタ-アクタ-アクタ-アクタ-アクタ-アクティベートアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-03-01T12:21:30Z) - Depthwise Convolution for Multi-Agent Communication with Enhanced
Mean-Field Approximation [9.854975702211165]
本稿では,MARL(Multi-agent RL)課題に取り組むための,局所的なコミュニケーション学習に基づく新しい手法を提案する。
まず,局所的な関係を効率的に抽出する深層的畳み込み機能を利用する新しい通信プロトコルを設計する。
第2に,エージェント相互作用の規模を減らすために,平均場近似を導入する。
論文 参考訳(メタデータ) (2022-03-06T07:42:43Z) - PooL: Pheromone-inspired Communication Framework forLarge Scale
Multi-Agent Reinforcement Learning [0.0]
textbfPooLは、大規模マルチエージェント強化の textbfl に適用される間接通信フレームワークである。
PooLはフェロモンの放出と利用機構を利用して、大規模なエージェント調整を制御する。
PooLは効果的な情報を取り込み、通信コストの低い他の最先端手法よりも高い報酬を得ることができる。
論文 参考訳(メタデータ) (2022-02-20T03:09:53Z) - Relative Distributed Formation and Obstacle Avoidance with Multi-agent
Reinforcement Learning [20.401609420707867]
マルチエージェント強化学習(MARL)に基づく分散生成・障害物回避手法を提案する。
提案手法は, 障害物回避における生成誤差, 生成収束率, オンパー成功率に関して, ベースラインと比較して高い性能を実現する。
論文 参考訳(メタデータ) (2021-11-14T13:02:45Z) - Locality Matters: A Scalable Value Decomposition Approach for
Cooperative Multi-Agent Reinforcement Learning [52.7873574425376]
協調型マルチエージェント強化学習(MARL)は,エージェント数で指数関数的に大きい状態空間と動作空間により,スケーラビリティの問題に直面する。
本稿では,学習分散実行パラダイムに局所報酬を組み込んだ,新しい価値に基づくマルチエージェントアルゴリズム LOMAQ を提案する。
論文 参考訳(メタデータ) (2021-09-22T10:08:15Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳(メタデータ) (2021-07-08T18:01:02Z) - F2A2: Flexible Fully-decentralized Approximate Actor-critic for
Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。
本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。
当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
論文 参考訳(メタデータ) (2020-04-17T14:56:29Z) - Monotonic Value Function Factorisation for Deep Multi-Agent
Reinforcement Learning [55.20040781688844]
QMIXは、中央集権的なエンドツーエンドで分散ポリシーをトレーニングできる新しい価値ベースの手法である。
深層多エージェント強化学習のための新しいベンチマークとして,StarCraft Multi-Agent Challenge (SMAC)を提案する。
論文 参考訳(メタデータ) (2020-03-19T16:51:51Z) - FACMAC: Factored Multi-Agent Centralised Policy Gradients [103.30380537282517]
FACtored Multi-Agent Centralized Policy gradients (FACMAC)を提案する。
離散的および連続的な行動空間における協調的マルチエージェント強化学習のための新しい手法である。
我々は,マルチエージェント粒子環境の変動に対するFACMAC,新しいマルチエージェント MuJoCo ベンチマーク,およびStarCraft II マイクロマネジメントタスクの挑戦的セットについて評価した。
論文 参考訳(メタデータ) (2020-03-14T21:29:09Z) - Dynamic Federated Learning [57.14673504239551]
フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。
我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。
集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
論文 参考訳(メタデータ) (2020-02-20T15:00:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。