論文の概要: Meta-CPR: Generalize to Unseen Large Number of Agents with Communication Pattern Recognition Module

• arxiv url: http://arxiv.org/abs/2112.07222v2
• Date: Wed, 15 Dec 2021 13:14:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-16 11:29:54.661617
• Title: Meta-CPR: Generalize to Unseen Large Number of Agents with Communication Pattern Recognition Module
• Title（参考訳）: Meta-CPR: 通信パターン認識モジュールを持つ多数のエージェントに一般化
• Authors: Wei-Cheng Tseng, Wei Wei, Da-Chen Juan, Min Sun
• Abstract要約: エージェント数が異なるマルチエージェント環境をマルチタスク問題として定式化する。 本稿では,メタ強化学習(meta-RL)フレームワークを提案する。 提案フレームワークはメタ学習型通信パターン認識(CPR)モジュールを用いて通信の振る舞いを識別する。
• 参考スコア（独自算出の注目度）: 29.75594940509839
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Designing an effective communication mechanism among agents in reinforcement learning has been a challenging task, especially for real-world applications. The number of agents can grow or an environment sometimes needs to interact with a changing number of agents in real-world scenarios. To this end, a multi-agent framework needs to handle various scenarios of agents, in terms of both scales and dynamics, for being practical to real-world applications. We formulate the multi-agent environment with a different number of agents as a multi-tasking problem and propose a meta reinforcement learning (meta-RL) framework to tackle this problem. The proposed framework employs a meta-learned Communication Pattern Recognition (CPR) module to identify communication behavior and extract information that facilitates the training process. Experimental results are poised to demonstrate that the proposed framework (a) generalizes to an unseen larger number of agents and (b) allows the number of agents to change between episodes. The ablation study is also provided to reason the proposed CPR design and show such design is effective.
• Abstract（参考訳）: 強化学習におけるエージェント間の効果的なコミュニケーション機構の設計は、特に現実世界のアプリケーションにおいて難しい課題であった。 エージェントの数や環境は、現実世界のシナリオで変化するエージェントの数とやりとりする必要がある場合もあります。 この目的のために、マルチエージェントフレームワークは、実世界のアプリケーションで実用的なスケールとダイナミクスの両方の観点から、エージェントの様々なシナリオを扱う必要がある。 エージェント数が異なるマルチエージェント環境をマルチタスク問題として定式化し、この問題に対処するためのメタ強化学習(Meta-RL)フレームワークを提案する。 提案手法では,cpr(meta-learned communication pattern recognition)モジュールを用いてコミュニケーション行動を特定し,学習プロセスを容易にする情報を抽出する。 実験結果から,提案する枠組みが実証された。 a) 目に見えないほど多くのエージェントに一般化し、 (b)エピソード間でエージェントの数を変更することができる。 また, 提案したCPR設計が有効であることを示すために, アブレーション試験を行った。

関連論文リスト

• Communication Learning in Multi-Agent Systems from Graph Modeling Perspective [62.13508281188895]
  本稿では,エージェント間の通信アーキテクチャを学習可能なグラフとして概念化する手法を提案する。 本稿では,各エージェントに対して時間的ゲーティング機構を導入し,ある時間に共有情報を受信するかどうかの動的決定を可能にする。
  論文  参考訳（メタデータ） (2024-11-01T05:56:51Z)
• Learning Multi-Agent Communication from Graph Modeling Perspective [62.13508281188895]
  本稿では,エージェント間の通信アーキテクチャを学習可能なグラフとして概念化する手法を提案する。 提案手法であるCommFormerは,通信グラフを効率よく最適化し,勾配降下によるアーキテクチャパラメータをエンドツーエンドで並列に洗練する。
  論文  参考訳（メタデータ） (2024-05-14T12:40:25Z)
• SEA: A Spatially Explicit Architecture for Multi-Agent Reinforcement Learning [14.935456456463731]
  マルチエージェント強化学習のための空間情報抽出構造を提案する。 エージェントは、空間エンコーダデコーダ構造を通して、近隣とグローバル情報を効果的に共有することができる。
  論文  参考訳（メタデータ） (2023-04-25T03:00:09Z)
• Graph Exploration for Effective Multi-agent Q-Learning [46.723361065955544]
  本稿では,エージェント間のグラフベース通信を用いたマルチエージェント強化学習(MARL)の探索手法を提案する。 エージェントが受け取った個々の報酬は、他のエージェントのアクションとは独立していると仮定する一方で、そのポリシーは結合されている。 提案手法では,より効率的な爆発行動を実行するために,近隣のエージェントが協調して状態-作用空間の不確かさを推定する。
  論文  参考訳（メタデータ） (2023-04-19T10:28:28Z)
• Universally Expressive Communication in Multi-Agent Reinforcement Learning [6.086083595135936]
  与えられた通信プロトコルが任意のポリシーを表現できるかどうかという問題を考察する。 標準のGNNアプローチは表現能力に十分制限されているため,(1)一意なエージェントIDと(2)ランダムノイズによるエージェント観察の増強を検討する。 我々は,これらの手法が普遍的に表現力のあるコミュニケーションをいかに生み出すかの理論分析を行い,同一のエージェントに対する任意の行動群を対象とすることができることを証明した。
  論文  参考訳（メタデータ） (2022-06-14T11:16:33Z)
• PooL: Pheromone-inspired Communication Framework forLarge Scale Multi-Agent Reinforcement Learning [0.0]
  textbfPooLは、大規模マルチエージェント強化の textbfl に適用される間接通信フレームワークである。 PooLはフェロモンの放出と利用機構を利用して、大規模なエージェント調整を制御する。 PooLは効果的な情報を取り込み、通信コストの低い他の最先端手法よりも高い報酬を得ることができる。
  論文  参考訳（メタデータ） (2022-02-20T03:09:53Z)
• Multi-Agent Imitation Learning with Copulas [102.27052968901894]
  マルチエージェント模倣学習は、観察と行動のマッピングを学習することで、デモからタスクを実行するために複数のエージェントを訓練することを目的としている。 本稿では,確率変数間の依存を捉える強力な統計ツールである copula を用いて,マルチエージェントシステムにおける相関関係と協調関係を明示的にモデル化する。 提案モデルでは,各エージェントの局所的行動パターンと,エージェント間の依存構造のみをフルにキャプチャするコプラ関数を別々に学習することができる。
  論文  参考訳（メタデータ） (2021-07-10T03:49:41Z)
• What is Going on Inside Recurrent Meta Reinforcement Learning Agents? [63.58053355357644]
  recurrent meta reinforcement learning (meta-rl)エージェントは「学習アルゴリズムの学習」を目的としてrecurrent neural network (rnn)を使用するエージェントである。 部分観測可能なマルコフ決定プロセス(POMDP)フレームワークを用いてメタRL問題を再構成することにより,これらのエージェントの内部動作機構を明らかにする。
  論文  参考訳（メタデータ） (2021-04-29T20:34:39Z)
• UPDeT: Universal Multi-agent Reinforcement Learning via Policy Decoupling with Transformers [108.92194081987967]
  タスクに適合する1つのアーキテクチャを設計し、汎用的なマルチエージェント強化学習パイプラインを最初に試行する。 従来のRNNモデルとは異なり、トランスフォーマーモデルを用いてフレキシブルなポリシーを生成する。 提案方式はUPDeT(Universal Policy Decoupling Transformer)と名付けられ,動作制限を緩和し,マルチエージェントタスクの決定プロセスをより説明しやすいものにする。
  論文  参考訳（メタデータ） (2021-01-20T07:24:24Z)
• A Visual Communication Map for Multi-Agent Deep Reinforcement Learning [7.003240657279981]
  マルチエージェント学習は、隠蔽された通信媒体を割り当てる上で大きな課題となる。 最近の研究は一般的に、エージェント間の通信を可能にするために、特殊なニューラルネットワークと強化学習を組み合わせる。 本稿では,多数のエージェントを扱うだけでなく,異種機能エージェント間の協調を可能にする,よりスケーラブルなアプローチを提案する。
  論文  参考訳（メタデータ） (2020-02-27T02:38:21Z)
• Multi-Agent Interactions Modeling with Correlated Policies [53.38338964628494]
  本稿では,マルチエージェントインタラクションモデリング問題をマルチエージェント模倣学習フレームワークに実装する。 相関ポリシー(CoDAIL)を用いた分散型適応模倣学習アルゴリズムの開発 様々な実験により、CoDAILはデモレーターに近い複雑な相互作用をより良く再生できることが示されている。
  論文  参考訳（メタデータ） (2020-01-04T17:31:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。