論文の概要: Scaling Up Multiagent Reinforcement Learning for Robotic Systems: Learn an Adaptive Sparse Communication Graph

• arxiv url: http://arxiv.org/abs/2003.01040v2
• Date: Tue, 3 Mar 2020 21:53:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 06:00:58.122968
• Title: Scaling Up Multiagent Reinforcement Learning for Robotic Systems: Learn an Adaptive Sparse Communication Graph
• Title（参考訳）: ロボットシステムのためのマルチエージェント強化学習のスケールアップ:適応スパース通信グラフの学習
• Authors: Chuangchuang Sun, Macheng Shen, and Jonathan P. How
• Abstract要約: 多エージェント強化学習の複雑さはエージェント数に対して指数関数的に増加する。 しばしば無視されるMARLの重要な特徴は、エージェント間の相互作用が極めて疎いことである。 疎度誘導活性化関数を一般化した適応的スパースアテンション機構を提案する。 提案アルゴリズムは,解釈可能なスパース構造を学習し,大規模マルチエージェントシステムを含むアプリケーションにおいて,従来よりも優れた性能を示すことを示す。
• 参考スコア（独自算出の注目度）: 39.48317026356428
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The complexity of multiagent reinforcement learning (MARL) in multiagent systems increases exponentially with respect to the agent number. This scalability issue prevents MARL from being applied in large-scale multiagent systems. However, one critical feature in MARL that is often neglected is that the interactions between agents are quite sparse. Without exploiting this sparsity structure, existing works aggregate information from all of the agents and thus have a high sample complexity. To address this issue, we propose an adaptive sparse attention mechanism by generalizing a sparsity-inducing activation function. Then a sparse communication graph in MARL is learned by graph neural networks based on this new attention mechanism. Through this sparsity structure, the agents can communicate in an effective as well as efficient way via only selectively attending to agents that matter the most and thus the scale of the MARL problem is reduced with little optimality compromised. Comparative results show that our algorithm can learn an interpretable sparse structure and outperforms previous works by a significant margin on applications involving a large-scale multiagent system.
• Abstract（参考訳）: 多エージェントシステムにおけるマルチエージェント強化学習(MARL)の複雑さはエージェント数に対して指数関数的に増加する。 このスケーラビリティの問題により、MARLは大規模マルチエージェントシステムに適用できない。 しかし、しばしば無視されるMARLの1つの重要な特徴は、エージェント間の相互作用がかなり疎いことである。 この疎結合構造を利用せずに、既存の作業はすべてのエージェントから情報を集約し、高いサンプル複雑さを持つ。 そこで本研究では,スパース性誘導活性化機能を一般化した適応的スパース注意機構を提案する。 そして、この新たな注意機構に基づいて、MARL内のスパース通信グラフをグラフニューラルネットワークによって学習する。 この空間構造を通して、エージェントは最も重要なエージェントに選択的に出席するだけで、効果的かつ効率的な方法で通信することができるため、MARL問題のスケールは、最適性を損なうことなく低減される。 比較の結果,本アルゴリズムは解釈可能なスパース構造を学習でき,大規模マルチエージェントシステムを含むアプリケーションにおいて,先行研究を著しく上回っていることがわかった。

関連論文リスト

• Scaling Large-Language-Model-based Multi-Agent Collaboration [75.5241464256688]
  大規模言語モデルによるエージェントのパイオニア化は、マルチエージェントコラボレーションの設計パターンを暗示している。 神経スケーリング法則に触発された本研究では,マルチエージェント協調におけるエージェントの増加に類似の原理が適用されるかを検討する。
  論文  参考訳（メタデータ） (2024-06-11T11:02:04Z)
• MASP: Scalable GNN-based Planning for Multi-Agent Navigation [17.788592987873905]
  エージェント数の多いナビゲーションタスクのための目標条件付き階層型プランナを提案する。 また、グラフニューラルネットワーク(GNN)を活用し、エージェントと目標間の相互作用をモデル化し、目標達成を改善する。 その結果、MASPは古典的な計画ベースの競合やRLベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2023-12-05T06:05:04Z)
• Controlling Large Language Model-based Agents for Large-Scale Decision-Making: An Actor-Critic Approach [28.477463632107558]
  我々はLLaMACと呼ばれるモジュラーフレームワークを開発し、大規模言語モデルにおける幻覚とマルチエージェントシステムにおける協調に対処する。 LLaMACは、人間の脳にあるものに似た値分布をコードし、内部および外部からのフィードバック機構を利用して、モジュール間の協調と反復的推論を促進する。
  論文  参考訳（メタデータ） (2023-11-23T10:14:58Z)
• Self-Supervised Neuron Segmentation with Multi-Agent Reinforcement Learning [53.00683059396803]
  マスク画像モデル(MIM)は,マスク画像から元の情報を復元する簡便さと有効性から広く利用されている。 本稿では、強化学習(RL)を利用して最適な画像マスキング比とマスキング戦略を自動検索する決定に基づくMIMを提案する。 本手法は,ニューロン分節の課題において,代替自己監督法に対して有意な優位性を有する。
  論文  参考訳（メタデータ） (2023-10-06T10:40:46Z)
• MADiff: Offline Multi-agent Learning with Diffusion Models [79.18130544233794]
  拡散モデル(DM)は、最近オフライン強化学習を含む様々なシナリオで大きな成功を収めた。 この問題に対処する新しい生成型マルチエージェント学習フレームワークであるMADiffを提案する。 本実験は,マルチエージェント学習タスクにおけるベースラインアルゴリズムと比較して,MADiffの優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-27T02:14:09Z)
• Partially Observable Mean Field Multi-Agent Reinforcement Learning Based on Graph-Attention [12.588866091856309]
  本稿では、各エージェントが一定の範囲内で他のエージェントを観察できる部分観測可能マルチエージェント強化学習(MARL)について考察する。 グラフ認識(GAMFQ)に基づく部分観測可能な平均場多エージェント強化学習法を提案する。 実験により、GAMFQは最先端の部分的に観測可能な平均場強化学習アルゴリズムを含むベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2023-04-25T08:38:32Z)
• Multi-Agent Reinforcement Learning for Microprocessor Design Space Exploration [71.95914457415624]
  マイクロプロセッサアーキテクトは、高性能でエネルギー効率の追求において、ドメイン固有のカスタマイズにますます頼っている。 この問題に対処するために,Multi-Agent RL (MARL) を利用した別の定式化を提案する。 評価の結果,MARLの定式化は単エージェントRLのベースラインよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2022-11-29T17:10:24Z)
• PooL: Pheromone-inspired Communication Framework forLarge Scale Multi-Agent Reinforcement Learning [0.0]
  textbfPooLは、大規模マルチエージェント強化の textbfl に適用される間接通信フレームワークである。 PooLはフェロモンの放出と利用機構を利用して、大規模なエージェント調整を制御する。 PooLは効果的な情報を取り込み、通信コストの低い他の最先端手法よりも高い報酬を得ることができる。
  論文  参考訳（メタデータ） (2022-02-20T03:09:53Z)
• F2A2: Flexible Fully-decentralized Approximate Actor-critic for Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
  分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。 本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。 当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
  論文  参考訳（メタデータ） (2020-04-17T14:56:29Z)
• A Visual Communication Map for Multi-Agent Deep Reinforcement Learning [7.003240657279981]
  マルチエージェント学習は、隠蔽された通信媒体を割り当てる上で大きな課題となる。 最近の研究は一般的に、エージェント間の通信を可能にするために、特殊なニューラルネットワークと強化学習を組み合わせる。 本稿では,多数のエージェントを扱うだけでなく,異種機能エージェント間の協調を可能にする,よりスケーラブルなアプローチを提案する。
  論文  参考訳（メタデータ） (2020-02-27T02:38:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。