論文の概要: HAMMER: Multi-Level Coordination of Reinforcement Learning Agents via Learned Messaging

• arxiv url: http://arxiv.org/abs/2102.00824v1
• Date: Mon, 18 Jan 2021 19:00:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-27 07:41:24.807640
• Title: HAMMER: Multi-Level Coordination of Reinforcement Learning Agents via Learned Messaging
• Title（参考訳）: HAMMER:学習メッセージによる強化学習エージェントの多層コーディネーション
• Authors: Nikunj Gupta, G Srinivasaraghavan, Swarup Kumar Mohalik, Matthew E. Taylor
• Abstract要約: 協調型マルチエージェント強化学習(marl)は,ディープニューラルネットワークの表現学習能力を活用することで,大きな成果を上げている。 本稿では、観測空間全体を観測できる単一の、強力な、中央のエージェントが存在する場合と、局所的な観測のみを受信できる複数の、低パワーのローカルエージェントが相互に通信できない場合について考察する。 中央エージェントの役割は、グローバル観察に基づいて、異なるローカルエージェントに送信すべきメッセージを学ぶことであるが、個々のエージェントがよりよい決定を下せるように、どのような追加情報を受け取るべきかを決定することである。
• 参考スコア（独自算出の注目度）: 14.960795846548029
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Cooperative multi-agent reinforcement learning (MARL) has achieved significant results, most notably by leveraging the representation learning abilities of deep neural networks. However, large centralized approaches quickly become infeasible as the number of agents scale, and fully decentralized approaches can miss important opportunities for information sharing and coordination. Furthermore, not all agents are equal - in some cases, individual agents may not even have the ability to send communication to other agents or explicitly model other agents. This paper considers the case where there is a single, powerful, central agent that can observe the entire observation space, and there are multiple, low powered, local agents that can only receive local observations and cannot communicate with each other. The job of the central agent is to learn what message to send to different local agents, based on the global observations, not by centrally solving the entire problem and sending action commands, but by determining what additional information an individual agent should receive so that it can make a better decision. After explaining our MARL algorithm, hammer, and where it would be most applicable, we implement it in the cooperative navigation and multi-agent walker domains. Empirical results show that 1) learned communication does indeed improve system performance, 2) results generalize to multiple numbers of agents, and 3) results generalize to different reward structures.
• Abstract（参考訳）: 協調型マルチエージェント強化学習(marl)は,ディープニューラルネットワークの表現学習能力を活用することで,大きな成果を上げている。 しかし、エージェントの数が増えるにつれて、大規模な集中型アプローチはすぐに実現不可能になり、完全な分散型アプローチは情報共有と協調の重要な機会を逃す可能性がある。 さらに、すべてのエージェントが等しくはない - 場合によっては、個々のエージェントが他のエージェントに通信を送信したり、他のエージェントを明示的にモデル化する能力さえ持たない場合がある。 本稿では、観測空間全体を観測できる単一の、強力な、中央のエージェントが存在する場合と、局所的な観測しか受信できず、互いに通信できない複数の、低パワーのローカルエージェントが存在することを考察する。 中央エージェントの役割は、問題全体を一元的に解決し、アクションコマンドを送信することではなく、個々のエージェントが受信すべき追加情報を決定することによって、グローバルな観察に基づいて、異なるローカルエージェントに送信すべきメッセージを知ることである。 MARLアルゴリズム、ハンマー、そして最も適用可能な場所を説明した後、協調ナビゲーションとマルチエージェントウォーカードメインで実装する。 その結果,1)学習したコミュニケーションはシステム性能が向上し,2)成果は複数のエージェントに一般化し,3)成果は報酬構造に一般化した。

関連論文リスト

• Scaling Large-Language-Model-based Multi-Agent Collaboration [75.5241464256688]
  大規模言語モデルによるエージェントのパイオニア化は、マルチエージェントコラボレーションの設計パターンを暗示している。 神経スケーリング法則に触発された本研究では,マルチエージェント協調におけるエージェントの増加に類似の原理が適用されるかを検討する。
  論文  参考訳（メタデータ） (2024-06-11T11:02:04Z)
• Agent-FLAN: Designing Data and Methods of Effective Agent Tuning for Large Language Models [56.00992369295851]
  オープンソースのLarge Language Models(LLM)は、さまざまなNLPタスクで大きな成功を収めていますが、エージェントとして振る舞う場合、それでもAPIベースのモデルよりもはるかに劣っています。 本稿では,(1) エージェント学習コーパスを,(1) エージェント学習データの分布から大きくシフトするエージェント推論と,(2) エージェントタスクが必要とする能力に異なる学習速度を示すエージェント学習コーパスと,(3) 幻覚を導入することでエージェント能力を改善する際の副作用について述べる。 本稿では,エージェントのためのFLANモデルを効果的に構築するためのエージェントFLANを提案する。
  論文  参考訳（メタデータ） (2024-03-19T16:26:10Z)
• Building Cooperative Embodied Agents Modularly with Large Language Models [104.57849816689559]
  本研究では, 分散制御, 生の知覚観察, コストのかかるコミュニケーション, 様々な実施環境下でインスタンス化された多目的タスクといった課題に対処する。 我々は,LLMの常識知識,推論能力,言語理解,テキスト生成能力を活用し,認知に触発されたモジュラーフレームワークにシームレスに組み込む。 C-WAH と TDW-MAT を用いた実験により, GPT-4 で駆動される CoELA が, 強い計画に基づく手法を超越し, 創発的な効果的なコミュニケーションを示すことを示した。
  論文  参考訳（メタデータ） (2023-07-05T17:59:27Z)
• MADiff: Offline Multi-agent Learning with Diffusion Models [79.18130544233794]
  拡散モデル(DM)は、最近オフライン強化学習を含む様々なシナリオで大きな成功を収めた。 この問題に対処する新しい生成型マルチエージェント学習フレームワークであるMADiffを提案する。 本実験は,マルチエージェント学習タスクにおけるベースラインアルゴリズムと比較して,MADiffの優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-27T02:14:09Z)
• Scalable Communication for Multi-Agent Reinforcement Learning via Transformer-Based Email Mechanism [9.607941773452925]
  コミュニケーションはマルチエージェント強化学習(MARL)における協調性を著しく向上させる 本稿では,部分的に観測されたタスクに対するMARL通信のスケーラビリティ問題に対処するための新しいフレームワークである Transformer-based Email Mechanism (TEM) を提案する。
  論文  参考訳（メタデータ） (2023-01-05T05:34:30Z)
• Consensus Learning for Cooperative Multi-Agent Reinforcement Learning [12.74348597962689]
  協調型マルチエージェント強化学習のためのコンセンサス学習を提案する。 我々は、エージェントのネットワークへの明示的な入力として、推論されたコンセンサスをフィードする。 提案手法は,様々なマルチエージェント強化学習アルゴリズムに拡張することができる。
  論文  参考訳（メタデータ） (2022-06-06T12:43:07Z)
• PooL: Pheromone-inspired Communication Framework forLarge Scale Multi-Agent Reinforcement Learning [0.0]
  textbfPooLは、大規模マルチエージェント強化の textbfl に適用される間接通信フレームワークである。 PooLはフェロモンの放出と利用機構を利用して、大規模なエージェント調整を制御する。 PooLは効果的な情報を取り込み、通信コストの低い他の最先端手法よりも高い報酬を得ることができる。
  論文  参考訳（メタデータ） (2022-02-20T03:09:53Z)
• Locality Matters: A Scalable Value Decomposition Approach for Cooperative Multi-Agent Reinforcement Learning [52.7873574425376]
  協調型マルチエージェント強化学習(MARL)は,エージェント数で指数関数的に大きい状態空間と動作空間により,スケーラビリティの問題に直面する。 本稿では,学習分散実行パラダイムに局所報酬を組み込んだ,新しい価値に基づくマルチエージェントアルゴリズム LOMAQ を提案する。
  論文  参考訳（メタデータ） (2021-09-22T10:08:15Z)
• Learning Individually Inferred Communication for Multi-Agent Cooperation [37.56115000150748]
  我々はエージェントエージェントがエージェントエージェントコミュニケーションの事前学習を可能にするために、個別推論通信(I2C)を提案する。 先行知識は因果推論によって学習され、フィードフォワードニューラルネットワークによって実現される。 I2Cは通信オーバーヘッドを減らすだけでなく、様々なマルチエージェント協調シナリオのパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2020-06-11T14:07:57Z)
• F2A2: Flexible Fully-decentralized Approximate Actor-critic for Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
  分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。 本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。 当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
  論文  参考訳（メタデータ） (2020-04-17T14:56:29Z)
• A Visual Communication Map for Multi-Agent Deep Reinforcement Learning [7.003240657279981]
  マルチエージェント学習は、隠蔽された通信媒体を割り当てる上で大きな課題となる。 最近の研究は一般的に、エージェント間の通信を可能にするために、特殊なニューラルネットワークと強化学習を組み合わせる。 本稿では,多数のエージェントを扱うだけでなく,異種機能エージェント間の協調を可能にする,よりスケーラブルなアプローチを提案する。
  論文  参考訳（メタデータ） (2020-02-27T02:38:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。