論文の概要: Generalization in Cooperative Multi-Agent Systems
- arxiv url: http://arxiv.org/abs/2202.00104v1
- Date: Mon, 31 Jan 2022 21:39:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-03 04:17:08.008534
- Title: Generalization in Cooperative Multi-Agent Systems
- Title（参考訳）: 協調型マルチエージェントシステムの一般化
- Authors: Anuj Mahajan, Mikayel Samvelyan, Tarun Gupta, Benjamin Ellis, Mingfei
Sun, Tim Rockt\"aschel, Shimon Whiteson
- Abstract要約: 協調型マルチエージェントシステムのための組合せ一般化(CG)の理論的基盤について検討する。
CGは、幅広いアプリケーションにまたがる実用性とデプロイ性を向上させることができるため、自律システムにとって非常に望ましい特徴である。
- 参考スコア（独自算出の注目度）: 49.16349318581611
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Collective intelligence is a fundamental trait shared by several species of
living organisms. It has allowed them to thrive in the diverse environmental
conditions that exist on our planet. From simple organisations in an ant colony
to complex systems in human groups, collective intelligence is vital for
solving complex survival tasks. As is commonly observed, such natural systems
are flexible to changes in their structure. Specifically, they exhibit a high
degree of generalization when the abilities or the total number of agents
changes within a system. We term this phenomenon as Combinatorial
Generalization (CG). CG is a highly desirable trait for autonomous systems as
it can increase their utility and deployability across a wide range of
applications. While recent works addressing specific aspects of CG have shown
impressive results on complex domains, they provide no performance guarantees
when generalizing towards novel situations. In this work, we shed light on the
theoretical underpinnings of CG for cooperative multi-agent systems (MAS).
Specifically, we study generalization bounds under a linear dependence of the
underlying dynamics on the agent capabilities, which can be seen as a
generalization of Successor Features to MAS. We then extend the results first
for Lipschitz and then arbitrary dependence of rewards on team capabilities.
Finally, empirical analysis on various domains using the framework of
multi-agent reinforcement learning highlights important desiderata for
multi-agent algorithms towards ensuring CG.
- Abstract（参考訳）: 集団知性は、いくつかの生物種が共有する基本的な特性である。
これにより、地球上に存在する多様な環境条件で育つことができるのです。
antコロニーの単純な組織から人間のグループの複雑なシステムまで、集団知性は複雑な生存タスクを解決するために不可欠である。
一般に観察されるように、このような自然系は構造の変化に対して柔軟である。
具体的には、システム内で能力やエージェントの総数が変化すると高い一般化度を示す。
我々はこの現象を組合せ一般化(cg)と呼ぶ。
CGは、幅広いアプリケーションにまたがる実用性とデプロイ性を向上させることができるため、自律システムにとって非常に望ましい特徴である。
cgの特定の側面を扱う最近の研究は複雑な領域で印象的な結果を示しているが、新しい状況に一般化する際のパフォーマンス保証は提供していない。
本研究では,協調型マルチエージェントシステム(MAS)におけるCGの理論的基盤に光を当てる。
具体的には,masに対する後継的特徴の一般化と見なすことができるエージェント能力に対する基礎となるダイナミクスの線形依存の下での一般化境界について検討する。
次に結果をまずlipschitzに拡張し、その後、報酬をチーム能力に任意に依存させます。
最後に,多エージェント強化学習の枠組みを用いた各種領域の実証分析により,CGの確保に向けた多エージェントアルゴリズムの重要なデシラタが浮かび上がっている。
関連論文リスト
- Enhancing Heterogeneous Multi-Agent Cooperation in Decentralized MARL via GNN-driven Intrinsic Rewards [1.179778723980276]
MARL(Multi-agent Reinforcement Learning)は、シーケンシャルな意思決定と制御タスクの鍵となるフレームワークである。
これらのシステムを現実のシナリオに展開するには、分散トレーニング、多様なエージェントセット、そして頻繁な環境報酬信号から学ぶ必要がある。
我々は,新しいグラフニューラルネットワーク(GNN)に基づく本質的なモチベーションを利用して,異種エージェントポリシーの学習を容易にするCoHetアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-08-12T21:38:40Z) - Scaling Large-Language-Model-based Multi-Agent Collaboration [75.5241464256688]
大規模言語モデルによるエージェントのパイオニア化は、マルチエージェントコラボレーションの設計パターンを暗示している。
神経スケーリング法則に触発された本研究では,マルチエージェント協調におけるエージェントの増加に類似の原理が適用されるかを検討する。
論文 参考訳（メタデータ） (2024-06-11T11:02:04Z) - Linear Convergence of Independent Natural Policy Gradient in Games with Entropy Regularization [12.612009339150504]
本研究は,マルチエージェント強化学習におけるエントロピー規則化独立自然政策勾配(NPG)アルゴリズムに焦点を当てる。
十分なエントロピー正則化の下では、この系の力学は線形速度で量子応答平衡(QRE)に収束することを示す。
論文 参考訳（メタデータ） (2024-05-04T22:48:53Z) - SocialGFs: Learning Social Gradient Fields for Multi-Agent Reinforcement Learning [58.84311336011451]
マルチエージェント強化学習のための新しい勾配に基づく状態表現を提案する。
オフラインサンプルからソーシャルグラデーションフィールド(SocialGF)を学習するために,デノジングスコアマッチングを採用している。
実際に、SocialGFをMAPPOなど、広く使われているマルチエージェント強化学習アルゴリズムに統合する。
論文 参考訳（メタデータ） (2024-05-03T04:12:19Z) - The Rise and Potential of Large Language Model Based Agents: A Survey [91.71061158000953]
大規模言語モデル(LLM)は、人工知能(AGI)の潜在的な火花と見なされる
まず、エージェントの概念を哲学的起源からAI開発まで追跡し、LLMがエージェントに適した基盤である理由を説明します。
単一エージェントシナリオ,マルチエージェントシナリオ,ヒューマンエージェント協調の3つの側面において,LLMベースのエージェントの広範な応用について検討する。
論文 参考訳（メタデータ） (2023-09-14T17:12:03Z) - Learning to Learn Group Alignment: A Self-Tuning Credo Framework with
Multiagent Teams [1.370633147306388]
マルチエージェントチームを持つ人口の混合インセンティブは、完全に協調したシステムよりも有利であることが示されている。
個人学習エージェントが報酬関数の様々な部分を通してインセンティブの構成を自己制御する枠組みを提案する。
論文 参考訳（メタデータ） (2023-04-14T18:16:19Z) - Learning to Incentivize Other Learning Agents [73.03133692589532]
我々は、学習インセンティブ関数を用いて、RLエージェントに他のエージェントに直接報酬を与える能力を持たせる方法を示す。
このようなエージェントは、一般的なマルコフゲームにおいて、標準のRLと対戦型エージェントを著しく上回っている。
私たちの仕事は、マルチエージェントの未来において共通の善を確実にする道のりに沿って、より多くの機会と課題を指しています。
論文 参考訳（メタデータ） (2020-06-10T20:12:38Z) - Randomized Entity-wise Factorization for Multi-Agent Reinforcement
Learning [59.62721526353915]
実世界のマルチエージェント設定は、エージェントや非エージェントエンティティのタイプや量が異なるタスクを伴うことが多い。
我々の方法は、これらの共通点を活用することを目的としており、「観察対象のランダムに選択されたサブグループのみを考えるとき、各エージェントが期待する効用は何か?」という問いを投げかける。
論文 参考訳（メタデータ） (2020-06-07T18:28:41Z) - Individual specialization in multi-task environments with multiagent
reinforcement learners [0.0]
汎用知的エージェント構築の第一歩として,マルチエージェント強化学習(MARL)への関心が高まっている。
以前の結果は、調整、効率/公平性、共有プールリソース共有の条件の増大を示唆している。
マルチタスク環境において、複数の報奨タスクを実行できるため、エージェントは必ずしも全てのタスクでうまく機能する必要はないが、特定の条件下では特殊化される可能性がある。
論文 参考訳（メタデータ） (2019-12-29T15:20:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。