論文の概要: SocialGFs: Learning Social Gradient Fields for Multi-Agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2405.01839v1
• Date: Fri, 3 May 2024 04:12:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-06 13:55:11.033284
• Title: SocialGFs: Learning Social Gradient Fields for Multi-Agent Reinforcement Learning
• Title（参考訳）: SocialGFs:マルチエージェント強化学習のための社会的グラディエントフィールドの学習
• Authors: Qian Long, Fangwei Zhong, Mingdong Wu, Yizhou Wang, Song-Chun Zhu,
• Abstract要約: マルチエージェント強化学習のための新しい勾配に基づく状態表現を提案する。 オフラインサンプルからソーシャルグラデーションフィールド(SocialGF)を学習するために,デノジングスコアマッチングを採用している。 実際に、SocialGFをMAPPOなど、広く使われているマルチエージェント強化学習アルゴリズムに統合する。
• 参考スコア（独自算出の注目度）: 58.84311336011451
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Multi-agent systems (MAS) need to adaptively cope with dynamic environments, changing agent populations, and diverse tasks. However, most of the multi-agent systems cannot easily handle them, due to the complexity of the state and task space. The social impact theory regards the complex influencing factors as forces acting on an agent, emanating from the environment, other agents, and the agent's intrinsic motivation, referring to the social force. Inspired by this concept, we propose a novel gradient-based state representation for multi-agent reinforcement learning. To non-trivially model the social forces, we further introduce a data-driven method, where we employ denoising score matching to learn the social gradient fields (SocialGFs) from offline samples, e.g., the attractive or repulsive outcomes of each force. During interactions, the agents take actions based on the multi-dimensional gradients to maximize their own rewards. In practice, we integrate SocialGFs into the widely used multi-agent reinforcement learning algorithms, e.g., MAPPO. The empirical results reveal that SocialGFs offer four advantages for multi-agent systems: 1) they can be learned without requiring online interaction, 2) they demonstrate transferability across diverse tasks, 3) they facilitate credit assignment in challenging reward settings, and 4) they are scalable with the increasing number of agents.
• Abstract（参考訳）: マルチエージェントシステム(MAS)は、動的環境への適応的な対処、エージェントの個体数の変化、多様なタスクを必要とする。 しかし、状態とタスク空間の複雑さのため、ほとんどのマルチエージェントシステムはそれらを容易に扱えない。 社会的影響理論は、複雑な影響要因を、エージェントに作用する力、環境から発せられる力、他のエージェント、およびエージェントの本質的な動機として、社会的力を参照している。 この概念に触発され、我々は多エージェント強化学習のための新しい勾配に基づく状態表現を提案する。 ソーシャル・フォースを非自明にモデル化するために、さらにデータ駆動方式を導入し、各フォースの魅力や反発的な結果からソーシャル・グラデーション・フィールド(ソーシャル・グラデーション・フィールド)を学習する。 相互作用の間、エージェントは多次元勾配に基づいて行動を起こし、自身の報酬を最大化する。 実際に、SocialGFを広く使われているマルチエージェント強化学習アルゴリズム、MAPPOに統合する。 実験の結果、SocialGFsはマルチエージェントシステムに4つの利点があることが明らかとなった。 1)オンラインインタラクションを必要とせずに学習することができる。 2)多種多様な課題にまたがる伝達性を示す。 3) 報酬設定に挑戦する際は、クレジットの割り当てを円滑に行う。 4) エージェントの数が増えるにつれてスケーラビリティが向上する。

関連論文リスト

• Multi-Agents are Social Groups: Investigating Social Influence of Multiple Agents in Human-Agent Interactions [7.421573539569854]
  我々は,AIエージェントの集団が,ユーザに対して同意を求める社会的プレッシャーを生じさせるかどうかを検討する。 その結果、複数のエージェントと会話することで、参加者が感じた社会的プレッシャーが増すことがわかった。 本研究は, 単一エージェントプラットフォームに対するマルチエージェントシステムの潜在的利点が, 意見変化を引き起こす可能性を示唆している。
  論文  参考訳（メタデータ） (2024-11-07T10:00:46Z)
• AdaSociety: An Adaptive Environment with Social Structures for Multi-Agent Decision-Making [45.179910497107606]
  AdaSocietyは、拡張状態とアクション空間を特徴とするカスタマイズ可能なマルチエージェント環境である。 エージェントが進むにつれて、エージェントが実行する社会的構造を持つ新しいタスクを適応的に生成する。 AdaSocietyは、さまざまな物理的および社会的環境におけるインテリジェンスを探索するための、貴重な研究プラットフォームとして機能する。
  論文  参考訳（メタデータ） (2024-11-06T12:19:01Z)
• Active Legibility in Multiagent Reinforcement Learning [3.7828554251478734]
  正当性指向のフレームワークは、エージェントが他人の振る舞いを最適化するのを助けるために、妥当なアクションを実行することを可能にする。 実験の結果、新しいフレームワークは、複数のマルチエージェント強化学習アルゴリズムと比較して、より効率的で、トレーニング時間が少ないことが示されている。
  論文  参考訳（メタデータ） (2024-10-28T12:15:49Z)
• DCIR: Dynamic Consistency Intrinsic Reward for Multi-Agent Reinforcement Learning [84.22561239481901]
  本稿では,エージェントの行動が他のエージェントの行動と一致しているかどうかを学習するための新しいアプローチを提案する。 マルチエージェント粒子, Google Research Football および StarCraft II Micromanagement を含む複数の環境における DCIR の評価を行った。
  論文  参考訳（メタデータ） (2023-12-10T06:03:57Z)
• Neural Amortized Inference for Nested Multi-agent Reasoning [54.39127942041582]
  本研究では,人間のような推論能力と計算限界のギャップを埋める新しい手法を提案する。 提案手法を2つの挑戦的マルチエージェント相互作用領域で評価する。
  論文  参考訳（メタデータ） (2023-08-21T22:40:36Z)
• AgentVerse: Facilitating Multi-Agent Collaboration and Exploring Emergent Behaviors [93.38830440346783]
  本稿では,その構成をより高機能なシステムとして協調的に調整できるマルチエージェントフレームワークを提案する。 実験により,フレームワークが単一エージェントより優れたマルチエージェントグループを効果的に展開できることが実証された。 これらの振舞いの観点から、我々は、ポジティブなものを活用し、ネガティブなものを緩和し、マルチエージェントグループの協調可能性を改善するためのいくつかの戦略について議論する。
  論文  参考訳（メタデータ） (2023-08-21T16:47:11Z)
• Theory of Mind as Intrinsic Motivation for Multi-Agent Reinforcement Learning [5.314466196448188]
  本稿では,深いネットワークによってモデル化された政策の中で意味論的・人間解釈的信念を基礎づける手法を提案する。 各エージェントが他のエージェントの信念を予測する能力は,マルチエージェント強化学習の本質的な報奨信号として利用できることを提案する。
  論文  参考訳（メタデータ） (2023-07-03T17:07:18Z)
• Multiagent Deep Reinforcement Learning: Challenges and Directions Towards Human-Like Approaches [0.0]
  本稿では,最も一般的なマルチエージェント問題表現とその主な課題について述べる。 これらの課題に対処する5つの研究領域を特定します。 我々は,マルチエージェント強化学習が成功するためには,これらの課題を学際的アプローチで解決することを提案する。
  論文  参考訳（メタデータ） (2021-06-29T19:53:15Z)
• Emergent Social Learning via Multi-agent Reinforcement Learning [91.57176641192771]
  社会学習は、人間と動物の知性の重要な構成要素である。 本稿では,独立系強化学習エージェントが,社会的学習を用いてパフォーマンスを向上させることを学べるかどうかを検討する。
  論文  参考訳（メタデータ） (2020-10-01T17:54:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。