論文の概要: Community-based Multi-Agent Reinforcement Learning with Transfer and Active Exploration

• arxiv url: http://arxiv.org/abs/2505.09756v1
• Date: Wed, 14 May 2025 19:42:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.090436
• Title: Community-based Multi-Agent Reinforcement Learning with Transfer and Active Exploration
• Title（参考訳）: 移動・能動探索によるコミュニティ型マルチエージェント強化学習
• Authors: Zhaoyang Shi,
• Abstract要約: マルチエージェント強化学習(MARL)のための新しいフレームワークを提案する。 従来の隣人や固定された相互作用グラフとは異なり、コミュニティベースのフレームワークはフレキシブルで抽象的な調整パターンをキャプチャします。 これは、コミュニティ構造、トランスファービリティ、アクティブラーニングを証明可能な保証と統合する最初のMARLフレームワークである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a new framework for multi-agent reinforcement learning (MARL), where the agents cooperate in a time-evolving network with latent community structures and mixed memberships. Unlike traditional neighbor-based or fixed interaction graphs, our community-based framework captures flexible and abstract coordination patterns by allowing each agent to belong to multiple overlapping communities. Each community maintains shared policy and value functions, which are aggregated by individual agents according to personalized membership weights. We also design actor-critic algorithms that exploit this structure: agents inherit community-level estimates for policy updates and value learning, enabling structured information sharing without requiring access to other agents' policies. Importantly, our approach supports both transfer learning by adapting to new agents or tasks via membership estimation, and active learning by prioritizing uncertain communities during exploration. Theoretically, we establish convergence guarantees under linear function approximation for both actor and critic updates. To our knowledge, this is the first MARL framework that integrates community structure, transferability, and active learning with provable guarantees.
• Abstract（参考訳）: 本稿では,マルチエージェント強化学習(MARL)のための新しいフレームワークを提案する。 従来の近隣の相互作用グラフや固定相互作用グラフとは異なり、我々のコミュニティベースのフレームワークは、各エージェントが複数の重複するコミュニティに属して、フレキシブルで抽象的な調整パターンをキャプチャします。 各コミュニティは共有ポリシーと価値機能を維持しており、個々のエージェントが個別のメンバシップの重みに応じて集約する。 エージェントは、他のエージェントのポリシーへのアクセスを必要とせずに構造化された情報共有を可能にする。 本研究は,新たなエージェントやタスクへの適応による移動学習と,探索中の不確実なコミュニティの優先順位付けによるアクティブラーニングの両方を支援する。 理論的には、アクターと批評家の両方の更新に対して線形関数近似の下で収束保証を確立する。 私たちの知る限り、これはコミュニティ構造、トランスファービリティ、アクティブラーニングを証明可能な保証と統合する最初のMARLフレームワークです。

関連論文リスト

• Contextual Knowledge Sharing in Multi-Agent Reinforcement Learning with Decentralized Communication and Coordination [0.9776703963093367]
  マルチエージェント強化学習(Dec-MARL)は、動的環境における複雑なタスクに対処するための重要なアプローチとして登場した。 本稿では,エージェントの知識共有プロセスに目標認識とタイムアウェアネスを取り入れ,ピアツーピアコミュニケーションとコーディネーションを統合した新しいDec-MARLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-26T22:49:50Z)
• Enhancing Cooperation through Selective Interaction and Long-term Experiences in Multi-Agent Reinforcement Learning [10.932974027102619]
  本研究では,空間的囚人のジレンマゲームにおけるマルチエージェント強化学習に基づく計算フレームワークを提案する。 2つの異なるQ-ネットを用いて各エージェントをモデル化することにより、協調と相互作用の共進化ダイナミクスを解き放つ。
  論文  参考訳（メタデータ） (2024-05-04T12:42:55Z)
• Decentralized and Lifelong-Adaptive Multi-Agent Collaborative Learning [57.652899266553035]
  分散型および生涯適応型多エージェント協調学習は、中央サーバを使わずに複数のエージェント間のコラボレーションを強化することを目的としている。 動的協調グラフを用いた分散マルチエージェント生涯協調学習アルゴリズムであるDeLAMAを提案する。
  論文  参考訳（メタデータ） (2024-03-11T09:21:11Z)
• AgentVerse: Facilitating Multi-Agent Collaboration and Exploring Emergent Behaviors [93.38830440346783]
  本稿では,その構成をより高機能なシステムとして協調的に調整できるマルチエージェントフレームワークを提案する。 実験により,フレームワークが単一エージェントより優れたマルチエージェントグループを効果的に展開できることが実証された。 これらの振舞いの観点から、我々は、ポジティブなものを活用し、ネガティブなものを緩和し、マルチエージェントグループの協調可能性を改善するためのいくつかの戦略について議論する。
  論文  参考訳（メタデータ） (2023-08-21T16:47:11Z)
• Celebrating Diversity in Shared Multi-Agent Reinforcement Learning [20.901606233349177]
  深層多エージェント強化学習は、複雑な協調的な課題を解決することを約束している。 本稿では,共有型マルチエージェント強化学習の最適化と表現に多様性を導入することを目的とする。 提案手法は,Google Research Footballと超硬度StarCraft IIマイクロマネジメントタスクにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-06-04T00:55:03Z)
• Modeling the Interaction between Agents in Cooperative Multi-Agent Reinforcement Learning [2.9360071145551068]
  対話型アクター・クリティック(IAC)と呼ばれる新しい協調型MARLアルゴリズムを提案する。 IACは政策と価値関数の観点からエージェントの相互作用をモデル化する。 連続制御タスクに値分解手法を拡張し、古典的な制御やマルチエージェント粒子環境を含むベンチマークタスク上でIACを評価する。
  論文  参考訳（メタデータ） (2021-02-10T01:58:28Z)
• A Policy Gradient Algorithm for Learning to Learn in Multiagent Reinforcement Learning [47.154539984501895]
  本稿では,マルチエージェント学習環境に固有の非定常的ポリシーダイナミクスを考慮に入れたメタマルチエージェントポリシー勾配定理を提案する。 これは、エージェント自身の非定常ポリシーダイナミクスと、環境内の他のエージェントの非定常ポリシーダイナミクスの両方を考慮するために、勾配更新をモデル化することによって達成される。
  論文  参考訳（メタデータ） (2020-10-31T22:50:21Z)
• Reward Machines for Cooperative Multi-Agent Reinforcement Learning [30.84689303706561]
  協調型マルチエージェント強化学習において、エージェントの集合は共通の目標を達成するために共有環境で対話することを学ぶ。 本稿では、報酬関数の構造化表現として使われる単純な機械である報酬機械(RM)を用いて、チームのタスクを符号化する手法を提案する。 マルチエージェント設定におけるRMの新たな解釈は、要求されるチームメイト相互依存性を明示的に符号化し、チームレベルのタスクを個々のエージェントのサブタスクに分解することを可能にする。
  論文  参考訳（メタデータ） (2020-07-03T23:08:14Z)
• Randomized Entity-wise Factorization for Multi-Agent Reinforcement Learning [59.62721526353915]
  実世界のマルチエージェント設定は、エージェントや非エージェントエンティティのタイプや量が異なるタスクを伴うことが多い。 我々の方法は、これらの共通点を活用することを目的としており、「観察対象のランダムに選択されたサブグループのみを考えるとき、各エージェントが期待する効用は何か?」という問いを投げかける。
  論文  参考訳（メタデータ） (2020-06-07T18:28:41Z)
• Multi-Agent Interactions Modeling with Correlated Policies [53.38338964628494]
  本稿では,マルチエージェントインタラクションモデリング問題をマルチエージェント模倣学習フレームワークに実装する。 相関ポリシー(CoDAIL)を用いた分散型適応模倣学習アルゴリズムの開発 様々な実験により、CoDAILはデモレーターに近い複雑な相互作用をより良く再生できることが示されている。
  論文  参考訳（メタデータ） (2020-01-04T17:31:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。