論文の概要: Strategic Coordination for Evolving Multi-agent Systems: A Hierarchical Reinforcement and Collective Learning Approach

• arxiv url: http://arxiv.org/abs/2509.18088v1
• Date: Mon, 22 Sep 2025 17:58:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:16.556781
• Title: Strategic Coordination for Evolving Multi-agent Systems: A Hierarchical Reinforcement and Collective Learning Approach
• Title（参考訳）: マルチエージェントシステムの進化のための戦略コーディネーション:階層的強化と集団学習アプローチ
• Authors: Chuhao Qin, Evangelos Pournaras,
• Abstract要約: 強化学習は、シーケンシャルな意思決定をモデル化する方法を提供する。 エージェントは、MARLを使用して高レベル戦略を採り、アクションスペース削減のためのプランをグループ化する。 低レベルの集団学習層は、効率的で分散化された協調的な決定を保証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decentralized combinatorial optimization in evolving multi-agent systems poses significant challenges, requiring agents to balance long-term decision-making, short-term optimized collective outcomes, while preserving autonomy of interactive agents under unanticipated changes. Reinforcement learning offers a way to model sequential decision-making through dynamic programming to anticipate future environmental changes. However, applying multi-agent reinforcement learning (MARL) to decentralized combinatorial optimization problems remains an open challenge due to the exponential growth of the joint state-action space, high communication overhead, and privacy concerns in centralized training. To address these limitations, this paper proposes Hierarchical Reinforcement and Collective Learning (HRCL), a novel approach that leverages both MARL and decentralized collective learning based on a hierarchical framework. Agents take high-level strategies using MARL to group possible plans for action space reduction and constrain the agent behavior for Pareto optimality. Meanwhile, the low-level collective learning layer ensures efficient and decentralized coordinated decisions among agents with minimal communication. Extensive experiments in a synthetic scenario and real-world smart city application models, including energy self-management and drone swarm sensing, demonstrate that HRCL significantly improves performance, scalability, and adaptability compared to the standalone MARL and collective learning approaches, achieving a win-win synthesis solution.
• Abstract（参考訳）: マルチエージェントシステムの進化における分散組合せ最適化は、エージェントが長期的な意思決定と短期的な最適化された集合的な成果のバランスを取ること、そして予期しない変化の下で対話エージェントの自律性を維持すること、といった大きな課題を引き起こす。 強化学習は、動的プログラミングを通じてシーケンシャルな意思決定をモデル化し、将来の環境変化を予測する方法を提供する。 しかし、分散組合せ最適化問題にマルチエージェント強化学習(MARL)を適用することは、統合状態行動空間の指数的成長、高い通信オーバーヘッド、集中トレーニングにおけるプライバシー上の懸念などにより、依然として未解決の課題である。 これらの制約に対処するために,階層的強化と集団学習(HRCL)を提案する。 エージェントは、MARLを使用して、アクションスペース削減のためのプランをグループ化し、パレート最適性のためのエージェントの動作を制限する。 一方、低レベルの集団学習層は、最小限のコミュニケーションを持つエージェント間で効率的かつ分散化された協調決定を保証する。 エネルギー自己管理やドローン群センシングなど,合成シナリオおよび実世界のスマートシティアプリケーションモデルにおける大規模な実験により,HRCLはスタンドアロンのMARLや集合学習アプローチと比較して,パフォーマンス,スケーラビリティ,適応性を著しく向上し,ウィンウィン合成ソリューションを実現することが実証された。

関連論文リスト

• AgentGym-RL: Training LLM Agents for Long-Horizon Decision Making through Multi-Turn Reinforcement Learning [129.44038804430542]
  本稿では,マルチターン対話型意思決定のためのLLMエージェントをRLで学習する新しいフレームワークであるAgentGym-RLを紹介する。 本研究では,探索-探索バランスと安定したRL最適化のためのトレーニング手法であるScalingInter-RLを提案する。 当社のエージェントは、さまざまな環境にまたがる27のタスクで、商用モデルにマッチするか、超えています。
  論文  参考訳（メタデータ） (2025-09-10T16:46:11Z)
• Hierarchical Reinforcement Learning for Optimal Agent Grouping in Cooperative Systems [0.4759142872591625]
  本稿では,協調型マルチエージェントシステムにおけるエージェントグループ化やペアリングの問題に対処するための階層型強化学習(RL)手法を提案する。 階層的なRLフレームワークを用いることで、グループ化の高レベル決定と低レベルのエージェントのアクションを区別する。 エージェント間の均質性や協調性を扱うために、置換型ニューラルネットワークを導入し、効果的な協調を可能にする。
  論文  参考訳（メタデータ） (2025-01-11T14:22:10Z)
• A Local Information Aggregation based Multi-Agent Reinforcement Learning for Robot Swarm Dynamic Task Allocation [4.144893164317513]
  分散化された部分観測可能なマルコフ決定プロセス(Dec_POMDP)を用いた新しいフレームワークを提案する。 我々の方法論の核心は、局所情報集約多元決定政策勾配(LIA_MADDPG)アルゴリズムである。 実験により,LIAモジュールは様々なCTDEベースのMARL法にシームレスに統合可能であることが示された。
  論文  参考訳（メタデータ） (2024-11-29T07:53:05Z)
• Efficient Adaptation in Mixed-Motive Environments via Hierarchical Opponent Modeling and Planning [51.52387511006586]
  本稿では,HOP(Hierarchical Opponent Modeling and Planning)を提案する。 HOPは階層的に2つのモジュールから構成される: 相手の目標を推論し、対応する目標条件のポリシーを学ぶ、反対モデリングモジュール。 HOPは、さまざまな未確認エージェントと相互作用する際、優れた少数ショット適応能力を示し、セルフプレイのシナリオで優れている。
  論文  参考訳（メタデータ） (2024-06-12T08:48:06Z)
• Inducing Stackelberg Equilibrium through Spatio-Temporal Sequential Decision-Making in Multi-Agent Reinforcement Learning [17.101534531286298]
  我々は、すべてのエージェントが共有する条件付きハイパーネットワークに基づいて、ナッシュレベルのポリシーモデルを構築する。 このアプローチは対称的実行を伴う非対称なトレーニングを可能にし、各エージェントは、上位エージェントによる決定に最適な条件で応答する。 実験により,本手法は繰り返し行列ゲームシナリオにおいて,SEポリシーに効果的に収束することを示した。
  論文  参考訳（メタデータ） (2023-04-20T14:47:54Z)
• Hierarchical Reinforcement Learning with Opponent Modeling for Distributed Multi-agent Cooperation [13.670618752160594]
  深層強化学習(DRL)はエージェントと環境の相互作用を通じて多エージェント協調に有望なアプローチを提供する。 従来のDRLソリューションは、ポリシー探索中に連続的なアクション空間を持つ複数のエージェントの高次元に悩まされる。 効率的な政策探索のための高レベル意思決定と低レベル個別制御を用いた階層型強化学習手法を提案する。
  論文  参考訳（メタデータ） (2022-06-25T19:09:29Z)
• Decentralized Reinforcement Learning: Global Decision-Making via Local Economic Transactions [80.49176924360499]
  我々は、シーケンシャルな意思決定問題を解決するために、単純で専門的で自己関心のあるエージェントの社会を指示する枠組みを確立する。 我々は分散強化学習アルゴリズムのクラスを導出する。 我々は、より効率的な移動学習のための社会固有のモジュラー構造の潜在的な利点を実証する。
  論文  参考訳（メタデータ） (2020-07-05T16:41:09Z)
• F2A2: Flexible Fully-decentralized Approximate Actor-critic for Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
  分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。 本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。 当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
  論文  参考訳（メタデータ） (2020-04-17T14:56:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。