論文の概要: Improving Global Parameter-sharing in Physically Heterogeneous Multi-agent Reinforcement Learning with Unified Action Space

• arxiv url: http://arxiv.org/abs/2408.07395v1
• Date: Wed, 14 Aug 2024 09:15:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-15 13:54:15.316555
• Title: Improving Global Parameter-sharing in Physically Heterogeneous Multi-agent Reinforcement Learning with Unified Action Space
• Title（参考訳）: 統一行動空間を用いた物理不均一なマルチエージェント強化学習におけるグローバルパラメータ共有の改善
• Authors: Xiaoyang Yu, Youfang Lin, Shuo Wang, Kai Lv, Sheng Han,
• Abstract要約: マルチエージェントシステムでは、アクションセマンティクスはエージェントのアクションが他のエンティティに対して異なる影響を示す。 従来のマルチエージェント強化学習(MARL)アルゴリズムは、多種多様な異種エージェントにまたがる大域的パラメータ共有を適用する。 要件を満たすために統一行動空間(UAS)を導入する。
• 参考スコア（独自算出の注目度）: 22.535906675532196
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In a multi-agent system (MAS), action semantics indicates the different influences of agents' actions toward other entities, and can be used to divide agents into groups in a physically heterogeneous MAS. Previous multi-agent reinforcement learning (MARL) algorithms apply global parameter-sharing across different types of heterogeneous agents without careful discrimination of different action semantics. This common implementation decreases the cooperation and coordination between agents in complex situations. However, fully independent agent parameters dramatically increase the computational cost and training difficulty. In order to benefit from the usage of different action semantics while also maintaining a proper parameter-sharing structure, we introduce the Unified Action Space (UAS) to fulfill the requirement. The UAS is the union set of all agent actions with different semantics. All agents first calculate their unified representation in the UAS, and then generate their heterogeneous action policies using different available-action-masks. To further improve the training of extra UAS parameters, we introduce a Cross-Group Inverse (CGI) loss to predict other groups' agent policies with the trajectory information. As a universal method for solving the physically heterogeneous MARL problem, we implement the UAS adding to both value-based and policy-based MARL algorithms, and propose two practical algorithms: U-QMIX and U-MAPPO. Experimental results in the SMAC environment prove the effectiveness of both U-QMIX and U-MAPPO compared with several state-of-the-art MARL methods.
• Abstract（参考訳）: マルチエージェントシステム(MAS)では、アクションセマンティクスはエージェントの他のエンティティに対する作用の異なる影響を示し、エージェントを物理的に不均一なMAS内のグループに分割するために使用することができる。 従来のマルチエージェント強化学習(MARL)アルゴリズムは、異なるアクションセマンティクスを慎重に識別することなく、異なる種類の異種エージェント間でグローバルパラメータ共有を適用する。 この共通実装は複雑な状況下でのエージェント間の協調と協調を減少させる。 しかし、完全に独立したエージェントパラメータは、計算コストとトレーニングの難しさを劇的に向上させる。 適切なパラメータ共有構造を維持しつつ、異なるアクションセマンティクスの使用の恩恵を受けるため、要求を満たすために統一アクション空間(UAS)を導入する。 UASは、異なる意味を持つすべてのエージェントアクションの連合集合である。 すべてのエージェントはまずUASで統一表現を計算し、異なる利用可能なアクションマスクを使用して不均一なアクションポリシーを生成する。 付加的なUASパラメータのトレーニングを改善するために,他のグループのエージェントポリシーを軌跡情報で予測するクロスグループ反転(CGI)損失を導入する。 物理不均一なMARL問題の解法として、値ベースとポリシーベースのMARLアルゴリズムに付加するUASを実装し、U-QMIXとU-MAPPOの2つの実用的なアルゴリズムを提案する。 SMAC環境における実験結果から,U-QMIXとU-MAPPOの両方の有効性が証明された。

関連論文リスト

• Causal Coordinated Concurrent Reinforcement Learning [8.654978787096807]
  本稿では,データ共有と協調探索のための新しいアルゴリズムフレームワークを提案する。 本アルゴリズムは,独立規制による個人差分制御モデルパラメータの抽出において,付加雑音モデル-混合モデル(ANM-MM)という形で因果推論アルゴリズムを利用する。 抽出したモデルパラメータの類似度に基づく新しいデータ共有方式を提案し, 自己回帰, 振り子, カートポールのスイングアップタスクのセットにおいて, 優れた学習速度を示す。
  論文  参考訳（メタデータ） (2024-01-31T17:20:28Z)
• MaskMA: Towards Zero-Shot Multi-Agent Decision Making with Mask-Based Collaborative Learning [56.00558959816801]
  マルチエージェント意思決定(MaskMA)のためのMaskベースの協調学習フレームワークを提案する。 MaskMAは、非集中的な実行によって60の未確認テストマップ上で、77.8%の平均ゼロショット勝利率を達成できることを示す。
  論文  参考訳（メタデータ） (2023-10-18T09:53:27Z)
• Deep Multi-Agent Reinforcement Learning for Decentralized Active Hypothesis Testing [11.639503711252663]
  我々は,深層多エージェント強化学習の枠組みに根ざした新しいアルゴリズムを導入することで,マルチエージェント能動仮説テスト(AHT)問題に取り組む。 エージェントが協調戦略を学習し、性能を向上させる能力を効果的に示す実験結果を包括的に提示する。
  論文  参考訳（メタデータ） (2023-09-14T01:18:04Z)
• ACE: Cooperative Multi-agent Q-learning with Bidirectional Action-Dependency [65.28061634546577]
  マルチエージェント強化学習(MARL)は非定常性問題に悩まされる。 本稿では,双方向行動依存型Q-ラーニング(ACE)を提案する。 ACEは、Google Research FootballとStarCraft Multi-Agent Challengeで最先端のアルゴリズムを上回っている。
  論文  参考訳（メタデータ） (2022-11-29T10:22:55Z)
• Multi-agent Deep Covering Skill Discovery [50.812414209206054]
  本稿では,複数エージェントの結合状態空間の予測被覆時間を最小化し,マルチエージェントオプションを構築するマルチエージェントDeep Covering Option Discoveryを提案する。 また、MARLプロセスにマルチエージェントオプションを採用するための新しいフレームワークを提案する。 提案アルゴリズムは,アテンション機構とエージェントの相互作用を効果的に把握し,マルチエージェントオプションの同定に成功した。
  論文  参考訳（メタデータ） (2022-10-07T00:40:59Z)
• Policy Diagnosis via Measuring Role Diversity in Cooperative Multi-agent RL [107.58821842920393]
  我々はエージェントの行動差を定量化し、bfロールの多様性を通して政策パフォーマンスとの関係を構築する MARLの誤差は, 役割多様性と強い関係を持つ3つの部分に分けられる。 分解された要因は3つの一般的な方向における政策最適化に大きな影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2022-06-01T04:58:52Z)
• Multi-Agent MDP Homomorphic Networks [100.74260120972863]
  協調型マルチエージェントシステムでは、エージェントの異なる構成とそれらの局所的な観察の間に複雑な対称性が生じる。 単エージェント強化学習における既存の対称性の研究は、完全に集中した環境にのみ一般化できる。 本稿では,ローカル情報のみを用いた分散実行が可能なネットワークのクラスであるマルチエージェントMDPホモモルフィックネットワークを提案する。
  論文  参考訳（メタデータ） (2021-10-09T07:46:25Z)
• MACRPO: Multi-Agent Cooperative Recurrent Policy Optimization [17.825845543579195]
  我々はtextitMulti-Agent Cooperative Recurrent Proximal Policy Optimization (MACRPO) と呼ばれる新しいマルチエージェントアクター批判手法を提案する。 我々は、批評家のネットワークアーキテクチャにおいてリカレント・レイヤを使用し、メタ・トラジェクトリを使用してリカレント・レイヤをトレーニングする新しいフレームワークを提案する。 連続的および離散的な行動空間を持つ3つの挑戦的マルチエージェント環境において,本アルゴリズムの評価を行った。
  論文  参考訳（メタデータ） (2021-09-02T12:43:35Z)
• Cooperative and Competitive Biases for Multi-Agent Reinforcement Learning [12.676356746752893]
  マルチエージェント強化学習(MARL)アルゴリズムのトレーニングは,単一エージェント強化学習アルゴリズムのトレーニングよりも難しい。 本稿では,他のエージェントの偏りのある行動情報を用いたMARL訓練を促進するアルゴリズムを提案する。 本アルゴリズムは, 多様な協調競合環境において, 既存のアルゴリズムを上回っていることを実証した。
  論文  参考訳（メタデータ） (2021-01-18T05:52:22Z)
• FACMAC: Factored Multi-Agent Centralised Policy Gradients [103.30380537282517]
  FACtored Multi-Agent Centralized Policy gradients (FACMAC)を提案する。 離散的および連続的な行動空間における協調的マルチエージェント強化学習のための新しい手法である。 我々は,マルチエージェント粒子環境の変動に対するFACMAC,新しいマルチエージェント MuJoCo ベンチマーク,およびStarCraft II マイクロマネジメントタスクの挑戦的セットについて評価した。
  論文  参考訳（メタデータ） (2020-03-14T21:29:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。