論文の概要: Measuring Policy Distance for Multi-Agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2401.11257v1
• Date: Sat, 20 Jan 2024 15:34:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 17:20:56.429393
• Title: Measuring Policy Distance for Multi-Agent Reinforcement Learning
• Title（参考訳）: マルチエージェント強化学習のための政策距離の測定
• Authors: Tianyi Hu, Zhiqiang Pu, Xiaolin Ai, Tenghai Qiu, Jianqiang Yi
• Abstract要約: マルチエージェント強化学習(MARL)における政策差を測定するための多エージェント政策距離(MAPD)を提案する。 エージェントの判断の条件表現を学習することで、PDはエージェント間のポリシー距離を計算することができる。 また、MAPDをカスタマイズ可能なバージョンに拡張し、特定の側面におけるエージェントポリシーの違いを定量化します。
• 参考スコア（独自算出の注目度）: 9.80588687020087
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diversity plays a crucial role in improving the performance of multi-agent reinforcement learning (MARL). Currently, many diversity-based methods have been developed to overcome the drawbacks of excessive parameter sharing in traditional MARL. However, there remains a lack of a general metric to quantify policy differences among agents. Such a metric would not only facilitate the evaluation of the diversity evolution in multi-agent systems, but also provide guidance for the design of diversity-based MARL algorithms. In this paper, we propose the multi-agent policy distance (MAPD), a general tool for measuring policy differences in MARL. By learning the conditional representations of agents' decisions, MAPD can computes the policy distance between any pair of agents. Furthermore, we extend MAPD to a customizable version, which can quantify differences among agent policies on specified aspects. Based on the online deployment of MAPD, we design a multi-agent dynamic parameter sharing (MADPS) algorithm as an example of the MAPD's applications. Extensive experiments demonstrate that our method is effective in measuring differences in agent policies and specific behavioral tendencies. Moreover, in comparison to other methods of parameter sharing, MADPS exhibits superior performance.
• Abstract（参考訳）: 多様性はマルチエージェント強化学習(MARL)の性能向上に重要な役割を果たしている。 現在、従来のMARLにおける過剰なパラメータ共有の欠点を克服するために、多くの多様性に基づく手法が開発されている。 しかし、エージェント間の政策差を定量化する一般的な指標がまだ存在しない。 このようなメトリクスは、マルチエージェントシステムにおける多様性進化の評価を促進するだけでなく、多様性に基づくMARLアルゴリズムの設計のためのガイダンスを提供するだろう。 本稿では,MARLにおける政策差を測定する汎用ツールであるマルチエージェントポリシー距離(MAPD)を提案する。 エージェントの決定の条件表現を学習することで、PDはエージェント間のポリシー距離を計算することができる。 さらに、MAPDをカスタマイズ可能なバージョンに拡張し、特定の側面におけるエージェントポリシーの違いを定量化する。 マルチエージェント動的パラメータ共有(MADPS)アルゴリズムをMAPDの応用例として,MAPDのオンライン展開に基づいて設計する。 本手法はエージェントポリシーと行動傾向の差異を測定するのに有効であることを示す。 さらに,他のパラメータ共有手法と比較して,MADPSは優れた性能を示す。

関連論文リスト

• Controlling Behavioral Diversity in Multi-Agent Reinforcement Learning [8.905920197601173]
  本研究では,ある指標の正確な値に対する多様性を制御できるダイバーシティ制御(DiCo)を導入する。 マルチエージェント強化学習における性能向上とサンプル効率向上のための新しいパラダイムとしてDiCoを用いる方法を示す。
  論文  参考訳（メタデータ） (2024-05-23T21:03:33Z)
• Off-Policy Action Anticipation in Multi-Agent Reinforcement Learning [3.249853429482705]
  MARL(Multi-Agent Reinforcement Learning)は、エージェントが他のエージェントの学習ステップを予測し、相互の協力を改善するための推論パラダイムである。 既存のHOGメソッドは、ポリシーパラメータの予測に基づいており、エージェントは他のエージェントのポリシーパラメータの変化を予測している。 OffPA2(Off-Policy Action Precipation)は,行動予測による学習予測にアプローチする新しいフレームワークである。
  論文  参考訳（メタデータ） (2023-04-04T01:44:19Z)
• Parameter Sharing with Network Pruning for Scalable Multi-Agent Deep Reinforcement Learning [20.35644044703191]
  本稿では,ニューラルネットワークに構造化プルーニングを適用して,新たなパラメータを導入することなく,共同政策の表現能力を高める方法を提案する。 提案手法をいくつかのベンチマークタスクで評価し,提案手法が他のパラメータ共有手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-02T02:17:14Z)
• RPM: Generalizable Behaviors for Multi-Agent Reinforcement Learning [90.43925357575543]
  本稿では,MARLポリシーを総合性良く訓練するための多様なマルチエージェントトラジェクトリを収集するために,ランク付けされたポリシーメモリ(RPM)を提案する。 RPMにより、マルチエージェントの一般化評価シナリオと完全なタスクにおいて、MARLエージェントが未確認エージェントと対話することが可能になり、平均402%のパフォーマンスが大幅に向上する。
  論文  参考訳（メタデータ） (2022-10-18T07:32:43Z)
• Policy Diagnosis via Measuring Role Diversity in Cooperative Multi-agent RL [107.58821842920393]
  我々はエージェントの行動差を定量化し、bfロールの多様性を通して政策パフォーマンスとの関係を構築する MARLの誤差は, 役割多様性と強い関係を持つ3つの部分に分けられる。 分解された要因は3つの一般的な方向における政策最適化に大きな影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2022-06-01T04:58:52Z)
• Settling the Variance of Multi-Agent Policy Gradients [14.558011059649543]
  政策勾配法(PG法)は、一般的な強化学習法(RL法)である。 マルチエージェントRL(MARL)では、PG定理は自然に拡張できるが、勾配推定のばらつきがエージェント数とともに急速に増加するにつれて、マルチエージェントPG法の有効性は低下する。 エージェント数とエージェントの探索の貢献度を定量化し,MAPG法を厳密に分析する。 MARL の既存の PG メソッドにシームレスに接続可能な OB のサロゲートバージョンを提案する。
  論文  参考訳（メタデータ） (2021-08-19T10:49:10Z)
• Permutation Invariant Policy Optimization for Mean-Field Multi-Agent Reinforcement Learning: A Principled Approach [128.62787284435007]
  本稿では,平均場近似ポリシ最適化(MF-PPO)アルゴリズムを提案する。 我々は,MF-PPOが収束のサブ線形速度で世界的最適政策を達成することを証明した。 特に、置換不変ニューラルアーキテクチャによって引き起こされる誘導バイアスは、MF-PPOが既存の競合より優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-18T04:35:41Z)
• Semi-On-Policy Training for Sample Efficient Multi-Agent Policy Gradients [51.749831824106046]
  本稿では,オンライン政策グラデーション手法のサンプル非効率性に効果的かつ効率的な手法として,セミ・オン・ポリティ(SOP)トレーニングを導入する。 提案手法は,様々なSMACタスクにおいて,最先端の値ベース手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2021-04-27T19:37:01Z)
• Variational Policy Propagation for Multi-agent Reinforcement Learning [68.26579560607597]
  本稿では,エージェント間の相互作用を通じて,共役ポリシーを学習するために,変動ポリシー伝搬 (VPP) という,共役型多エージェント強化学習アルゴリズムを提案する。 共同政策がマルコフランダム場(Markov Random Field)であることは、いくつかの穏やかな条件下で証明し、それによって政策空間を効果的に減少させる。 我々は、マルコフ確率場から効率的に行動をサンプリングでき、全体的な政策が微分可能であるようなポリシーにおいて、変動推論を特別な微分可能な層として統合する。
  論文  参考訳（メタデータ） (2020-04-19T15:42:55Z)
• FACMAC: Factored Multi-Agent Centralised Policy Gradients [103.30380537282517]
  FACtored Multi-Agent Centralized Policy gradients (FACMAC)を提案する。 離散的および連続的な行動空間における協調的マルチエージェント強化学習のための新しい手法である。 我々は,マルチエージェント粒子環境の変動に対するFACMAC,新しいマルチエージェント MuJoCo ベンチマーク,およびStarCraft II マイクロマネジメントタスクの挑戦的セットについて評価した。
  論文  参考訳（メタデータ） (2020-03-14T21:29:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。