論文の概要: PairVDN - Pair-wise Decomposed Value Functions

• arxiv url: http://arxiv.org/abs/2503.09521v1
• Date: Wed, 12 Mar 2025 16:38:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:39:30.046312
• Title: PairVDN - Pair-wise Decomposed Value Functions
• Title（参考訳）: PairVDN - ペアワイズ分解値関数
• Authors: Zak Buzzard,
• Abstract要約: PairVDNは、値関数をエージェントごとの関数ではなくペアワイドのコレクションに分解する新しい方法である。 そこで本研究では,新しい多エージェント協調環境であるBox Jumpを実装し,これらのベースラインに対する性能向上を実証する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Extending deep Q-learning to cooperative multi-agent settings is challenging due to the exponential growth of the joint action space, the non-stationary environment, and the credit assignment problem. Value decomposition allows deep Q-learning to be applied at the joint agent level, at the cost of reduced expressivity. Building on past work in this direction, our paper proposes PairVDN, a novel method for decomposing the value function into a collection of pair-wise, rather than per-agent, functions, improving expressivity at the cost of requiring a more complex (but still efficient) dynamic programming maximisation algorithm. Our method enables the representation of value functions which cannot be expressed as a monotonic combination of per-agent functions, unlike past approaches such as VDN and QMIX. We implement a novel many-agent cooperative environment, Box Jump, and demonstrate improved performance over these baselines in this setting. We open-source our code and environment at https://github.com/zzbuzzard/PairVDN.
• Abstract（参考訳）: 協調行動空間の指数的成長,非定常環境,信用割当て問題などにより,深いQ-ラーニングを協調的マルチエージェント設定に拡張することは困難である。 値分解により、深いQ-ラーニングを、表現力の低下を犠牲にして、ジョイントエージェントレベルで適用することができる。 この方向の過去の研究に基づいて、我々はPairVDNを提案する。PairVDNは、値関数をエージェントごとではなくペア単位で分解し、より複雑な(しかしなお効率的な)動的プログラミングの最大化アルゴリズムを必要とするコストで表現性を向上させる新しい方法である。 提案手法は,VDNやQMIXといった従来の手法とは異なり,単調なアジェント関数の組み合わせとして表現できない値関数の表現を可能にする。 そこで本研究では,新しい多エージェント協調環境であるBox Jumpを実装し,これらのベースラインに対する性能向上を実証する。 コードと環境はhttps://github.com/zzbuzzard/PairVDN.comで公開しています。

関連論文リスト

• Inverse Factorized Q-Learning for Cooperative Multi-agent Imitation Learning [13.060023718506917]
  模倣学習(英: mimicion learning, IL)は、協調型マルチエージェントシステムにおける実証から専門家の行動を模倣する学習の課題である。 本稿では,これらの課題に対処する新しいマルチエージェントILアルゴリズムを提案する。 本手法は,分散Q関数の集約に混在するネットワークを活用することで,集中学習を実現する。
  論文  参考訳（メタデータ） (2023-10-10T17:11:20Z)
• Adaptive Value Decomposition with Greedy Marginal Contribution Computation for Cooperative Multi-Agent Reinforcement Learning [48.41925886860991]
  現実世界の協力はしばしばエージェント間の集中的な調整を必要とする。 単調なユーティリティの単調混合として値関数を学習する従来の方法は、非単調なリターンでタスクを解くことはできない。 非単調な問題に対処するための新しい明示的な信用割当手法を提案する。
  論文  参考訳（メタデータ） (2023-02-14T07:23:59Z)
• Non-Linear Coordination Graphs [22.29517436920317]
  座標グラフ(CG)は、ペアのペイオフ関数を組み込んだ高次分解を表す。 CG値の分解を線形の場合を超えて拡張することにより、最初の非線形座標グラフを提案する。 提案手法は,MACOのようなマルチエージェント協調タスクにおいて,優れた性能を実現することができる。
  論文  参考訳（メタデータ） (2022-10-26T18:11:31Z)
• RACA: Relation-Aware Credit Assignment for Ad-Hoc Cooperation in Multi-Agent Deep Reinforcement Learning [55.55009081609396]
  本稿では、アドホックな協調シナリオにおいてゼロショットの一般化を実現するRACA(Relation-Aware Credit Assignment)と呼ばれる新しい手法を提案する。 RACAは、エージェント間のトポロジ構造を符号化するために、グラフベースのエンコーダ関係を利用する。 提案手法は,StarCraftIIマイクロマネジメントベンチマークとアドホック協調シナリオのベースライン手法よりも優れている。
  論文  参考訳（メタデータ） (2022-06-02T03:39:27Z)
• Residual Q-Networks for Value Function Factorizing in Multi-Agent Reinforcement Learning [0.0]
  マルチエージェント強化学習(MARL)のためのResidual Q-Networks(RQN)の概念を提案する。 RQNは、個人-グローバル-マックス基準(IGM)を保存する方法で、個々のQ値軌跡を変換することを学ぶ 提案手法はより高速に収束し、安定性が向上し、より広い環境群で堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-05-30T16:56:06Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• Modeling the Interaction between Agents in Cooperative Multi-Agent Reinforcement Learning [2.9360071145551068]
  対話型アクター・クリティック(IAC)と呼ばれる新しい協調型MARLアルゴリズムを提案する。 IACは政策と価値関数の観点からエージェントの相互作用をモデル化する。 連続制御タスクに値分解手法を拡張し、古典的な制御やマルチエージェント粒子環境を含むベンチマークタスク上でIACを評価する。
  論文  参考訳（メタデータ） (2021-02-10T01:58:28Z)
• Multi-agent Policy Optimization with Approximatively Synchronous Advantage Estimation [55.96893934962757]
  マルチエージェントシステムでは、異なるエージェントの警察を共同で評価する必要がある。 現在の方法では、バリュー関数やアドバンテージ関数は非同期に評価される対実関節アクションを使用する。 本研究では,近似的に同期する利点推定を提案する。
  論文  参考訳（メタデータ） (2020-12-07T07:29:19Z)
• UneVEn: Universal Value Exploration for Multi-Agent Reinforcement Learning [53.73686229912562]
  我々はUniversal Value Exploration(UneVEn)と呼ばれる新しいMARLアプローチを提案する。 UneVEnは、一連の関連するタスクと、普遍的な後継機能の線形分解を同時に学習する。 一連の探索ゲームにおける実証的な結果、エージェント間の重要な調整を必要とする協調捕食・捕食作業への挑戦、およびStarCraft IIのマイクロマネジメントベンチマークは、UneVEnが他の最先端のMARLメソッドが失敗するタスクを解決できることを示している。
  論文  参考訳（メタデータ） (2020-10-06T19:08:47Z)
• QTRAN++: Improved Value Transformation for Cooperative Multi-Agent Reinforcement Learning [70.382101956278]
  QTRANは、最大級の共同作用値関数を学習できる強化学習アルゴリズムである。 理論的な保証は強いが、複雑な環境での実証的な性能は劣っている。 そこで我々はQTRAN++という改良版を提案する。
  論文  参考訳（メタデータ） (2020-06-22T05:08:36Z)
• Multi-Agent Determinantal Q-Learning [39.79718674655209]
  マルチエージェント決定型Q-ラーニングを提案する。Q-DPPはエージェントが多様な行動モデルを取得することを奨励する。 分散型協調作業において,Q-DPPがVDN,QMIX,QTRANなどの主要なソリューションを一般化することを実証する。
  論文  参考訳（メタデータ） (2020-06-02T09:32:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。