論文の概要: ME-IGM: Individual-Global-Max in Maximum Entropy Multi-Agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2406.13930v3
• Date: Mon, 04 Aug 2025 07:02:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 14:07:55.296288
• Title: ME-IGM: Individual-Global-Max in Maximum Entropy Multi-Agent Reinforcement Learning
• Title（参考訳）: ME-IGM:最大エントロピーマルチエージェント強化学習における個人・グローバル・マックス
• Authors: Wen-Tse Chen, Yuxuan Li, Shiyu Huang, Jiayu Chen, Jeff Schneider,
• Abstract要約: 本稿では,任意のクレジット割り当て機構に適合する新しい最大エントロピーMARLアルゴリズムME-IGMを紹介する。 我々はSMAC-v2とOvercookedの17のシナリオで最先端のパフォーマンスを実証した。
• 参考スコア（独自算出の注目度）: 9.55036711735232
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-agent credit assignment is a fundamental challenge for cooperative multi-agent reinforcement learning (MARL), where a team of agents learn from shared reward signals. The Individual-Global-Max (IGM) condition is a widely used principle for multi-agent credit assignment, requiring that the joint action determined by individual Q-functions maximizes the global Q-value. Meanwhile, the principle of maximum entropy has been leveraged to enhance exploration in MARL. However, we identify a critical limitation in existing maximum entropy MARL methods: a misalignment arises between local policies and the joint policy that maximizes the global Q-value, leading to violations of the IGM condition. To address this misalignment, we propose an order-preserving transformation. Building on it, we introduce ME-IGM, a novel maximum entropy MARL algorithm compatible with any credit assignment mechanism that satisfies the IGM condition while enjoying the benefits of maximum entropy exploration. We empirically evaluate two variants of ME-IGM: ME-QMIX and ME-QPLEX, in non-monotonic matrix games, and demonstrate their state-of-the-art performance across 17 scenarios in SMAC-v2 and Overcooked.
• Abstract（参考訳）: マルチエージェント・クレジット・アサインメント(MARL)は、エージェントのチームが共有報酬信号から学習する、協調型マルチエージェント強化学習(MARL)の基本的な課題である。 個人-グローバル-マックス条件 (IGM) は、個人Q関数によって決定される共同動作がグローバルQ値の最大化を要求する、マルチエージェントクレジット代入の広く用いられる原理である。 一方、最大エントロピーの原理は、MARLの探索を強化するために活用されている。 しかし,既存の最大エントロピーMARL法では,大域的なQ値の最大化を図った局所的政策と共同政策の相違が生じ,IGG条件に違反する。 この不整合に対処するため,秩序保存変換を提案する。 その上で, 最大エントロピー探索の利点を享受しながら, IGM条件を満たす任意のクレジット割り当て機構に適合する新しい最大エントロピーMARLアルゴリズムME-IGMを導入する。 非単調マトリクスゲームにおいて、ME-IGMのME-QMIXとME-QPLEXの2つの変種を実証的に評価し、SMAC-v2とOvercookedの17シナリオにわたる最先端性能を実証した。

関連論文リスト

• Hyper-modal Imputation Diffusion Embedding with Dual-Distillation for Federated Multimodal Knowledge Graph Completion [59.54067771781552]
  本稿では,FedMKGCのマルチモーダル不確実性とマルチモーダルクライアントの不均一性問題に対処するMMFeD3-HidEというフレームワークを提案する。 本稿では,MMFedEという一般的なFedMKGCバックボーン,異種マルチモーダル情報を持つデータセット,構築されたベースラインの3つのグループからなる総合評価のためのFedMKGCベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-06-27T09:32:58Z)
• Fixing Incomplete Value Function Decomposition for Multi-Agent Reinforcement Learning [14.664083077278002]
  本稿では,従来のモデルの表現能力を,薄い「固定」層で拡張した新しい値関数分解モデルを提案する。 我々は、QFIXの複数の変種を導き、よく知られた2つのマルチエージェントフレームワークに3つの変種を実装する。
  論文  参考訳（メタデータ） (2025-05-15T16:36:18Z)
• Stochastic Q-learning for Large Discrete Action Spaces [79.1700188160944]
  離散的な行動空間を持つ複雑な環境では、強化学習(RL)において効果的な意思決定が重要である 我々は、$n$アクションの集合全体を最適化するのとは対照的に、おそらく$mathcalO(log(n)$)$のような変数の集合のみを考える。 提示された値ベースのRL手法には、Q-learning、StochDQN、StochDDQNなどが含まれる。
  論文  参考訳（メタデータ） (2024-05-16T17:58:44Z)
• QFree: A Universal Value Function Factorization for Multi-Agent Reinforcement Learning [2.287186762346021]
  マルチエージェント強化学習のための共通値関数分解法QFreeを提案する。 汎用複雑なMARLベンチマーク環境において,QFreeが最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-11-01T08:07:16Z)
• Maximum Entropy Heterogeneous-Agent Reinforcement Learning [45.377385280485065]
  近年,多エージェント強化学習(MARL)が協調ゲームに有効であることが示されている。 我々は,サンプルの複雑さ,トレーニング不安定性,および準最適ナッシュ平衡に収束するリスクに関する問題を解決するための統一的な枠組みを提案する。 The MaxEnt framework, we propose Heterogeneous-Agent Soft Actor-Critic (HASAC) algorithm。 HASACは、Bi-DexHands、Multi-Agent MuJoCo、StarCraft Challenge、Google Research Football、Multi-Agent Particle Environment、Light Aircraft Gameの6つのベンチマークで評価する。
  論文  参考訳（メタデータ） (2023-06-19T06:22:02Z)
• Ensemble Value Functions for Efficient Exploration in Multi-Agent Reinforcement Learning [18.762198598488066]
  マルチエージェント強化学習(MARL)は、エージェントが広い共同行動空間内で探索する必要がある。 EMAXは価値ベースのMARLアルゴリズムをシームレスに拡張するフレームワークである。
  論文  参考訳（メタデータ） (2023-02-07T12:51:20Z)
• Dual Self-Awareness Value Decomposition Framework without Individual Global Max for Cooperative Multi-Agent Reinforcement Learning [12.74348597962689]
  心理学における二重自己認識の概念に着想を得た二重自己認識価値分解フレームワークを提案する。 IGMを含まない最初の完全値分解法として,本提案手法は様々な協調作業において望ましい性能を実現する。
  論文  参考訳（メタデータ） (2023-02-04T15:13:20Z)
• Expeditious Saliency-guided Mix-up through Random Gradient Thresholding [89.59134648542042]
  混合学習アプローチはディープニューラルネットワークの一般化能力向上に有効であることが証明されている。 本稿では,両経路の分岐点に位置する新しい手法を提案する。 我々はR-Mixという手法を「Random Mix-up」という概念にちなむ。 より良い意思決定プロトコルが存在するかどうかという問題に対処するために、我々は、ミックスアップポリシーを決定する強化学習エージェントを訓練する。
  論文  参考訳（メタデータ） (2022-12-09T14:29:57Z)
• Addressing the issue of stochastic environments and local decision-making in multi-objective reinforcement learning [0.0]
  多目的強化学習(MORL)は、従来の強化学習(RL)に基づく比較的新しい分野である。 この論文は、価値に基づくMORL Q-learningアルゴリズムが環境の最適ポリシーを学習する頻度に影響を与える要因に焦点を当てている。
  論文  参考訳（メタデータ） (2022-11-16T04:56:42Z)
• Faster Last-iterate Convergence of Policy Optimization in Zero-Sum Markov Games [63.60117916422867]
  本稿では,対戦型マルチエージェントRLの最も基本的な設定,すなわち2プレーヤゼロサムマルコフゲームに焦点を当てる。 両エージェントから対称更新を施した単一ループポリシー最適化手法を提案し,この手法はエントロピー規則化楽観的乗算重み更新法(OMWU)によって更新される。 我々の収束結果は、最もよく知られた複雑性を改善し、競合するマルコフゲームにおけるポリシー最適化をよりよく理解する。
  論文  参考訳（メタデータ） (2022-10-03T16:05:43Z)
• DQMIX: A Distributional Perspective on Multi-Agent Reinforcement Learning [122.47938710284784]
  協調的マルチエージェントタスクでは、エージェントのチームがアクションを取り、報酬を受け取り、次の状態を観察し、環境と共同で対話する。 既存の価値に基づく多エージェント強化学習手法のほとんどは、個々のQ値とグローバルQ値の期待をモデル化するのみである。
  論文  参考訳（メタデータ） (2022-02-21T11:28:00Z)
• Value Functions Factorization with Latent State Information Sharing in Decentralized Multi-Agent Policy Gradients [43.862956745961654]
  LSF-SACは、変分推論に基づく情報共有機構を余分な状態情報として特徴付ける新しいフレームワークである。 我々は,StarCraft II マイクロマネジメント課題における LSF-SAC の評価を行った。
  論文  参考訳（メタデータ） (2022-01-04T17:05:07Z)
• MMD-MIX: Value Function Factorisation with Maximum Mean Discrepancy for Cooperative Multi-Agent Reinforcement Learning [15.972363414919279]
  MMD-mixは分散強化学習と値分解を組み合わせた手法である。 実験により、MDD-mixはStar Multi-Agent Challenge (SMAC)環境において、以前のベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-22T10:21:00Z)
• Permutation Invariant Policy Optimization for Mean-Field Multi-Agent Reinforcement Learning: A Principled Approach [128.62787284435007]
  本稿では,平均場近似ポリシ最適化(MF-PPO)アルゴリズムを提案する。 我々は,MF-PPOが収束のサブ線形速度で世界的最適政策を達成することを証明した。 特に、置換不変ニューラルアーキテクチャによって引き起こされる誘導バイアスは、MF-PPOが既存の競合より優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-18T04:35:41Z)
• Weighted QMIX: Expanding Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning [66.94149388181343]
  本稿では,MARLのためのQ$-learningアルゴリズムの新バージョンを提案する。 Q*$をアクセスしても、最適なポリシーを回復できることを示します。 また,プレデレータープリとマルチエージェントのStarCraftベンチマークタスクの性能向上を実証した。
  論文  参考訳（メタデータ） (2020-06-18T18:34:50Z)
• Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning [55.20040781688844]
  QMIXは、中央集権的なエンドツーエンドで分散ポリシーをトレーニングできる新しい価値ベースの手法である。 深層多エージェント強化学習のための新しいベンチマークとして,StarCraft Multi-Agent Challenge (SMAC)を提案する。
  論文  参考訳（メタデータ） (2020-03-19T16:51:51Z)
• FACMAC: Factored Multi-Agent Centralised Policy Gradients [103.30380537282517]
  FACtored Multi-Agent Centralized Policy gradients (FACMAC)を提案する。 離散的および連続的な行動空間における協調的マルチエージェント強化学習のための新しい手法である。 我々は,マルチエージェント粒子環境の変動に対するFACMAC,新しいマルチエージェント MuJoCo ベンチマーク,およびStarCraft II マイクロマネジメントタスクの挑戦的セットについて評価した。
  論文  参考訳（メタデータ） (2020-03-14T21:29:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。