論文の概要: Enhancing Cooperative Multi-Agent Reinforcement Learning with State Modelling and Adversarial Exploration

• arxiv url: http://arxiv.org/abs/2505.05262v1
• Date: Thu, 08 May 2025 14:07:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 21:43:49.910417
• Title: Enhancing Cooperative Multi-Agent Reinforcement Learning with State Modelling and Adversarial Exploration
• Title（参考訳）: 状態モデリングと逆探索による協調的マルチエージェント強化学習の強化
• Authors: Andreas Kontogiannis, Konstantinos Papathanasiou, Yi Shen, Giorgos Stamou, Michael M. Zavlanos, George Vouros,
• Abstract要約: 分散部分観測環境における協調学習はマルチエージェント深部強化学習(MARL)に重大な課題をもたらす 本稿では,個々のエージェント観測から状態表現を推定することに着目し,この領域における重要な懸念に対処する。 本稿では,非可観測状態の有意義な信念表現をエージェントが推論する,協調的MARLのための新しい状態モデリングフレームワークを提案する。 SMPEは,MPE,LBF,RWAREベンチマークの複雑な完全協調タスクにおいて,最先端のMARLアルゴリズムよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 9.80657085835352
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning to cooperate in distributed partially observable environments with no communication abilities poses significant challenges for multi-agent deep reinforcement learning (MARL). This paper addresses key concerns in this domain, focusing on inferring state representations from individual agent observations and leveraging these representations to enhance agents' exploration and collaborative task execution policies. To this end, we propose a novel state modelling framework for cooperative MARL, where agents infer meaningful belief representations of the non-observable state, with respect to optimizing their own policies, while filtering redundant and less informative joint state information. Building upon this framework, we propose the MARL SMPE algorithm. In SMPE, agents enhance their own policy's discriminative abilities under partial observability, explicitly by incorporating their beliefs into the policy network, and implicitly by adopting an adversarial type of exploration policies which encourages agents to discover novel, high-value states while improving the discriminative abilities of others. Experimentally, we show that SMPE outperforms state-of-the-art MARL algorithms in complex fully cooperative tasks from the MPE, LBF, and RWARE benchmarks.
• Abstract（参考訳）: コミュニケーション能力のない分散部分観測環境における協調学習は,マルチエージェント深部強化学習(MARL)において大きな課題となる。 本稿では、各エージェントの観察から状態表現を推測し、エージェントの探索・協調作業実行ポリシーを強化するためにこれらの表現を活用することに焦点を当て、この領域における重要な懸念に対処する。 そこで本研究では,非可観測状態の有意義な信念表現をエージェントが推論し,冗長で情報の少ない共同状態情報をフィルタリングしながら,自己の方針を最適化する,協調的MARLのための新しい状態モデリングフレームワークを提案する。 この枠組みに基づいて,MARL SMPEアルゴリズムを提案する。 SMPEでは、エージェントは政策ネットワークに自らの信念を組み込むことによって、部分的可観測性の下で自身の政策の差別能力を高めるとともに、エージェントが新たな高価値な状態を発見できるように促し、他者の差別能力を改善しながら、敵対的なタイプの探索ポリシーを採用することで暗黙的に、自らの政策の差別能力を高める。 SMPEは,MPE,LBF,RWAREベンチマークの複雑な完全協調タスクにおいて,最先端のMARLアルゴリズムよりも優れていることを示す。

関連論文リスト

• ReMA: Learning to Meta-think for LLMs with Multi-Agent Reinforcement Learning [53.817538122688944]
  Reinforced Meta-thinking Agents (ReMA) を導入し,Large Language Models (LLMs) の推論からメタ思考行動を求める。 ReMAは、推論プロセスを2つの階層的なエージェントに分解する。戦略上の監視と計画を生成するハイレベルなメタ思考エージェントと、詳細な実行のための低レベルな推論エージェントである。 単ターン実験による実験結果から、ReMAは複雑な推論タスクにおいて単エージェントRLベースラインよりも優れることが示された。
  論文  参考訳（メタデータ） (2025-03-12T16:05:31Z)
• Enhancing Heterogeneous Multi-Agent Cooperation in Decentralized MARL via GNN-driven Intrinsic Rewards [1.179778723980276]
  MARL(Multi-agent Reinforcement Learning)は、シーケンシャルな意思決定と制御タスクの鍵となるフレームワークである。 これらのシステムを現実のシナリオに展開するには、分散トレーニング、多様なエージェントセット、そして頻繁な環境報酬信号から学ぶ必要がある。 我々は,新しいグラフニューラルネットワーク(GNN)に基づく本質的なモチベーションを利用して,異種エージェントポリシーの学習を容易にするCoHetアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-08-12T21:38:40Z)
• Beyond Joint Demonstrations: Personalized Expert Guidance for Efficient Multi-Agent Reinforcement Learning [54.40927310957792]
  異種チーム内の各エージェントを個別にカスタマイズした、個人化された専門家によるデモンストレーションという新しい概念を導入する。 これらのデモンストレーションは、単独エージェントの行動と、各エージェントが協調的な要素を含まない個人的目標を達成する方法にのみ関係している。 本稿では、個人化された専門家によるデモンストレーションをガイダンスとして選択的に活用し、エージェントが協力することを学ぶためのアプローチを提案する。
  論文  参考訳（メタデータ） (2024-03-13T20:11:20Z)
• Enhancing Multi-Agent Coordination through Common Operating Picture Integration [14.927199437011044]
  各エージェントは、その観察、行動、メッセージの履歴を共通のオペレーティング・ピクチャー(COP)に組み込むことができる。 本研究は, COP統合の有効性を実証し, 従来のマルチエージェント強化学習(MARL)法と比較して, COPをベースとしたトレーニングが, アウト・オブ・ディストリビューション初期状態に直面した場合に, 堅牢なポリシーをもたらすことを示す。
  論文  参考訳（メタデータ） (2023-11-08T15:08:55Z)
• Robust Multi-Agent Reinforcement Learning via Adversarial Regularization: Theoretical Foundation and Stable Algorithms [79.61176746380718]
  MARL(Multi-Agent Reinforcement Learning)はいくつかの領域で有望な結果を示している。 MARLポリシーは、しばしば堅牢性を欠き、環境の小さな変化に敏感である。 政策のリプシッツ定数を制御することにより、ロバスト性を得ることができることを示す。 政策のリプシッツ連続性を促進する新しい堅牢なMARLフレームワークであるERNIEを提案する。
  論文  参考訳（メタデータ） (2023-10-16T20:14:06Z)
• MA2CL:Masked Attentive Contrastive Learning for Multi-Agent Reinforcement Learning [128.19212716007794]
  我々はtextbfMulti-textbfAgent textbfMasked textbfAttentive textbfContrastive textbfLearning (MA2CL) という効果的なフレームワークを提案する。 MA2CLは、潜伏空間におけるマスクされたエージェント観察を再構築することにより、時間的およびエージェントレベルの予測の両方の学習表現を奨励する。 提案手法は,様々なMARLアルゴリズムの性能とサンプル効率を大幅に向上させ,様々な視覚的,状態的シナリオにおいて,他の手法よりも優れる。
  論文  参考訳（メタデータ） (2023-06-03T05:32:19Z)
• Learning Reward Machines in Cooperative Multi-Agent Tasks [75.79805204646428]
  本稿では,MARL(Multi-Agent Reinforcement Learning)に対する新しいアプローチを提案する。 これは、協調的なタスク分解と、サブタスクの構造をコードする報酬機(RM)の学習を組み合わせる。 提案手法は、部分的に観測可能な環境下での報酬の非マルコフ的性質に対処するのに役立つ。
  論文  参考訳（メタデータ） (2023-03-24T15:12:28Z)
• K-SHAP: Policy Clustering Algorithm for Anonymous Multi-Agent State-Action Pairs [1.2891210250935146]
  金融市場では、市場参加者戦略を特定するラベル付きデータは一般的にプロプライエタリである。 本稿では、エージェントポリシーに従って匿名状態-アクションペアをグループ化するポリシークラスタリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-23T13:18:12Z)
• Iterated Reasoning with Mutual Information in Cooperative and Byzantine Decentralized Teaming [0.0]
  我々は,政策グラディエント(PG)の下での最適化において,エージェントの方針がチームメイトの方針に準じることが,本質的に相互情報(MI)の下限を最大化することを示す。 我々の手法であるInfoPGは、創発的協調行動の学習におけるベースラインを上回り、分散協調型MARLタスクにおける最先端の課題を設定します。
  論文  参考訳（メタデータ） (2022-01-20T22:54:32Z)
• Scalable Multi-Agent Reinforcement Learning for Residential Load Scheduling under Data Governance [5.37556626581816]
  マルチエージェント強化学習 (MARL) は, 協調型住宅負荷スケジューリング問題において, 顕著な進歩を遂げている。 MARLの最も一般的なパラダイムである集中型トレーニングは、通信制約のあるクラウドエッジ環境における大規模デプロイメントを制限する。 提案手法は,家庭の局所的な観察のみに基づく個人評論家の学習機能である,アクタ批判的手法に基づく。
  論文  参考訳（メタデータ） (2021-10-06T14:05:26Z)
• Trust Region Policy Optimisation in Multi-Agent Reinforcement Learning [25.027143431992755]
  信頼領域の手法により、強化学習(RL)エージェントが単調な政策改善を学ぶことができるようになり、様々なタスクにおいて優れたパフォーマンスが得られた。 残念ながら、マルチエージェント強化学習(MARL)では、単調改善の特性は単純に適用できない。 本稿では、信頼領域学習の理論をMARLに拡張し、マルチエージェント・アドバンテージ分解補題とシーケンシャルポリシー更新スキームについて述べる。 これらに基づき、異種信託地域政策最適化(HATPRO)と異種信託地域政策最適化(HATPRO)を開発する。
  論文  参考訳（メタデータ） (2021-09-23T09:44:35Z)
• A Deep Reinforcement Learning Approach to Marginalized Importance Sampling with the Successor Representation [61.740187363451746]
  マージナライズド・プライバシ・サンプリング(MIS)は、ターゲットポリシーのステートアクション占有率とサンプリング分布の密度比を測定する。 我々は,MISと深層強化学習のギャップを,目標方針の後継表現から密度比を計算することによって埋める。 我々は,Atari環境とMuJoCo環境に対するアプローチの実証的性能を評価した。
  論文  参考訳（メタデータ） (2021-06-12T20:21:38Z)
• UneVEn: Universal Value Exploration for Multi-Agent Reinforcement Learning [53.73686229912562]
  我々はUniversal Value Exploration(UneVEn)と呼ばれる新しいMARLアプローチを提案する。 UneVEnは、一連の関連するタスクと、普遍的な後継機能の線形分解を同時に学習する。 一連の探索ゲームにおける実証的な結果、エージェント間の重要な調整を必要とする協調捕食・捕食作業への挑戦、およびStarCraft IIのマイクロマネジメントベンチマークは、UneVEnが他の最先端のMARLメソッドが失敗するタスクを解決できることを示している。
  論文  参考訳（メタデータ） (2020-10-06T19:08:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。