論文の概要: Adaptive Opponent Policy Detection in Multi-Agent MDPs: Real-Time Strategy Switch Identification Using Running Error Estimation

• arxiv url: http://arxiv.org/abs/2406.06500v1
• Date: Mon, 10 Jun 2024 17:34:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 12:39:48.009212
• Title: Adaptive Opponent Policy Detection in Multi-Agent MDPs: Real-Time Strategy Switch Identification Using Running Error Estimation
• Title（参考訳）: マルチエージェントMDPにおける適応応答ポリシー検出:実行誤差推定を用いたリアルタイム戦略スイッチ同定
• Authors: Mohidul Haque Mridul, Mohammad Foysal Khan, Redwan Ahmed Rizvee, Md Mosaddek Khan,
• Abstract要約: OPS-DeMoは、動的エラー減衰を利用して相手のポリシーの変更を検出するオンラインアルゴリズムである。 提案手法は,プレデター・プレイ設定のような動的シナリオにおいて,PPO学習モデルよりも優れている。
• 参考スコア（独自算出の注目度）: 1.079960007119637
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In Multi-agent Reinforcement Learning (MARL), accurately perceiving opponents' strategies is essential for both cooperative and adversarial contexts, particularly within dynamic environments. While Proximal Policy Optimization (PPO) and related algorithms such as Actor-Critic with Experience Replay (ACER), Trust Region Policy Optimization (TRPO), and Deep Deterministic Policy Gradient (DDPG) perform well in single-agent, stationary environments, they suffer from high variance in MARL due to non-stationary and hidden policies of opponents, leading to diminished reward performance. Additionally, existing methods in MARL face significant challenges, including the need for inter-agent communication, reliance on explicit reward information, high computational demands, and sampling inefficiencies. These issues render them less effective in continuous environments where opponents may abruptly change their policies without prior notice. Against this background, we present OPS-DeMo (Online Policy Switch-Detection Model), an online algorithm that employs dynamic error decay to detect changes in opponents' policies. OPS-DeMo continuously updates its beliefs using an Assumed Opponent Policy (AOP) Bank and selects corresponding responses from a pre-trained Response Policy Bank. Each response policy is trained against consistently strategizing opponents, reducing training uncertainty and enabling the effective use of algorithms like PPO in multi-agent environments. Comparative assessments show that our approach outperforms PPO-trained models in dynamic scenarios like the Predator-Prey setting, providing greater robustness to sudden policy shifts and enabling more informed decision-making through precise opponent policy insights.
• Abstract（参考訳）: マルチエージェント強化学習(MARL)では、特に動的環境において、協調的・敵対的両方の文脈において、相手の戦略を正確に知覚することが不可欠である。 Proximal Policy Optimization (PPO)と関連するアルゴリズムであるActor-Critic with Experience Replay (ACER)、Trust Region Policy Optimization (TRPO)、Deep Deterministic Policy Gradient (DDPG)は、単エージェント、定常環境では良好に機能するが、非定常かつ隠れた相手のポリシーによりMARLのばらつきが高く、報酬性能が低下する。 さらに、MARLの既存の手法は、エージェント間通信の必要性、明示的な報酬情報への依存、高い計算要求、サンプリング非効率など、重大な課題に直面している。 これらの問題は、相手が事前の通知なしに突然ポリシーを変更してしまうような、継続的環境では効果を低下させる。 そこで本研究では,動的エラー減衰を利用したオンラインアルゴリズムであるOPS-DeMo(オンラインポリシースイッチ検出モデル)を提案する。 OPS-DeMo は、AOP (Assumed Opponent Policy Bank) を用いてその信念を継続的に更新し、事前訓練された対応政策銀行から対応する応答を選択する。 各レスポンスポリシーは、一貫して敵の戦略を練り、トレーニングの不確実性を減らし、マルチエージェント環境でPPOのようなアルゴリズムを効果的に利用できるようにする。 比較評価の結果,本手法はプレデター・プレイ設定のような動的シナリオにおいてPPO学習モデルよりも優れており,突発的な政策シフトに対するロバスト性が向上し,正確な政策洞察を通じてより深い意思決定が可能になることが示された。

関連論文リスト

• OMPO: A Unified Framework for RL under Policy and Dynamics Shifts [42.57662196581823]
  様々な政策やダイナミクスから収集された環境相互作用データを用いた強化学習政策の訓練は、根本的な課題である。 既存の作業は、ポリシーやダイナミクスのシフトによって引き起こされる分散の相違を見落としている場合が多い。 本稿では,オンラインRL政策学習のための統一的戦略をポリシーと動的シフトの多様な設定の下で同定する。
  論文  参考訳（メタデータ） (2024-05-29T13:36:36Z)
• Diffusion-based Reinforcement Learning via Q-weighted Variational Policy Optimization [55.97310586039358]
  拡散モデルは強化学習(Reinforcement Learning, RL)において、その強力な表現力と多モード性に対して広く注目を集めている。 モデルなし拡散に基づくオンラインRLアルゴリズムQ-weighted Variational Policy Optimization (QVPO)を提案する。 具体的には、ある条件下でのオンラインRLにおける政策目標の厳密な下限を証明できるQ重み付き変動損失を導入する。 また,オンラインインタラクションにおける拡散ポリシのばらつきを低減し,サンプル効率を向上させるための効率的な行動ポリシーも開発している。
  論文  参考訳（メタデータ） (2024-05-25T10:45:46Z)
• Off-Policy Evaluation for Large Action Spaces via Policy Convolution [60.6953713877886]
  ポリシ・コンボリューション(Policy Convolution)のファミリーは、アクション内の潜在構造を使用して、ログとターゲットポリシを戦略的に畳み込みます。 合成およびベンチマークデータセットの実験では、PCを使用する場合の平均二乗誤差(MSE)が顕著に改善されている。
  論文  参考訳（メタデータ） (2023-10-24T01:00:01Z)
• Local Optimization Achieves Global Optimality in Multi-Agent Reinforcement Learning [139.53668999720605]
  本稿では,各エージェントのローカルポリシーをバニラPPOと同様に更新するマルチエージェントPPOアルゴリズムを提案する。 マルコフゲームにおける標準正則条件と問題依存量により、我々のアルゴリズムはサブリニアレートで大域的最適ポリシーに収束することを示す。
  論文  参考訳（メタデータ） (2023-05-08T16:20:03Z)
• Adversarial Policy Optimization in Deep Reinforcement Learning [16.999444076456268]
  ディープニューラルネットワークで表されるポリシーは過度に適合し、強化学習エージェントが効果的なポリシーを学ぶのを妨げます。 データ拡張は、オーバーフィッティングの効果を軽減し、RLエージェントのパフォーマンスを高めることができる。 本稿では、上記の問題を緩和し、学習ポリシーの効率を向上させるための新しいRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-27T21:01:08Z)
• Policy Dispersion in Non-Markovian Environment [53.05904889617441]
  本稿では,非マルコフ環境下での国家行動ペアの歴史から,多様な政策の学習を試みる。 まず、ポリシー埋め込みを学習するために、トランスフォーマーベースの手法を採用する。 次に,政策埋め込みを積み重ねて分散行列を構築し,多様な政策の集合を誘導する。
  論文  参考訳（メタデータ） (2023-02-28T11:58:39Z)
• Coordinated Proximal Policy Optimization [28.780862892562308]
  Coordinated Proximal Policy Optimization (CoPPO) は、オリジナルの Proximal Policy Optimization (PPO) をマルチエージェント設定に拡張するアルゴリズムである。 我々は,理論的な共同目的を最適化する際の政策改善の単調性を証明する。 そこで我々は,CoPPOにおけるそのような目的がエージェント間の動的信用割り当てを達成し,エージェントポリシーの同時更新時の高分散問題を軽減することができると解釈した。
  論文  参考訳（メタデータ） (2021-11-07T11:14:19Z)
• Decentralized Multi-Agent Reinforcement Learning: An Off-Policy Method [6.261762915564555]
  本稿では,分散型マルチエージェント強化学習(MARL)の問題について議論する。 我々の設定では、グローバルステート、アクション、報酬は、完全に監視可能であると仮定され、一方、ローカルポリシーは各エージェントによってプライバシとして保護されているため、他の人と共有することはできない。 政策評価と政策改善のアルゴリズムはそれぞれ、離散的かつ連続的な状態-行動空間マルコフ決定プロセス(MDP)のために設計されている。
  論文  参考訳（メタデータ） (2021-10-31T09:08:46Z)
• Variational Policy Propagation for Multi-agent Reinforcement Learning [68.26579560607597]
  本稿では,エージェント間の相互作用を通じて,共役ポリシーを学習するために,変動ポリシー伝搬 (VPP) という,共役型多エージェント強化学習アルゴリズムを提案する。 共同政策がマルコフランダム場(Markov Random Field)であることは、いくつかの穏やかな条件下で証明し、それによって政策空間を効果的に減少させる。 我々は、マルコフ確率場から効率的に行動をサンプリングでき、全体的な政策が微分可能であるようなポリシーにおいて、変動推論を特別な微分可能な層として統合する。
  論文  参考訳（メタデータ） (2020-04-19T15:42:55Z)
• Stable Policy Optimization via Off-Policy Divergence Regularization [50.98542111236381]
  信頼地域政策最適化(TRPO)とPPO(Pximal Policy Optimization)は、深層強化学習(RL)において最も成功した政策勾配アプローチの一つである。 本稿では, 連続的な政策によって引き起こされる割引状態-行動訪問分布を, 近接項で抑制し, 政策改善を安定化させる新しいアルゴリズムを提案する。 提案手法は, ベンチマーク高次元制御タスクの安定性と最終的な性能向上に有効である。
  論文  参考訳（メタデータ） (2020-03-09T13:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。