論文の概要: A Policy Gradient Algorithm for Learning to Learn in Multiagent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2011.00382v5
• Date: Fri, 11 Jun 2021 22:21:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-01 04:39:05.177215
• Title: A Policy Gradient Algorithm for Learning to Learn in Multiagent Reinforcement Learning
• Title（参考訳）: マルチエージェント強化学習における学習のためのポリシー勾配アルゴリズム
• Authors: Dong-Ki Kim, Miao Liu, Matthew Riemer, Chuangchuang Sun, Marwa Abdulhai, Golnaz Habibi, Sebastian Lopez-Cot, Gerald Tesauro, Jonathan P. How
• Abstract要約: 本稿では,マルチエージェント学習環境に固有の非定常的ポリシーダイナミクスを考慮に入れたメタマルチエージェントポリシー勾配定理を提案する。 これは、エージェント自身の非定常ポリシーダイナミクスと、環境内の他のエージェントの非定常ポリシーダイナミクスの両方を考慮するために、勾配更新をモデル化することによって達成される。
• 参考スコア（独自算出の注目度）: 47.154539984501895
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A fundamental challenge in multiagent reinforcement learning is to learn beneficial behaviors in a shared environment with other simultaneously learning agents. In particular, each agent perceives the environment as effectively non-stationary due to the changing policies of other agents. Moreover, each agent is itself constantly learning, leading to natural non-stationarity in the distribution of experiences encountered. In this paper, we propose a novel meta-multiagent policy gradient theorem that directly accounts for the non-stationary policy dynamics inherent to multiagent learning settings. This is achieved by modeling our gradient updates to consider both an agent's own non-stationary policy dynamics and the non-stationary policy dynamics of other agents in the environment. We show that our theoretically grounded approach provides a general solution to the multiagent learning problem, which inherently comprises all key aspects of previous state of the art approaches on this topic. We test our method on a diverse suite of multiagent benchmarks and demonstrate a more efficient ability to adapt to new agents as they learn than baseline methods across the full spectrum of mixed incentive, competitive, and cooperative domains.
• Abstract（参考訳）: マルチエージェント強化学習における基本的な課題は、他の同時学習エージェントと共有環境で有益な行動を学ぶことである。 特に、各エージェントは、他のエージェントのポリシーの変更により、環境を効果的に非定常であると認識する。 さらに、各エージェントは絶えず学習し、遭遇した経験の分布に自然な非定常性をもたらす。 本稿では,マルチエージェント学習に固有の非定常ポリシーダイナミクスを直接考慮した,メタマルチエージェントポリシー勾配定理を提案する。 これは、エージェント自身の非定常ポリシーダイナミクスと、環境内の他のエージェントの非定常ポリシーダイナミクスの両方を考慮するために、勾配更新をモデル化することによって達成される。 提案手法は,本トピックにおける先行技術アプローチのすべての重要な側面を本質的に包含するマルチエージェント学習問題に対する汎用的な解法であることを示す。 我々は,様々なマルチエージェントベンチマークを用いて本手法をテストし,混合インセンティブ,競合性,協調的ドメインの完全な範囲において,ベースライン法よりも新しいエージェントに適応する効率のよい能力を示す。

関連論文リスト

• From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
  本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。 エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T10:35:11Z)
• Contrastive learning-based agent modeling for deep reinforcement learning [31.293496061727932]
  エージェントモデリングは、マルチエージェントシステムにおけるインテリジェントマシンエージェントの適応ポリシーを設計する際に必須である。 我々は,エゴエージェントの訓練・実行時の局所的な観察のみに依存する,コントラスト学習に基づくエージェントモデリング(CLAM)手法を考案した。 CLAMは、各エピソードの冒頭から、リアルタイムに一貫した高品質なポリシー表現を生成することができる。
  論文  参考訳（メタデータ） (2023-12-30T03:44:12Z)
• DCIR: Dynamic Consistency Intrinsic Reward for Multi-Agent Reinforcement Learning [84.22561239481901]
  本稿では,エージェントの行動が他のエージェントの行動と一致しているかどうかを学習するための新しいアプローチを提案する。 マルチエージェント粒子, Google Research Football および StarCraft II Micromanagement を含む複数の環境における DCIR の評価を行った。
  論文  参考訳（メタデータ） (2023-12-10T06:03:57Z)
• RPM: Generalizable Behaviors for Multi-Agent Reinforcement Learning [90.43925357575543]
  本稿では,MARLポリシーを総合性良く訓練するための多様なマルチエージェントトラジェクトリを収集するために,ランク付けされたポリシーメモリ(RPM)を提案する。 RPMにより、マルチエージェントの一般化評価シナリオと完全なタスクにおいて、MARLエージェントが未確認エージェントと対話することが可能になり、平均402%のパフォーマンスが大幅に向上する。
  論文  参考訳（メタデータ） (2022-10-18T07:32:43Z)
• Influencing Long-Term Behavior in Multiagent Reinforcement Learning [59.98329270954098]
  時間的アプローチが無限に近づくと、他のエージェントの制限ポリシーを考えるための原則的枠組みを提案する。 具体的には、各エージェントの行動が他のエージェントが行うポリシーの制限セットに与える影響を直接考慮し、各エージェントの平均報酬を最大化する新しい最適化目標を開発する。 我々の遠視評価により、様々な領域における最先端のベースラインよりも長期的性能が向上した。
  論文  参考訳（メタデータ） (2022-03-07T17:32:35Z)
• Informative Policy Representations in Multi-Agent Reinforcement Learning via Joint-Action Distributions [17.129962954873587]
  多エージェント強化学習において、他のエージェントの行動によって引き起こされる環境の非定常性は、エージェントが独立して良い政策を学ぶのに重大な困難を生じさせた。 本稿では,インタラクションでサンプリングされた協調行動分布を用いて,他のエージェントのポリシーの表現を学習する一般的な方法を提案する。 提案手法は,未確認エージェントに直面する場合のマルチエージェントタスクにおいて,既存の作業よりも優れていることを実証的に実証する。
  論文  参考訳（メタデータ） (2021-06-10T15:09:33Z)
• Deep Interactive Bayesian Reinforcement Learning via Meta-Learning [63.96201773395921]
  他のエージェントの戦略に対する不確実性下での最適適応行動は、インタラクティブベイズ強化学習フレームワークを用いて計算することができる。 本稿では,メタラーン近似的信念推論とベイズ最適行動を提案する。 提案手法は, モデルフリーアプローチ, 近似後部からのサンプル採取, 他者のメモリフリーモデル維持, あるいは環境の既知の構造を完全に活用しない既存手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-01-11T13:25:13Z)
• Consolidation via Policy Information Regularization in Deep RL for Multi-Agent Games [21.46148507577606]
  本稿では,MADDPG(Multi-Agent Deep Deterministic Policy Gradient)強化学習アルゴリズムにおいて,学習ポリシの複雑さに関する情報理論的制約を導入する。 多エージェント協調型・競争型タスクの実験結果から,これらの環境における学習性能向上のための能力制限型アプローチがよい候補であることが示された。
  論文  参考訳（メタデータ） (2020-11-23T16:28:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。