論文の概要: Role Play: Learning Adaptive Role-Specific Strategies in Multi-Agent Interactions

• arxiv url: http://arxiv.org/abs/2411.01166v1
• Date: Sat, 02 Nov 2024 07:25:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:49:17.113657
• Title: Role Play: Learning Adaptive Role-Specific Strategies in Multi-Agent Interactions
• Title（参考訳）: 役割プレイ:多エージェントインタラクションにおける適応的役割-特異的戦略の学習
• Authors: Weifan Long, Wen Wen, Peng Zhai, Lihua Zhang,
• Abstract要約: emphRole Play (RP) という新しいフレームワークを提案する。 RPは、政策の多様性の課題を、より管理可能な役割の多様性に変えるために役割埋め込みを採用している。 ロール埋め込み観察で共通の方針を訓練し、他のエージェントのジョイントロール埋め込みを推定するためにロール予測器を使用し、学習エージェントが割り当てられた役割に適応するのを助ける。
• 参考スコア（独自算出の注目度）: 8.96091816092671
• License:
• Abstract: Zero-shot coordination problem in multi-agent reinforcement learning (MARL), which requires agents to adapt to unseen agents, has attracted increasing attention. Traditional approaches often rely on the Self-Play (SP) framework to generate a diverse set of policies in a policy pool, which serves to improve the generalization capability of the final agent. However, these frameworks may struggle to capture the full spectrum of potential strategies, especially in real-world scenarios that demand agents balance cooperation with competition. In such settings, agents need strategies that can adapt to varying and often conflicting goals. Drawing inspiration from Social Value Orientation (SVO)-where individuals maintain stable value orientations during interactions with others-we propose a novel framework called \emph{Role Play} (RP). RP employs role embeddings to transform the challenge of policy diversity into a more manageable diversity of roles. It trains a common policy with role embedding observations and employs a role predictor to estimate the joint role embeddings of other agents, helping the learning agent adapt to its assigned role. We theoretically prove that an approximate optimal policy can be achieved by optimizing the expected cumulative reward relative to an approximate role-based policy. Experimental results in both cooperative (Overcooked) and mixed-motive games (Harvest, CleanUp) reveal that RP consistently outperforms strong baselines when interacting with unseen agents, highlighting its robustness and adaptability in complex environments.
• Abstract（参考訳）: エージェントが見えないエージェントに適応する必要があるマルチエージェント強化学習(MARL)におけるゼロショットコーディネーションの問題が注目されている。 従来のアプローチは、ポリシープール内でさまざまなポリシーセットを生成するために、セルフプレイ(SP)フレームワークに依存しており、最終エージェントの一般化能力を改善するのに役立ちます。 しかし、これらのフレームワークは潜在的な戦略の全範囲、特に要求エージェントが競合との協力のバランスを取る現実のシナリオを捉えるのに苦労するかもしれない。 このような設定では、エージェントは様々な、しばしば矛盾する目標に適応できる戦略を必要とします。 SVO(Social Value Orientation)からインスピレーションを得た個人は,他者との対話において,安定した価値指向を保ちながら,新たなフレームワークである「emph{Role Play} (RP)」を提案する。 RPは、政策の多様性の課題を、より管理可能な役割の多様性に変えるために役割埋め込みを採用している。 ロール埋め込み観察で共通の方針を訓練し、他のエージェントのジョイントロール埋め込みを推定するためにロール予測器を使用し、学習エージェントが割り当てられた役割に適応するのを助ける。 推定累積報酬を近似的役割ベースの政策に対して最適化することにより、近似的最適政策が達成可能であることを理論的に証明する。 協調ゲーム(Overcooked)と混合モチベーションゲーム(Harvest, CleanUp)の両方の実験結果から、RPは未確認エージェントと相互作用する際の強いベースラインを一貫して上回り、複雑な環境における堅牢性と適応性を強調している。

関連論文リスト

• Quantifying Agent Interaction in Multi-agent Reinforcement Learning for Cost-efficient Generalization [63.554226552130054]
  マルチエージェント強化学習(MARL)における一般化の課題 エージェントが未確認のコプレイヤーに影響される程度は、エージェントのポリシーと特定のシナリオに依存する。 与えられたシナリオと環境におけるエージェント間の相互作用強度を定量化する指標であるLoI(Level of Influence)を提示する。
  論文  参考訳（メタデータ） (2023-10-11T06:09:26Z)
• Policy Diagnosis via Measuring Role Diversity in Cooperative Multi-agent RL [107.58821842920393]
  我々はエージェントの行動差を定量化し、bfロールの多様性を通して政策パフォーマンスとの関係を構築する MARLの誤差は, 役割多様性と強い関係を持つ3つの部分に分けられる。 分解された要因は3つの一般的な方向における政策最適化に大きな影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2022-06-01T04:58:52Z)
• Influencing Long-Term Behavior in Multiagent Reinforcement Learning [59.98329270954098]
  時間的アプローチが無限に近づくと、他のエージェントの制限ポリシーを考えるための原則的枠組みを提案する。 具体的には、各エージェントの行動が他のエージェントが行うポリシーの制限セットに与える影響を直接考慮し、各エージェントの平均報酬を最大化する新しい最適化目標を開発する。 我々の遠視評価により、様々な領域における最先端のベースラインよりも長期的性能が向上した。
  論文  参考訳（メタデータ） (2022-03-07T17:32:35Z)
• Iterated Reasoning with Mutual Information in Cooperative and Byzantine Decentralized Teaming [0.0]
  我々は,政策グラディエント(PG)の下での最適化において,エージェントの方針がチームメイトの方針に準じることが,本質的に相互情報(MI)の下限を最大化することを示す。 我々の手法であるInfoPGは、創発的協調行動の学習におけるベースラインを上回り、分散協調型MARLタスクにおける最先端の課題を設定します。
  論文  参考訳（メタデータ） (2022-01-20T22:54:32Z)
• Normative Disagreement as a Challenge for Cooperative AI [56.34005280792013]
  典型的な協調誘導学習アルゴリズムは、問題の解決に協力することができないと論じる。 我々は,ノルム適応政策のクラスを開発し,これらが協調性を著しく向上させることを示す実験を行った。
  論文  参考訳（メタデータ） (2021-11-27T11:37:42Z)
• DisCo RL: Distribution-Conditioned Reinforcement Learning for General-Purpose Policies [116.12670064963625]
  分散条件強化学習(DisCo RL)と呼ばれるオフポリシーアルゴリズムを開発し、コンテキストポリシーを効率的に学習します。 DisCo RLをさまざまなロボット操作タスクで評価し、新しい目標分布への一般化を必要とするタスクの以前の方法を大幅に上回っていることを発見しました。
  論文  参考訳（メタデータ） (2021-04-23T16:51:58Z)
• Dealing with Non-Stationarity in Multi-Agent Reinforcement Learning via Trust Region Decomposition [52.06086375833474]
  非定常性は多エージェント強化学習における厄介な問題である。 ポリシーシーケンスの定常性を明示的にモデル化するための$delta$-stationarity測定を導入する。 共同政策の分岐を推定するために,メッセージパッシングに基づく信頼領域分解ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-02-21T14:46:50Z)
• Exploring the Impact of Tunable Agents in Sequential Social Dilemmas [0.0]
  我々は多目的強化学習を活用して調整可能なエージェントを作成する。 この手法を逐次社会的ジレンマに適用する。 調整可能なエージェント・フレームワークは協調行動と競争行動の容易な適応を可能にすることを実証する。
  論文  参考訳（メタデータ） (2021-01-28T12:44:31Z)
• A Policy Gradient Algorithm for Learning to Learn in Multiagent Reinforcement Learning [47.154539984501895]
  本稿では,マルチエージェント学習環境に固有の非定常的ポリシーダイナミクスを考慮に入れたメタマルチエージェントポリシー勾配定理を提案する。 これは、エージェント自身の非定常ポリシーダイナミクスと、環境内の他のエージェントの非定常ポリシーダイナミクスの両方を考慮するために、勾配更新をモデル化することによって達成される。
  論文  参考訳（メタデータ） (2020-10-31T22:50:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。