論文の概要: IPPO Learns the Game, Not the Team: A Study on Generalization in Heterogeneous Agent Teams

• arxiv url: http://arxiv.org/abs/2512.08877v2
• Date: Mon, 09 Mar 2026 02:44:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 08:17:40.240195
• Title: IPPO Learns the Game, Not the Team: A Study on Generalization in Heterogeneous Agent Teams
• Title（参考訳）: IPPOがチームではなくゲームを学ぶ:異種エージェントチームの一般化に関する研究
• Authors: Ryan LeRoy, Jack Kolb,
• Abstract要約: マルチエージェント強化学習(MARL、Multi-Agent Reinforcement Learning)は、エージェントが均質なチームメイトとセルフプレイでトレーニングされる設定に一般的にデプロイされる。 本稿では,自己プレイ型PPOエージェントが,トレーニングパートナーの行動に過度に適合することと比較して,基礎となるゲームに根ざした一般的なコーディネーション戦略をどの程度学習するかを検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-Agent Reinforcement Learning (MARL) is commonly deployed in settings where agents are trained via self-play with homogeneous teammates, often using parameter sharing and a single policy architecture. This opens the question: to what extent do self-play PPO agents learn general coordination strategies grounded in the underlying game, compared to overfitting to their training partners' behaviors? This paper investigates the question using the Heterogeneous Multi-Agent Challenge (HeMAC) environment, which features distinct Observer and Drone agents with complementary capabilities. We introduce Rotating Policy Training (RPT), an approach that rotates heterogeneous teammate policies of different learning algorithms during training, to expose the agent to a broader range of partner strategies. When playing alongside a withheld teammate policy (DDQN), we find that RPT achieves similar performance to a standard self-play baseline, IPPO, where all agents were trained sharing a single PPO policy. This result indicates that in this heterogeneous multi-agent setting, the IPPO baseline generalizes to novel teammate algorithms despite not experiencing teammate diversity during training. This shows that a simple IPPO baseline may possess the level of generalization to novel teammates that a diverse training regimen was designed to achieve.
• Abstract（参考訳）: マルチエージェント強化学習(MARL、Multi-Agent Reinforcement Learning)は、エージェントが均質なチームメイトとセルフプレイでトレーニングされるような設定で、しばしばパラメータ共有と単一のポリシーアーキテクチャを使用する。 自己プレイのPPOエージェントは、トレーニングパートナーの行動に過度に適合するよりも、基礎となるゲームに根ざした一般的なコーディネーション戦略をどの程度学べるか? 本稿では, 異種マルチエージェント(HeMAC)環境を用いて, 補完機能を有する観測エージェントとドローンエージェントを特徴とする課題について検討する。 我々は、トレーニング中に異なる学習アルゴリズムのヘテロジニアスなチームメイトポリシーを回転させ、エージェントを幅広いパートナー戦略に公開するアプローチである、回転ポリシートレーニング(RPT)を導入する。 非支持型チームメイトポリシー(DDQN)と組み合わせて演奏すると、RTPは標準的なセルフプレイベースラインであるIPPOと同じような性能を達成し、すべてのエージェントが単一のPPOポリシーを共有するように訓練された。 この結果は、トレーニング中にチームメイト多様性を経験していないにもかかわらず、IPPOベースラインが新しいチームメイトアルゴリズムに一般化されることを示唆している。 このことは、単純なIPPOベースラインが、多様なトレーニング体制が達成するために設計された新しいチームメイトへの一般化のレベルを持っていることを示している。

関連論文リスト

• N-Agent Ad Hoc Teamwork [36.10108537776956]
  協調的マルチエージェント行動の学習への現在のアプローチは、比較的限定的な設定を前提としている。 本稿では,この問題を定式化し,エージェントモデリングを用いたポリシー最適化(POAM)アルゴリズムを提案する。 POAMは、NAHT問題に対するポリシーグラデーションであり、マルチエージェント強化学習アプローチであり、多様なチームメイト行動への適応を可能にする。
  論文  参考訳（メタデータ） (2024-04-16T17:13:08Z)
• Robustifying a Policy in Multi-Agent RL with Diverse Cooperative Behaviors and Adversarial Style Sampling for Assistive Tasks [51.00472376469131]
  多様な介護者対応を訓練することで、ロバストな介護者の方針を学習する枠組みを提案する。 一般的な深層RL法で訓練されたポリシーは、他のエージェントのポリシーの変更に対して脆弱であることを示す。
  論文  参考訳（メタデータ） (2024-03-01T08:15:18Z)
• ProAgent: Building Proactive Cooperative Agents with Large Language Models [89.53040828210945]
  ProAgentは、大規模な言語モデルを利用してプロアクティブエージェントを生成する新しいフレームワークである。 ProAgentは現状を分析し、チームメイトの意図を観察から推測することができる。 ProAgentは高度なモジュール化と解釈可能性を示し、様々な調整シナリオに容易に統合できる。
  論文  参考訳（メタデータ） (2023-08-22T10:36:56Z)
• Learning From Good Trajectories in Offline Multi-Agent Reinforcement Learning [98.07495732562654]
  オフラインマルチエージェント強化学習(MARL)は、事前コンパイルされたデータセットから効果的なマルチエージェントポリシーを学ぶことを目的としている。 オフラインのMARLが学んだエージェントは、しばしばこのランダムなポリシーを継承し、チーム全体のパフォーマンスを脅かす。 この問題に対処するために,共有個人軌道(SIT)と呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-28T18:11:26Z)
• Learning Heterogeneous Agent Cooperation via Multiagent League Training [6.801749815385998]
  本研究ではヘテロジニアス・リーグ・トレーニング(HLT)と呼ばれる汎用強化学習アルゴリズムを提案する。 HLTは、エージェントがトレーニング中に調査したポリシーのプールを追跡し、将来のポリシー最適化を促進するために異質なポリシーの集合を集めている。 協力スキルのレベルが異なるチームメイトとのコラボレーションにおいて、エージェントの振る舞いの多様性を高めるために、ハイパーネットワークが導入される。
  論文  参考訳（メタデータ） (2022-11-13T13:57:15Z)
• RPM: Generalizable Behaviors for Multi-Agent Reinforcement Learning [90.43925357575543]
  本稿では,MARLポリシーを総合性良く訓練するための多様なマルチエージェントトラジェクトリを収集するために,ランク付けされたポリシーメモリ(RPM)を提案する。 RPMにより、マルチエージェントの一般化評価シナリオと完全なタスクにおいて、MARLエージェントが未確認エージェントと対話することが可能になり、平均402%のパフォーマンスが大幅に向上する。
  論文  参考訳（メタデータ） (2022-10-18T07:32:43Z)
• Is Independent Learning All You Need in the StarCraft Multi-Agent Challenge? [100.48692829396778]
  独立PPO (Independent PPO) は独立学習の一種であり、各エージェントはその局所値関数を単純に推定する。 IPPOの強い性能は、ある種の非定常性に対する堅牢性に起因する可能性がある。
  論文  参考訳（メタデータ） (2020-11-18T20:29:59Z)
• Natural Emergence of Heterogeneous Strategies in Artificially Intelligent Competitive Teams [0.0]
  我々はFortAttackと呼ばれる競合するマルチエージェント環境を開発し、2つのチームが互いに競合する。 このような振る舞いがチームの成功に繋がる場合、同種エージェント間の異種行動の自然発生を観察する。 我々は、進化した反対戦略を利用して、友好的なエージェントのための単一のポリシーを訓練するアンサンブルトレーニングを提案する。
  論文  参考訳（メタデータ） (2020-07-06T22:35:56Z)
• Model-based Reinforcement Learning for Decentralized Multiagent Rendezvous [66.6895109554163]
  目標を他のエージェントと整合させる人間の能力の下にあるのは、他人の意図を予測し、自分たちの計画を積極的に更新する能力である。 分散型マルチエージェントレンデブーのためのモデルに基づく強化学習手法である階層型予測計画(HPP)を提案する。
  論文  参考訳（メタデータ） (2020-03-15T19:49:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。