論文の概要: HCPO: Hierarchical Conductor-Based Policy Optimization in Multi-Agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2511.12123v1
• Date: Sat, 15 Nov 2025 09:19:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:23.625046
• Title: HCPO: Hierarchical Conductor-Based Policy Optimization in Multi-Agent Reinforcement Learning
• Title（参考訳）: HCPO:マルチエージェント強化学習における階層的導体に基づく政策最適化
• Authors: Zejiao Liu, Junqi Tu, Yitian Hong, Luolin Xiong, Yaochu Jin, Yang Tang, Fangfei Li,
• Abstract要約: 本稿では,共同政策の表現能力を直接強化する指揮者型共同政策枠組みを提案する。 また,導体とエージェントのポリシー更新を,性能改善に対応する方向に指示する階層的導体に基づくポリシー最適化アルゴリズムを開発した。 その結果,HCPOは協調効率と安定性に関して,競争力のあるMARLベースラインよりも優れていた。
• 参考スコア（独自算出の注目度）: 27.23172015117646
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In cooperative Multi-Agent Reinforcement Learning (MARL), efficient exploration is crucial for optimizing the performance of joint policy. However, existing methods often update joint policies via independent agent exploration, without coordination among agents, which inherently constrains the expressive capacity and exploration of joint policies. To address this issue, we propose a conductor-based joint policy framework that directly enhances the expressive capacity of joint policies and coordinates exploration. In addition, we develop a Hierarchical Conductor-based Policy Optimization (HCPO) algorithm that instructs policy updates for the conductor and agents in a direction aligned with performance improvement. A rigorous theoretical guarantee further establishes the monotonicity of the joint policy optimization process. By deploying local conductors, HCPO retains centralized training benefits while eliminating inter-agent communication during execution. Finally, we evaluate HCPO on three challenging benchmarks: StarCraftII Multi-agent Challenge, Multi-agent MuJoCo, and Multi-agent Particle Environment. The results indicate that HCPO outperforms competitive MARL baselines regarding cooperative efficiency and stability.
• Abstract（参考訳）: 協調型マルチエージェント強化学習(MARL)では, 協調政策の性能を最適化する上で, 効率的な探索が重要である。 しかし、既存の手法では、エージェント間の調整なしに独立したエージェント探索を通じて共同政策を更新することが多く、これは本質的には、共同政策の表現力と探索を制限している。 この問題に対処するために,共同政策の表現能力を直接強化し,探索をコーディネートするコンダクタベースの共同政策フレームワークを提案する。 さらに,指揮者とエージェントのポリシー更新を,性能改善に対応する方向に指示する階層導体に基づくポリシー最適化(HCPO)アルゴリズムを開発した。 厳密な理論的保証により、共同政策最適化プロセスの単調性はさらに確立される。 ローカル導体をデプロイすることで、HCPOは実行中のエージェント間通信を排除しながら、集中的なトレーニングのメリットを維持します。 最後に, HCPOをStarCraftII Multi-agent Challenge, Multi-agent MuJoCo, Multi-agent Particle Environmentの3つのベンチマークで評価した。 その結果,HCPOは協調効率と安定性に関して,競争力のあるMARLベースラインよりも優れていた。

関連論文リスト

• Offline Multi-agent Reinforcement Learning via Score Decomposition [51.23590397383217]
  オフライン協調型マルチエージェント強化学習(MARL)は、分散シフトによる固有の課題に直面している。 この作業は、オフラインとオンラインのMARL間の分散ギャップを明示的に解決する最初の作業である。
  論文  参考訳（メタデータ） (2025-05-09T11:42:31Z)
• Direct Preference Optimization for Primitive-Enabled Hierarchical Reinforcement Learning [75.9729413703531]
  DIPPERは階層的な政策学習を二段階最適化問題として定式化する新しいHRLフレームワークである。 DIPPERは、スパース報酬シナリオにおいて、最先端のベースラインよりも最大40%改善されていることを示す。
  論文  参考訳（メタデータ） (2024-11-01T04:58:40Z)
• Minimum Coverage Sets for Training Robust Ad Hoc Teamwork Agents [39.19326531319873]
  既存のAd Hoc Teamwork(AHT)メソッドは、さまざまなチームメイトポリシーを持つエージェントをトレーニングすることで、この問題に対処する。 我々は、AHTトレーニングに使用されるチームメイトポリシーのセットを生成するL-BRDivアルゴリズムを導入し、エージェントがMCSのポリシーをエミュレートすることを奨励する。 実験により,L-BRDivは2人共役の幅広い問題において,最先端の手法よりも堅牢なAHTエージェントを生成することを示した。
  論文  参考訳（メタデータ） (2023-08-18T14:45:22Z)
• PARL: A Unified Framework for Policy Alignment in Reinforcement Learning from Human Feedback [106.63518036538163]
  我々は、強化学習におけるポリシーアライメントの最近強調された重要な問題に対処するために、新しい統合された二段階最適化ベースのフレームワーク、textsfPARLを提案する。 本フレームワークは, 上向きの目標(逆設計)の分布を, 下向きの最適変数で明示的にパラメータ化することにより, これらの問題に対処する。 その結果,提案したtextsfPARL が RL のアライメントの懸念に対処できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-08-03T18:03:44Z)
• Local Optimization Achieves Global Optimality in Multi-Agent Reinforcement Learning [139.53668999720605]
  本稿では,各エージェントのローカルポリシーをバニラPPOと同様に更新するマルチエージェントPPOアルゴリズムを提案する。 マルコフゲームにおける標準正則条件と問題依存量により、我々のアルゴリズムはサブリニアレートで大域的最適ポリシーに収束することを示す。
  論文  参考訳（メタデータ） (2023-05-08T16:20:03Z)
• Decentralized Policy Optimization [21.59254848913971]
  単調な改善と収束を保証する分散型アクター批判アルゴリズムであるテキスト分散ポリシー最適化(DPO)を提案する。 実験的に、DPOとIPPOを協調的な多エージェントタスクで比較し、離散的かつ連続的な行動空間、完全かつ部分的に観察可能な環境を網羅した。
  論文  参考訳（メタデータ） (2022-11-06T05:38:23Z)
• Monotonic Improvement Guarantees under Non-stationarity for Decentralized PPO [66.5384483339413]
  我々は,MARL(Multi-Agent Reinforcement Learning)における分散政策の最適化のための新しい単調改善保証を提案する。 本研究では,訓練中のエージェント数に基づいて,独立した比率を限定することにより,信頼領域の制約を原則的に効果的に実施可能であることを示す。
  論文  参考訳（メタデータ） (2022-01-31T20:39:48Z)
• Iterated Reasoning with Mutual Information in Cooperative and Byzantine Decentralized Teaming [0.0]
  我々は,政策グラディエント(PG)の下での最適化において,エージェントの方針がチームメイトの方針に準じることが,本質的に相互情報(MI)の下限を最大化することを示す。 我々の手法であるInfoPGは、創発的協調行動の学習におけるベースラインを上回り、分散協調型MARLタスクにおける最先端の課題を設定します。
  論文  参考訳（メタデータ） (2022-01-20T22:54:32Z)
• Coordinated Proximal Policy Optimization [28.780862892562308]
  Coordinated Proximal Policy Optimization (CoPPO) は、オリジナルの Proximal Policy Optimization (PPO) をマルチエージェント設定に拡張するアルゴリズムである。 我々は,理論的な共同目的を最適化する際の政策改善の単調性を証明する。 そこで我々は,CoPPOにおけるそのような目的がエージェント間の動的信用割り当てを達成し,エージェントポリシーの同時更新時の高分散問題を軽減することができると解釈した。
  論文  参考訳（メタデータ） (2021-11-07T11:14:19Z)
• Trust Region Policy Optimisation in Multi-Agent Reinforcement Learning [25.027143431992755]
  信頼領域の手法により、強化学習(RL)エージェントが単調な政策改善を学ぶことができるようになり、様々なタスクにおいて優れたパフォーマンスが得られた。 残念ながら、マルチエージェント強化学習(MARL)では、単調改善の特性は単純に適用できない。 本稿では、信頼領域学習の理論をMARLに拡張し、マルチエージェント・アドバンテージ分解補題とシーケンシャルポリシー更新スキームについて述べる。 これらに基づき、異種信託地域政策最適化(HATPRO)と異種信託地域政策最適化(HATPRO)を開発する。
  論文  参考訳（メタデータ） (2021-09-23T09:44:35Z)
• Stable Policy Optimization via Off-Policy Divergence Regularization [50.98542111236381]
  信頼地域政策最適化(TRPO)とPPO(Pximal Policy Optimization)は、深層強化学習(RL)において最も成功した政策勾配アプローチの一つである。 本稿では, 連続的な政策によって引き起こされる割引状態-行動訪問分布を, 近接項で抑制し, 政策改善を安定化させる新しいアルゴリズムを提案する。 提案手法は, ベンチマーク高次元制御タスクの安定性と最終的な性能向上に有効である。
  論文  参考訳（メタデータ） (2020-03-09T13:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。