論文の概要: Optimizing Team Behavior via Extremum-seeking Control in Multi-agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.18808v1
• Date: Tue, 13 Oct 2026 17:46:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.696391
• Title: Optimizing Team Behavior via Extremum-seeking Control in Multi-agent Reinforcement Learning
• Title（参考訳）: マルチエージェント強化学習における極端探索制御によるチーム行動の最適化
• Abstract要約: トレーニング中の行動多様性をオンラインで適応する2段階のフレームワークを提案する。 ADiCoを2つの協調MARLタスクの6つの構成で評価した。
• 参考スコア（独自算出の注目度）: 1.160208922584163
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In cooperative Multi-Agent Reinforcement Learning (MARL), agents must learn to coordinate their actions to achieve shared objectives. A key indicator of effective coordination is behavioral diversity, i.e., the agents' potential to enact distinct yet complementary control policies given the same set of observations. Although behavioral diversity can enable role specialization and richer joint behaviors, its appropriate level is highly context- and task-dependent and often costly to tune. We propose Adaptive Diversity Control (ADiCo), a two-timescale framework that adapts behavioral diversity online during training. On a fast timescale, Diversity Control (DiCo) regulates system diversity toward a target value. On a slower timescale, an Extremum Seeking Controller (ESC) adjusts this target using only mean episodic returns, without requiring an explicit model or analytical gradient of the diversity-performance landscape. We evaluate ADiCo on six configurations across two cooperative MARL tasks, where it maintains task-appropriate diversity levels: low diversity when homogeneous policies are beneficial and higher diversity when heterogeneous policies are required. Through this adaptation, ADiCo matches or exceeds the mean performance of DiCo (best grid-searched diversity target) and Unconstrained DiCo (diversity allowed to emerge without target regulation). These results demonstrate that incorporating classical feedback control into MARL training enables effective coordination by providing a systematic alternative to task-specific manual selection of the diversity target.
• Abstract（参考訳）: MARL(Multi-Agent Reinforcement Learning)では、エージェントは共通の目的を達成するために行動を調整することを学ばなければならない。 効果的な調整の鍵となる指標は行動多様性であり、例えば、同じ観察セットが与えられた場合、エージェントが異なるが相補的な制御ポリシーを制定する可能性である。 振る舞いの多様性は役割の専門化とよりリッチな共同行動を可能にするが、その適切なレベルは文脈に依存し、タスクに依存しており、チューニングするのにしばしばコストがかかる。 トレーニング中の行動多様性をオンラインで適応する2段階のフレームワークであるAdaptive Diversity Control (ADiCo)を提案する。 迅速な時間スケールでは、ダイバーシティコントロール(DiCo)は、ターゲット値に対するシステムの多様性を規制する。 より遅い時間スケールでは、Extremum Seeking Controller(ESC)は、多様性とパフォーマンスのランドスケープの明示的なモデルや分析的な勾配を必要とせずに、平均的なエピソードリターンのみを使用して、このターゲットを調整する。 ADiCoを2つのMARLタスクにまたがる6つの構成で評価し、タスクに適した多様性レベルを維持している。 この適応を通じて、ADiCoはDiCo(最良グリッド探索ダイバーシティターゲット)と非制約DiCo(目標規制なしで出現できるダイバーシティ)の平均性能と一致または上回る。 これらの結果から,従来のフィードバック制御をMARLトレーニングに組み込むことで,タスク固有の課題選択の体系的な代替手段を提供することで,効果的なコーディネートが可能になることが示唆された。

関連論文リスト

• Learning Coordinated Preference for Multi-Objective Multi-Agent Reinforcement Learning [8.814548010831297]
  選好の多様性は、1次改善の分解によってチームの改善を誘導できることを示す。 複数の協調型MOMA環境の実験と、実用的な交通制御シナリオにより、PCMAは性能とトレードオフ調整の両方を改善している。
  論文  参考訳（メタデータ） (2026-06-12T17:55:28Z)
• Adaptive Value Decomposition: Coordinating a Varying Number of Agents in Urban Systems [19.19146852846605]
  Adaptive Value Decomposition (AVD)は、動的に変化するエージェントに適応する協調的なMARLフレームワークである。 トレーニング実行戦略は、エージェントが異なるタイミングで行動するときの非同期な意思決定に対応するように設計されている。
  論文  参考訳（メタデータ） (2026-02-10T03:41:14Z)
• Capability-Aware Shared Hypernetworks for Flexible Heterogeneous Multi-Robot Coordination [1.5970870882365]
  マルチロボットチームのための能力認識共有ハイパーネットワークス(CASH)を提案する。 CASHは、ハイパーネットワークを使用してフレキシブルな共有ポリシを効率的に学習する、ソフトウェイト共有アーキテクチャである。 トレーニングとゼロショットの一般化の両方において、CASHは性能とサンプル効率の点で、ベースラインアーキテクチャを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-01-10T15:39:39Z)
• DiveR-CT: Diversity-enhanced Red Teaming Large Language Model Assistants with Relaxing Constraints [68.82294911302579]
  DiveR-CTを導入し、目的と意味の報酬に対する従来の制約を緩和し、多様性を高める政策により大きな自由を与える。 実験では,1)様々な攻撃成功率の多様な多様性指標において優れたデータを生成すること,2)収集したデータに基づく安全性チューニングによる青チームモデルのレジリエンスの向上,3)信頼性と制御可能な攻撃成功率に対する目標重みの動的制御,3)報酬過大化に対する感受性の低下など,ベースラインよりも優れたDiveR-CTの顕著な優位性を実証した。
  論文  参考訳（メタデータ） (2024-05-29T12:12:09Z)
• Controlling Behavioral Diversity in Multi-Agent Reinforcement Learning [8.905920197601173]
  本研究では,ある指標の正確な値に対する多様性を制御できるダイバーシティ制御(DiCo)を導入する。 マルチエージェント強化学習における性能向上とサンプル効率向上のための新しいパラダイムとしてDiCoを用いる方法を示す。
  論文  参考訳（メタデータ） (2024-05-23T21:03:33Z)
• Stateful active facilitator: Coordination and Environmental Heterogeneity in Cooperative Multi-Agent Reinforcement Learning [71.53769213321202]
  環境の調整レベルと不均一度の概念を定式化する。 異なるMARLアプローチの実証評価を容易にするマルチエージェント環境のスイートであるHECOGridを提案する。 本研究では,エージェントが高配向環境と高配向環境において効率的に作業することを可能にする訓練分散実行学習手法を提案する。
  論文  参考訳（メタデータ） (2022-10-04T18:17:01Z)
• Policy Diagnosis via Measuring Role Diversity in Cooperative Multi-agent RL [107.58821842920393]
  我々はエージェントの行動差を定量化し、bfロールの多様性を通して政策パフォーマンスとの関係を構築する MARLの誤差は, 役割多様性と強い関係を持つ3つの部分に分けられる。 分解された要因は3つの一般的な方向における政策最適化に大きな影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2022-06-01T04:58:52Z)
• LDSA: Learning Dynamic Subtask Assignment in Cooperative Multi-Agent Reinforcement Learning [122.47938710284784]
  協調型MARLにおける動的サブタスク代入(LDSA)を学習するための新しいフレームワークを提案する。 エージェントを異なるサブタスクに合理的に割り当てるために,能力に基づくサブタスク選択戦略を提案する。 LDSAは、より優れたコラボレーションのために、合理的で効果的なサブタスクの割り当てを学習していることを示す。
  論文  参考訳（メタデータ） (2022-05-05T10:46:16Z)
• UneVEn: Universal Value Exploration for Multi-Agent Reinforcement Learning [53.73686229912562]
  我々はUniversal Value Exploration(UneVEn)と呼ばれる新しいMARLアプローチを提案する。 UneVEnは、一連の関連するタスクと、普遍的な後継機能の線形分解を同時に学習する。 一連の探索ゲームにおける実証的な結果、エージェント間の重要な調整を必要とする協調捕食・捕食作業への挑戦、およびStarCraft IIのマイクロマネジメントベンチマークは、UneVEnが他の最先端のMARLメソッドが失敗するタスクを解決できることを示している。
  論文  参考訳（メタデータ） (2020-10-06T19:08:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。