論文の概要: DRG-MAPPO: Hierarchical Dynamic Role-Graph Multi-Agent Reinforcement Learning for Cooperative Air Combat

• arxiv url: http://arxiv.org/abs/2609.11155v1
• Date: Thu, 10 Sep 2026 07:02:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.238531
• Title: DRG-MAPPO: Hierarchical Dynamic Role-Graph Multi-Agent Reinforcement Learning for Cooperative Air Combat
• Title（参考訳）: DRG-MAPPO:協調型エアコンの階層的動的ロールグラフ多エージェント強化学習
• Abstract要約: MARL(Multi-Agent Reinforcement Learning)は、自律システムと空戦における複雑な意思決定のパラダイムとして登場した。 MARLは航空戦において大きな可能性を示しているが、高度に戦術的な調整を達成することは難しい課題である。 本稿では,グラフに基づくリレーショナルモデリングと動的ロール割り当てを統合した新しいMARLフレームワークDRG-MAPPOを提案する。
• 参考スコア（独自算出の注目度）: 17.414462816406516
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-Agent Reinforcement Learning (MARL) has emerged as a pivotal paradigm for complex decision-making in autonomous systems and air combat. While MARL has demonstrated significant potential in air combat, achieving sophisticated tactical coordination remains a non-trivial challenge. This difficulty is largely attributed to two primary limitations: (1) the absence of structured relational modeling hinders agents from capturing complex, time-varying interactions among battlefield entities; and (2) conventional flat architectures often lack the capability to explicitly model tactical roles, leading to ambiguous task allocation in highly dynamic environments. To address these challenges, we propose Hierarchical Dynamic Role-Graph Multi-Agent Proximal Policy Optimization (DRG-MAPPO), a novel MARL framework that integrates graph-based relational modeling with dynamic role assignment. Specifically, DRG-MAPPO constructs a graph-based representation of battlefield interactions and leverages graph attention mechanisms to extract critical relational features among allies, enemies, and threats. Subsequently, a high-level policy employs a dynamic role assignment mechanism to determine tactical responsibilities (e.g., ``leader'' and ``supporter''). Conditioned on these roles and encoded graph-relational features, a low-level policy executes discrete maneuver actions, facilitating the joint optimization of tactical strategy and collaborative execution. Furthermore, a target-priority auxiliary task is designed to foster the emergence of behaviors such as focus-fire. Experimental results demonstrate that DRG-MAPPO achieves a state-of-the-art win rate of 87%, suggesting that our framework effectively balances relational modeling, interpretability, and optimization stability for cooperative air combat.
• Abstract（参考訳）: MARL(Multi-Agent Reinforcement Learning)は、自律システムと空戦における複雑な意思決定のパラダイムとして登場した。 MARLは航空戦において大きな可能性を示しているが、高度に戦術的な調整を達成することは難しい課題である。 構造的リレーショナル・モデリングの欠如は、エージェントが戦場における複雑な時間変化の相互作用を捕捉するのを妨げ、(2)従来のフラット・アーキテクチャは戦術的役割を明示的にモデル化する能力が欠如しており、高度に動的な環境においてあいまいなタスク割り当てをもたらす。 これらの課題に対処するために、グラフベースの関係モデリングと動的役割割り当てを統合する新しいMARLフレームワークである階層型動的ロールグラフマルチエージェントプロキシポリシー最適化(DRG-MAPPO)を提案する。 具体的には、DRG-MAPPOは、戦場での相互作用をグラフベースで表現し、グラフ注意機構を利用して、同盟国、敵、脅威間の重要な関係性を抽出する。 その後、ハイレベルなポリシーでは、動的ロール割り当て機構を使用して戦術的責任(例: `` Leader'' と `` Supporter'')を決定する。 これらの役割と符号化グラフ関係の特徴を前提として、低レベルポリシーは個別の操作行動を実行し、戦術戦略の協調最適化と協調実行を容易にする。 さらに、フォーカス・ファイアのような行動の出現を促進するために、目標優先度補助タスクを設計する。 実験の結果,DRG-MAPPOは87%の最先端の勝利率を達成し,協調空戦におけるリレーショナルモデリング,解釈可能性,最適化の安定性を効果的にバランスさせることが示唆された。

関連論文リスト

• Stateful Cooperative Agents Safeguarding LLMs Against Evolving Multi-Turn Attacks [56.45762972211923]
  マルチターン攻撃に対するLDMの安全性を確保するためのプロアクティブ・ディフェンス・フレームワークを提案する。 特殊なエージェントが補完的な防衛戦略を実行するような、協調的なマルチエージェントアーキテクチャを採用している。 マルチターン攻撃における進化戦略をシミュレートするEMRAデータセットを提案する。
  論文  参考訳（メタデータ） (2026-07-31T14:04:49Z)
• Beyond Trajectory Imitation: Strategy-Guided Policy Optimization for LLM Reasoning [76.93011742289768]
  強い言語モデルから弱い言語モデルへの推論能力の蒸留は、典型的には特定の解軌跡を模倣する。 この軌道レベルの模倣は、伝達可能な問題解決スキルの獲得よりも、インスタンス固有のステップの記憶を促進する。 再利用可能な戦略蒸留にインスタンスレベルの軌道模倣を置き換えた戦略誘導型政策最適化を提案する。
  論文  参考訳（メタデータ） (2026-06-23T02:14:12Z)
• ARAC: Adaptive Regularized Multi-Agent Soft Actor-Critic in Graph-Structured Adversarial Games [25.176860778665173]
  ARACは、エージェント依存をモデリングするためのアテンションベースのグラフニューラルネットワーク(GNN)と、適応的分散正規化機構を統合する。 ARACは、MARLベースラインと比較して、より高速な収束、最終的な成功率の向上、さまざまなエージェント間のスケーラビリティの向上を実現している。
  論文  参考訳（メタデータ） (2025-11-11T16:25:01Z)
• DR. WELL: Dynamic Reasoning and Learning with Symbolic World Model for Embodied LLM-Based Multi-Agent Collaboration [18.250351934101463]
  DR. WELLは、協調的マルチエージェント計画のための分散型神経シンボルフレームワークである。 エージェントは候補者の役割を提案し、合意と環境制約の下で共同割り当てをコミットする。 各エージェントは、詳細な軌道を明らかにすることなく、独立してその役割の象徴的な計画を生成し実行します。
  論文  参考訳（メタデータ） (2025-11-06T18:37:18Z)
• Social World Model-Augmented Mechanism Design Policy Learning [58.739456918502704]
  SWM-AP (Social World Model-Augmented Mechanism Design Policy Learning) を導入する。 SWM-APは,累積報酬とサンプル効率において,モデルベースおよびモデルフリーのRLベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2025-10-22T06:01:21Z)
• Rethinking the Role of Dynamic Sparse Training for Scalable Deep Reinforcement Learning [58.533203990515034]
  ニューラルネットワークのスケーリングは機械学習における画期的な進歩をもたらしたが、このパラダイムは深層強化学習(DRL)では失敗している。 我々は、動的スパーストレーニング戦略が、アーキテクチャの改善によって確立された主要なスケーラビリティ基盤を補完するモジュール固有の利点を提供することを示す。 アーキテクチャ改善の利点を生かした実践的なフレームワークであるModule-Specific Training (MST) にこれらの知見を精査し、アルゴリズムの修正なしに様々なRLアルゴリズムをまたいだ大幅なスケーラビリティ向上を示す。
  論文  参考訳（メタデータ） (2025-10-14T03:03:08Z)
• Deep Reinforcement Learning for Multi-Agent Coordination [8.250169938213558]
  本稿では,仮想フェロモンを用いて局所的・社会的相互作用をモデル化するS-MADRL(Stigmergic Multi-Agent Deep Reinforcement Learning)フレームワークを提案する。 我々は,ロボットが非対称な作業負荷分布に自己組織化される,最大8つのエージェントの最も効果的な協調を実現していることを示す。 この創発的行動は、自然界で観察される戦略に類似しており、混雑した環境下での分散マルチエージェント協調のためのスケーラブルなソリューションを示している。
  論文  参考訳（メタデータ） (2025-10-04T00:47:20Z)
• Strategic Coordination for Evolving Multi-agent Systems: A Hierarchical Reinforcement and Collective Learning Approach [0.0]
  強化学習は、シーケンシャルな意思決定をモデル化する方法を提供する。 エージェントは、MARLを使用して高レベル戦略を採り、アクションスペース削減のためのプランをグループ化する。 低レベルの集団学習層は、効率的で分散化された協調的な決定を保証する。
  論文  参考訳（メタデータ） (2025-09-22T17:58:45Z)
• CyGATE: Game-Theoretic Cyber Attack-Defense Engine for Patch Strategy Optimization [73.13843039509386]
  本稿では,攻撃と防御の相互作用をモデル化するゲーム理論フレームワークCyGATEを提案する。 CyGATEはサイバー・キル・チェーン(Cyber Kill Chain)の段階にわたって、サイバー紛争を部分的に観察可能なゲーム(POSG)として捉えている。 フレームワークの柔軟なアーキテクチャは、マルチエージェントシナリオの拡張を可能にする。
  論文  参考訳（メタデータ） (2025-08-01T09:53:06Z)
• A Hierarchical Reinforcement Learning Framework for Multi-UAV Combat Using Leader-Follower Strategy [3.095786524987445]
  マルチUAV空戦は、複数の自律型UAVを含む複雑な作業である。 以前のアプローチは、主にアクション空間を事前定義されたアクションに識別する。 本稿では,リーダ・フォロワー・マルチエージェント・プロキシ・ポリシー最適化戦略を利用した階層型フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-22T02:41:36Z)
• Efficient Adaptation in Mixed-Motive Environments via Hierarchical Opponent Modeling and Planning [51.52387511006586]
  本稿では,HOP(Hierarchical Opponent Modeling and Planning)を提案する。 HOPは階層的に2つのモジュールから構成される: 相手の目標を推論し、対応する目標条件のポリシーを学ぶ、反対モデリングモジュール。 HOPは、さまざまな未確認エージェントと相互作用する際、優れた少数ショット適応能力を示し、セルフプレイのシナリオで優れている。
  論文  参考訳（メタデータ） (2024-06-12T08:48:06Z)
• Multi-Agent Dynamic Relational Reasoning for Social Robot Navigation [50.01551945190676]
  社会ロボットナビゲーションは、日常生活の様々な状況において有用であるが、安全な人間とロボットの相互作用と効率的な軌道計画が必要である。 本稿では, 動的に進化する関係構造を明示的に推論した系統的関係推論手法を提案する。 マルチエージェント軌道予測とソーシャルロボットナビゲーションの有効性を実証する。
  論文  参考訳（メタデータ） (2024-01-22T18:58:22Z)
• Decentralized Adversarial Training over Graphs [44.03711922549992]
  近年、敵攻撃に対する機械学習モデルの脆弱性が注目されている。 マルチエージェントシステムのための分散逆数フレームワークを開発する。
  論文  参考訳（メタデータ） (2023-03-23T15:05:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。