論文の概要: Enhancing Aerial Combat Tactics through Hierarchical Multi-Agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2505.08995v1
• Date: Tue, 13 May 2025 22:13:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-15 21:44:09.308177
• Title: Enhancing Aerial Combat Tactics through Hierarchical Multi-Agent Reinforcement Learning
• Title（参考訳）: 階層型マルチエージェント強化学習による航空戦闘戦術の強化
• Authors: Ardian Selmonaj, Oleg Szehr, Giacomo Del Rio, Alessandro Antonucci, Adrian Schneider, Michael Rüegsegger,
• Abstract要約: 本研究は,模擬空戦シナリオを解析するための階層型多エージェント強化学習フレームワークを提案する。 目的は、予め設定されたシミュレーションでミッションの成功につながる効果的な行動コースを特定することである。
• 参考スコア（独自算出の注目度）: 38.15185397658309
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work presents a Hierarchical Multi-Agent Reinforcement Learning framework for analyzing simulated air combat scenarios involving heterogeneous agents. The objective is to identify effective Courses of Action that lead to mission success within preset simulations, thereby enabling the exploration of real-world defense scenarios at low cost and in a safe-to-fail setting. Applying deep Reinforcement Learning in this context poses specific challenges, such as complex flight dynamics, the exponential size of the state and action spaces in multi-agent systems, and the capability to integrate real-time control of individual units with look-ahead planning. To address these challenges, the decision-making process is split into two levels of abstraction: low-level policies control individual units, while a high-level commander policy issues macro commands aligned with the overall mission targets. This hierarchical structure facilitates the training process by exploiting policy symmetries of individual agents and by separating control from command tasks. The low-level policies are trained for individual combat control in a curriculum of increasing complexity. The high-level commander is then trained on mission targets given pre-trained control policies. The empirical validation confirms the advantages of the proposed framework.
• Abstract（参考訳）: 本研究は,異種エージェントを含む模擬空戦シナリオを解析するための階層型多エージェント強化学習フレームワークを提案する。 目的は、プリセットされたシミュレーションにおいてミッション成功につながる効果的な行動コースを特定し、これにより、低コストで、安全かつフェイルな環境で現実世界の防衛シナリオの探索を可能にすることである。 この文脈で深層強化学習を適用すると、複雑な飛行力学、マルチエージェントシステムにおける状態空間と行動空間の指数的サイズ、ルックアヘッド計画で個々のユニットのリアルタイム制御を統合する能力など、特定の課題が生じる。 これらの課題に対処するために、意思決定プロセスは、個々のユニットを制御する低レベルポリシーと、ミッション全体の目標に沿ったマクロコマンドを発行する高レベルコマンドの2つのレベルに分けられる。 この階層構造は、個々のエージェントのポリシー対称性を利用し、コマンドタスクから制御を分離することにより、トレーニングプロセスを促進する。 低レベルの政策は、複雑さを増すカリキュラムにおいて、個々の戦闘制御のために訓練される。 高いレベルの指揮官は、事前訓練された制御ポリシーを与えられたミッションターゲットで訓練される。 実証検証は提案フレームワークの利点を裏付けるものである。

関連論文リスト

• COMBO-Grasp: Learning Constraint-Based Manipulation for Bimanual Occluded Grasping [56.907940167333656]
  集積ロボットグルーピングは、表面衝突などの環境制約により、所望のグルーピングポーズが運動的に不可能な場所である。 従来のロボット操作アプローチは、人間が一般的に使用する非包括的または双対的戦略の複雑さに苦しむ。 本稿では,2つの協調ポリシーを活用する学習ベースアプローチであるCOMBO-Grasp(Constraint-based Manipulation for Bimanual Occluded Grasping)を紹介する。
  論文  参考訳（メタデータ） (2025-02-12T01:31:01Z)
• A Hierarchical Reinforcement Learning Framework for Multi-UAV Combat Using Leader-Follower Strategy [3.095786524987445]
  マルチUAV空戦は、複数の自律型UAVを含む複雑な作業である。 以前のアプローチは、主にアクション空間を事前定義されたアクションに識別する。 本稿では,リーダ・フォロワー・マルチエージェント・プロキシ・ポリシー最適化戦略を利用した階層型フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-22T02:41:36Z)
• Hierarchical Multi-Agent Reinforcement Learning for Air Combat Maneuvering [40.06500618820166]
  複数の異種エージェントを用いた空対空戦闘のための階層型多エージェント強化学習フレームワークを提案する。 低レベルの政策は、正確な部隊戦闘制御のために訓練される。指揮官政策は、事前訓練された低レベルの政策が与えられたミッション目標に基づいて訓練される。
  論文  参考訳（メタデータ） (2023-09-20T12:16:00Z)
• Learning Complex Teamwork Tasks Using a Given Sub-task Decomposition [11.998708550268978]
  本稿では,タスクをよりシンプルなマルチエージェントサブタスクに分解する手法を提案する。 各サブタスクでは、チーム全体のサブセットが、サブタスク固有のポリシを取得するようにトレーニングされる。 サブチームはマージされ、ターゲットタスクに転送される。そこでは、そのポリシーは、より複雑なターゲットタスクを解決するために、まとめて微調整される。
  論文  参考訳（メタデータ） (2023-02-09T21:24:56Z)
• Hierarchical Reinforcement Learning with Opponent Modeling for Distributed Multi-agent Cooperation [13.670618752160594]
  深層強化学習(DRL)はエージェントと環境の相互作用を通じて多エージェント協調に有望なアプローチを提供する。 従来のDRLソリューションは、ポリシー探索中に連続的なアクション空間を持つ複数のエージェントの高次元に悩まされる。 効率的な政策探索のための高レベル意思決定と低レベル個別制御を用いた階層型強化学習手法を提案する。
  論文  参考訳（メタデータ） (2022-06-25T19:09:29Z)
• Planning to Practice: Efficient Online Fine-Tuning by Composing Goals in Latent Space [76.46113138484947]
  汎用ロボットは、現実世界の非構造環境において困難なタスクを完了するために、多様な行動レパートリーを必要とする。 この問題に対処するため、目標条件強化学習は、コマンド上の幅広いタスクの目標に到達可能なポリシーを取得することを目的としている。 本研究では,長期的課題に対する目標条件付き政策を実践的に訓練する手法であるPlanning to Practiceを提案する。
  論文  参考訳（メタデータ） (2022-05-17T06:58:17Z)
• Reinforcement Learning for Location-Aware Scheduling [1.0660480034605238]
  倉庫環境の様々な側面がパフォーマンスや実行の優先順位にどのように影響するかを示す。 位置認識型マルチエージェントシステムのための状態空間と動作空間のコンパクト表現を提案する。 また、特定の環境で訓練されたエージェントが、完全に見えない環境でパフォーマンスを維持する方法を示す。
  論文  参考訳（メタデータ） (2022-03-07T15:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。