論文の概要: AgilePE: Autonomous UAV Pursuit-Evasion via Self-Play Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2608.14135v1
- Date: Fri, 14 Aug 2026 09:41:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.34217
- Title: AgilePE: Autonomous UAV Pursuit-Evasion via Self-Play Reinforcement Learning
- Title(参考訳): AgilePE: セルフプレイ強化学習による自律型UAV探索
- Abstract要約: 本稿では,自律型UAV追尾回避システムであるAgilePEを提案する。
AgilePEはアジャイルの低レベルのコントロール、競合ポリシの最適化、統合されたフレームワークでのsim-to-realデプロイメントを統合しています。
トレーニングでは,プライオリティライズ・フィクション・セルフプレイ(PFSP)と多様な対戦プールを併用し,エージェントが歴史的方針に反する改善を可能にする。
実世界の実験では、急速ドッジや側面撮影を含むシミュレーションで観測された追跡回避戦術を再現し、インタラクティブな2エージェントゼロショット展開を実証している。
- 参考スコア(独自算出の注目度): 31.828745787124316
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autonomous pursuit-evasion is a fundamental challenge for Unmanned Aerial Vehicles (UAVs), requiring rapid decision-making under tightly coupled dynamics and continuously changing opponent behaviors. Traditional rule-based or differential-game approaches often struggle with high-dimensional aerial interactions and agile maneuvering. We present AgilePE, a complete system for autonomous UAV pursuit-evasion via self-play reinforcement learning. AgilePE integrates agile low-level control, competitive policy optimization, and sim-to-real deployment in a unified framework. The policy directly maps onboard state observations to Collective Thrust and Body Rates (CTBR) commands, enabling end-to-end agile maneuvering without intermediate trajectory planners or waypoint controllers. For training, we use competitive self-play with Prioritized Fictitious Self-Play (PFSP) and a diversified opponent pool, enabling agents to improve against historical policies while stabilizing optimization and reducing policy oscillation. This process leads to the emergence of sophisticated pursuit and evasion strategies. For real-world deployment, we develop a hardware-aligned simulation pipeline that models actuator-response dynamics, communication latency, and domain randomization. The learned policies transfer zero-shot to real quadrotors without task-specific tuning. Real-world experiments reproduce pursuit-evasion tactics observed in simulation, including rapid dodging and flanking, and demonstrate interactive two-agent zero-shot deployment.
- Abstract(参考訳): 自律的追尾回避は無人航空機(UAV)の基本的な課題であり、密結合されたダイナミックスの下での迅速な意思決定と反対行動の継続的な変更を必要とする。
伝統的なルールベースまたはディファレンシャルゲームアプローチは、しばしば高次元の空中相互作用とアジャイルな操作に苦しむ。
本稿では,自律型UAV追尾回避システムであるAgilePEを提案する。
AgilePEはアジャイルの低レベルのコントロール、競合ポリシの最適化、統合されたフレームワークでのsim-to-realデプロイメントを統合しています。
このポリシーは、状態観察をCTBR(Collective Thrust and Body Rates)コマンドに直接マッピングすることで、中間的なトラジェクティブプランナーやウェイポイントコントローラを使わずに、エンドツーエンドのアジャイル操作を可能にする。
トレーニングでは,プライオリティテッド・フィクティトゥ・セルフプレイ(PFSP)と多様な対戦プールを併用し,エージェントが最適化を安定化し,ポリシーの振動を低減しつつ,過去の政策に対して改善することができる。
このプロセスは高度な追跡と回避戦略の出現に繋がる。
実世界の展開のために,アクタレスのダイナミックス,通信遅延,ドメインランダム化をモデル化するハードウェア・アライン・シミュレーション・パイプラインを開発した。
学習されたポリシーは、タスク固有のチューニングなしでゼロショットを実四辺形に転送する。
実世界の実験では、急速ドッジや側面撮影を含むシミュレーションで観測された追跡回避戦術を再現し、インタラクティブな2エージェントゼロショット展開を実証している。
関連論文リスト
- World Models as Adversaries: Multi-Agent Self-Play Fine-Tuning for Robust Motion Planning [60.88859946006306]
Adversa World Modeling(英語版)は理論上基礎を成すマルチエージェント・セルフプレイ・ファインチューニングフレームワークである。
内的最小化においては、プランナーの予測世界モデルは、スパースでシーン適応的なアタック・アタック・アライアンスを学ぶロール条件の敵に変換される。
nuPlan と InterPlan のベンチマーク実験により,本手法が伝達可能な対角相互作用を生成することを示す。
論文 参考訳(メタデータ) (2026-07-12T07:44:16Z) - Intercepting an Agile Target with Net-Carrying Drones using Competitive Multi-Agent Reinforcement Learning [0.0]
この記事では、漁網を運ぶアジャイルドローンのチームによって、アジャイルドローンを迎撃するソリューションを提示します。
競合するマルチエージェント強化学習(MARL)タスクとして問題を定式化する。
PFSPを用いたMAPPO(Multi-Agent Proximal Policy Optimization)による追跡者と回避者の訓練
論文 参考訳(メタデータ) (2026-07-07T07:41:09Z) - From Attacks to Curricula: Learnability-Guided Adversarial Training for Safe Autonomous Driving [56.30087557121323]
AlignADVは学習性誘導型クローズドループ対向トレーニングフレームワークである。
敵のシナリオを解決可能で能力に整合したカリキュラムに変換する。
実験の結果、最大40.6%のトレーニングステップが短縮された。
論文 参考訳(メタデータ) (2026-06-12T02:13:55Z) - MAPLE: Latent Multi-Agent Play for End-to-End Autonomous Driving [62.43744546817599]
視覚言語-アクション(VLA)モデルは、エンドツーエンドのモーションプランナーとして有効であるが、クローズドループ設定で評価すると不安定である。
本稿では, VLAモデルの潜在空間における動的駆動シナリオの, リアクティブでマルチエージェントなロールアウトのための新しいフレームワークMAPLEを提案する。
MAPLEはBench2Driveで最先端の駆動性能を実現し、堅牢なE2E自動運転システムのためのスケーラブルでクローズループなマルチエージェントプレイを実演する。
論文 参考訳(メタデータ) (2026-05-13T23:35:14Z) - Agile Interception of a Flying Target using Competitive Reinforcement Learning [2.982218441172364]
この記事では、捕獲網を積んだ別のアジャイルドローンによって、アジャイルドローンを迎撃するソリューションを提示します。
我々は、このインターセプションを競合強化学習問題として定式化し、インターセプターとターゲットドローンを個別のポリシーで制御する。
JAXで実装された現実的な四重項力学モデルと低レベル制御アーキテクチャを統合した高忠実度シミュレーション環境を提案する。
論文 参考訳(メタデータ) (2026-03-17T09:11:23Z) - ADV-0: Closed-Loop Min-Max Adversarial Training for Long-Tail Robustness in Autonomous Driving [63.980630608984605]
本稿では、ゼロサムマルコフゲームとして、駆動ポリシー(ディフェンダー)と敵エージェント(アタックラー)の相互作用を扱うクローズドループのmin-max最適化フレームワークであるADV-0を提案する。
これを実現するため,我々は動的敵の進化を反復的な選好学習とし,この最適性を効率的に近似し,アルゴリズムに依存しない解をゲームに提供する。
実験により、多様な安全クリティカルな障害を効果的に露呈し、学習方針と運動プランナーの両方の一般化可能性を大幅に向上させることが示されている。
論文 参考訳(メタデータ) (2026-03-16T12:58:31Z) - Alignment Tipping Process: How Self-Evolution Pushes LLM Agents Off the Rails [103.05296856071931]
本稿では,自己進化型大規模言語モデル(LLM)エージェントに特有の,アライメント・ティッピング・プロセス(ATP)を同定する。
ATPは、連続的な相互作用によってエージェントが訓練中に確立されたアライメント制約を放棄し、強化された自己関心の戦略を支持するときに生じる。
実験の結果、アライメントの利点は自己進化の下で急速に低下し、最初は整合性のない状態に収束したモデルであることが判明した。
論文 参考訳(メタデータ) (2025-10-06T14:48:39Z) - Learned Controllers for Agile Quadrotors in Pursuit-Evasion Games [42.74003740156243]
我々は,アジャイル1v1クアッドロータ追従回避の問題に対処する。
これらの問題に対処するために,非同期多段階人口ベース (AMSPB) アルゴリズムを提案する。
このフレームワークでは、ベロシティコマンドまたはボディーレートを集合推力で出力するニューラルネットワークコントローラをトレーニングします。
論文 参考訳(メタデータ) (2025-06-03T13:19:23Z) - Online Planning for Multi-UAV Pursuit-Evasion in Unknown Environments Using Deep Reinforcement Learning [16.676389371667284]
マルチUAV追跡回避は、UAV群知能にとって重要な課題である。
本研究では,協調戦略学習における部分的可観測性に対処するために,回避者予測強化ネットワークを導入する。
我々は、2段階の報酬改善を通じて実現可能な政策を導出し、ゼロショット方式で実四重項にポリシーを展開する。
論文 参考訳(メタデータ) (2024-09-24T08:40:04Z) - Autonomous Vehicle Controllers From End-to-End Differentiable Simulation [57.278726604424556]
そこで我々は,AVコントローラのトレーニングにAPG(analytic Policy gradients)アプローチを適用可能なシミュレータを提案し,その設計を行う。
提案するフレームワークは, エージェントがより根底的なポリシーを学ぶのを助けるために, 環境力学の勾配を役立てる, エンド・ツー・エンドの訓練ループに, 微分可能シミュレータを組み込む。
ダイナミクスにおけるパフォーマンスとノイズに対する堅牢性の大幅な改善と、全体としてより直感的なヒューマンライクな処理が見られます。
論文 参考訳(メタデータ) (2024-09-12T11:50:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。