論文の概要: Curriculum-Based Adversarial Heterogeneous Agent Reinforcement Learning for Autonomous Quad-Copter Landing in Maritime Settings

• arxiv url: http://arxiv.org/abs/2609.12758v1
• Date: Fri, 11 Sep 2026 12:09:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.737101
• Title: Curriculum-Based Adversarial Heterogeneous Agent Reinforcement Learning for Autonomous Quad-Copter Landing in Maritime Settings
• Title（参考訳）: 海洋環境における自律クアッドコプター着陸のためのカリキュラムベース逆不均質エージェント強化学習
• Abstract要約: 船舶搭載ロボットアームによる4軸UAVの空中捕獲をシミュレーションした。 我々は,不均一な政策最適化強化学習を用いて,ロバストな協調制御政策を学習する。 逆行訓練された政策は、より慎重な行動を示し、わずかにタイムアウトを3%増加させるが、重度で見当たらない状況下では、より安全な回復行動をもたらす。
• 参考スコア（独自算出の注目度）: 0.6524460254566904
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recovering unmanned aerial vehicles (UAVs) in maritime environments is challenging due to wind turbulence and ship-deck motion, making it a valuable test case for alternative control and learning approaches as conventional landing approaches often become unreliable. We study simulated mid-air capture of quadrotor UAVs by a ship-mounted robotic arm, learning robust cooperative control policies with Heterogeneous-Agent Proximal Policy Optimization (HAPPO) Reinforcement Learning. We train with HAPPO using a curriculum and an adversarial wind agent (HARL-AC) in NVIDIA Isaac Lab, and compare the obtained control policies against those generated through curriculum-based domain randomization and a benchmark trained on a single sea state. In-distribution evaluation on sea states $0/4/5$ shows comparable success for HARL-AC and domain randomization of up to $97.5\%$. On out-of-distribution sea states $7/8/10$, HARL-AC generalizes better, achieving up to $16\%$ higher median success rate at sea state 10, and substantially lower crash rates of up to $14\%$ compared to the domain randomization policy. Furthermore, we show that the adversarially trained policy shows more cautious behavior, slightly increasing timeouts by $<3\%$, but yields safer recovery behavior in severe, unseen conditions.
• Abstract（参考訳）: 海上環境下で無人航空機(UAV)を回収することは、風の乱流と船底運動のために困難であり、従来の着陸アプローチが信頼できない場合が多いため、代替の制御と学習アプローチにとって貴重なテストケースとなる。 本研究では, 船舶搭載ロボットアームによる四極子UAVの空中捕獲をシミュレーションし, 異種親和性政策最適化(HAPPO)強化学習を用いてロバストな協調制御政策を学習する。 我々は、NVIDIA Isaac Labのカリキュラムと逆風エージェント(HARL-AC)を用いてHAPPOを訓練し、カリキュラムベースのドメインランダム化と1つの海の状態で訓練されたベンチマークによって生成されたものに対する制御ポリシーを比較した。 0/4/5$の海面における分布評価は、HARL-ACとドメインランダム化の97.5\%$に匹敵する成功を示している。 アウト・オブ・ディストリビューション・シーステートの7/8/10$では、HARL-ACはより一般化され、最大16\%の中央値成功率とドメインのランダム化ポリシーと比較して14\%のクラッシュ率を実現している。 さらに, 逆行訓練された政策は, より慎重な行動を示し, タイムアウトをわずかに$<3\%$増加させるが, 重度で不明瞭な条件下では, より安全な回復行動をもたらすことを示した。

関連論文リスト

• Counterfactual Shapley Credit Assignment [49.39649767581182]
  クレディ・アサインメント・問題(CAP)は、効率的かつ説明可能な強化学習(RL)エージェントを開発するための基礎である。 対実共有($-value)を通じて信用と責任を判断する新しい枠組みである対実共有($-value)を導入する。 我々は、$$-valuesを計算し、優先順位付き軌道再生(PTR)と組み合わせた新しいポリシーメソッドのクラス$-PPOを可能にする一貫した推定器を導出する。
  論文  参考訳（メタデータ） (2026-07-18T23:28:20Z)
• From Attacks to Curricula: Learnability-Guided Adversarial Training for Safe Autonomous Driving [56.30087557121323]
  AlignADVは学習性誘導型クローズドループ対向トレーニングフレームワークである。 敵のシナリオを解決可能で能力に整合したカリキュラムに変換する。 実験の結果、最大40.6%のトレーニングステップが短縮された。
  論文  参考訳（メタデータ） (2026-06-12T02:13:55Z)
• Safety-Constrained Reinforcement Learning with Post-Training Reachability Verification for Robot Navigation [13.151825012034886]
  本稿では,外部のTD3バックボーン上での条件付きバリュー・アット・リスク(CVaR)制約による最適化を通じて,リスクに敏感なポリシをトレーニングするフレームワークを提案する。 トレーニング中、このポリシーは累積コストに対するCVaR制約の下で最適化され、高コストテール結果に対する感受性が促進される。 重要な発見は、CVaR制約で訓練されたポリシーが、評価された状態の障害からより大きな安全マージンを維持することである。
  論文  参考訳（メタデータ） (2026-05-13T22:53:47Z)
• Learning When to Act: Communication-Efficient Reinforcement Learning via Run-Time Assurance [0.27998963147546146]
  Lyapunov の安全性保護の下で制御入力と通信効率のタイミング決定を単一ポリシで学習できることが示される。 実行時保証層は、1ステップのリアプノフ予測と事前計算されたLQRバックアップを介してポリシーをオーバーライドする。 12-state 3D quadrotor のケーススタディでは、古典的な STC が難解な高次元システムにフレームワークを拡張している。
  論文  参考訳（メタデータ） (2026-05-11T23:55:15Z)
• Robust Multi-Agent Reinforcement Learning for Small UAS Separation Assurance under GPS Degradation and Spoofing [21.870113057418447]
  小型無人航空機システム(sUAS)のGPS劣化とスプーフィング下でのロバストな分離保証について検討する。 この式は,2次精度で,真に最悪の逆方向の摂動を近似することを示す。 高密度sUASシミュレーションでは, 破壊レベルが最大35%に達するとほぼゼロに近い衝突速度が観測され, 対向的摂動を伴わない基本方針よりも優れていた。
  論文  参考訳（メタデータ） (2026-03-30T18:26:59Z)
• Autonomous UAV Flight Navigation in Confined Spaces: A Reinforcement Learning Approach [0.6533458718563319]
  オフ・ポリティクスの手法は、高価で安全でない現実世界の微調整を最小化するための重要な特徴である、高いサンプル効率を約束する。 オン・ポリティクス法は、しばしばより優れた訓練安定性を示すが、これはハザード・センス環境における信頼性の高い収束に不可欠である。 この研究は、高精度で安全クリティカルなナビゲーションタスクにおいて、確立されたオン・ポリティクスの信頼性の高い収束は、オフ・ポリティック・アルゴリズムの特異なサンプル効率よりも決定的であることを示す。
  論文  参考訳（メタデータ） (2025-08-22T21:29:59Z)
• Redistributing Rewards Across Time and Agents for Multi-Agent Reinforcement Learning [14.852334980733369]
  共用型マルチエージェント強化学習において、各エージェントの共用報酬への貢献を阻害する信用割り当ては重要な課題である。 本稿では、この制約から信用モデリングを分離するアプローチであるTAR(Temporal-Agent Reward Redistribution)を導入する。 本手法は,モデル精度によらず最適ポリシーが維持されることを保証するPBRSと等価であることを示す。
  論文  参考訳（メタデータ） (2025-02-07T12:07:57Z)
• Confidence-Controlled Exploration: Efficient Sparse-Reward Policy Learning for Robot Navigation [72.24964965882783]
  強化学習(RL)はロボットナビゲーションにおいて有望なアプローチであり、ロボットは試行錯誤を通じて学習することができる。 現実世界のロボットタスクは、しばしばまばらな報酬に悩まされ、非効率な探索と準最適政策に繋がる。 本稿では,RLに基づくロボットナビゲーションにおいて,報酬関数を変更せずにサンプル効率を向上させる新しい手法であるConfidence-Controlled Exploration (CCE)を紹介する。
  論文  参考訳（メタデータ） (2023-06-09T18:45:15Z)
• Distributional Reward Estimation for Effective Multi-Agent Deep Reinforcement Learning [19.788336796981685]
  実効的マルチエージェント強化学習(DRE-MARL)のための分散逆推定フレームワークを提案する。 本研究の目的は,安定トレーニングのための多行動分岐報酬推定と政策重み付け報酬アグリゲーションを設計することである。 DRE-MARLの優位性は,有効性とロバスト性の両方の観点から,SOTAベースラインと比較して,ベンチマークマルチエージェントシナリオを用いて実証される。
  論文  参考訳（メタデータ） (2022-10-14T08:31:45Z)
• Robust Reinforcement Learning on State Observations with Learned Optimal Adversary [86.0846119254031]
  逆摂動状態観測による強化学習の堅牢性について検討した。 固定されたエージェントポリシーでは、摂動状態の観測に最適な敵を見つけることができる。 DRLの設定では、これは以前のものよりもはるかに強い学習された敵対を介してRLエージェントに新しい経験的敵対攻撃につながります。
  論文  参考訳（メタデータ） (2021-01-21T05:38:52Z)
• Conservative Safety Critics for Exploration [120.73241848565449]
  強化学習(RL)における安全な探索の課題について検討する。 我々は、批評家を通じて環境状態の保守的な安全性推定を学習する。 提案手法は,破滅的故障率を著しく低く抑えながら,競争力のあるタスク性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2020-10-27T17:54:25Z)
• Robust Deep Reinforcement Learning through Adversarial Loss [74.20501663956604]
  近年の研究では、深層強化学習剤は、エージェントの入力に対する小さな逆方向の摂動に弱いことが示されている。 敵攻撃に対する堅牢性を向上した強化学習エージェントを訓練するための原則的フレームワークであるRADIAL-RLを提案する。
  論文  参考訳（メタデータ） (2020-08-05T07:49:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。