論文の概要: Explainable and Safe Reinforcement Learning for Autonomous Air Mobility

• arxiv url: http://arxiv.org/abs/2211.13474v1
• Date: Thu, 24 Nov 2022 08:47:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-28 15:44:34.396815
• Title: Explainable and Safe Reinforcement Learning for Autonomous Air Mobility
• Title（参考訳）: 自律空気移動のための説明可能な安全強化学習
• Authors: Lei Wang, Hongyu Yang, Yi Lin, Suwan Yin, Yuankai Wu
• Abstract要約: 本稿では,自律飛行におけるコンフリクト解決を支援するために,新しい深部強化学習(DRL)コントローラを提案する。 1) 結合したQ値学習モデルを安全意識と効率性(目標に到達)に分解する,完全に説明可能なDRLフレームワークを設計する。 また,安全指向攻撃と効率指向攻撃の両方を強制できる敵攻撃戦略を提案する。
• 参考スコア（独自算出の注目度）: 13.038383326602764
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Increasing traffic demands, higher levels of automation, and communication enhancements provide novel design opportunities for future air traffic controllers (ATCs). This article presents a novel deep reinforcement learning (DRL) controller to aid conflict resolution for autonomous free flight. Although DRL has achieved important advancements in this field, the existing works pay little attention to the explainability and safety issues related to DRL controllers, particularly the safety under adversarial attacks. To address those two issues, we design a fully explainable DRL framework wherein we: 1) decompose the coupled Q value learning model into a safety-awareness and efficiency (reach the target) one; and 2) use information from surrounding intruders as inputs, eliminating the needs of central controllers. In our simulated experiments, we show that by decoupling the safety-awareness and efficiency, we can exceed performance on free flight control tasks while dramatically improving explainability on practical. In addition, the safety Q learning module provides rich information about the safety situation of environments. To study the safety under adversarial attacks, we additionally propose an adversarial attack strategy that can impose both safety-oriented and efficiency-oriented attacks. The adversarial aims to minimize safety/efficiency by only attacking the agent at a few time steps. In the experiments, our attack strategy increases as many collisions as the uniform attack (i.e., attacking at every time step) by only attacking the agent four times less often, which provide insights into the capabilities and restrictions of the DRL in future ATC designs. The source code is publicly available at https://github.com/WLeiiiii/Gym-ATC-Attack-Project.
• Abstract（参考訳）: 交通需要の増加、高レベルの自動化、通信強化は、将来の航空管制(atc)に新しい設計機会を提供する。 本稿では,自律飛行のためのコンフリクト解決を支援する新しい深層強化学習(drl)コントローラを提案する。 DRLはこの分野で重要な進歩を遂げているが、既存の研究はDRLコントローラに関する説明可能性や安全性の問題、特に敵攻撃時の安全性にはほとんど注意を払っていない。 これら2つの問題に対処するため、我々は完全な説明可能なDRLフレームワークを設計した。 1)結合したQ値学習モデルを、安全性と効率性(目標の達成)に分解する。 2) 周囲の侵入者からの情報を入力とし、中央制御装置の必要性をなくす。 シミュレーション実験では,安全性と効率を分離することで,実用上の説明性を劇的に改善しながら,自由飛行制御タスクの性能を超越できることを示した。 さらに、safety q learningモジュールは、環境の安全状況に関する豊富な情報を提供する。 対向攻撃における安全性を検討するため,我々はさらに,安全指向と効率指向の両方の攻撃を課すことができる対向攻撃戦略を提案する。 敵は、エージェントを数ステップで攻撃するだけで、安全性と効率を最小化する。 実験では, エージェントの攻撃頻度を4倍に抑えることで, 均一攻撃(すなわち, 毎回攻撃)と同じくらい多くの衝突が増加し, 将来のATC設計におけるDRLの能力と制限に関する知見が得られる。 ソースコードはhttps://github.com/WLeiiiii/Gym-ATC-Attack-Projectで公開されている。

関連論文リスト

• Defining and Evaluating Physical Safety for Large Language Models [62.4971588282174]
  大型言語モデル (LLM) は、ドローンのようなロボットシステムを制御するためにますます使われている。 現実世界のアプリケーションに物理的な脅威や害をもたらすリスクは、まだ解明されていない。 我々は,ドローンの物理的安全性リスクを,(1)目標脅威,(2)目標脅威,(3)インフラ攻撃,(4)規制違反の4つのカテゴリに分類する。
  論文  参考訳（メタデータ） (2024-11-04T17:41:25Z)
• Intercepting Unauthorized Aerial Robots in Controlled Airspace Using Reinforcement Learning [2.519319150166215]
  制御空域における無人航空機(UAV)の増殖は重大なリスクをもたらす。 この作業は、強化学習(RL)を用いることで、そのような脅威を管理することのできる堅牢で適応的なシステムの必要性に対処する。 固定翼UAV追跡エージェントの訓練にRLを用いる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-09T14:45:47Z)
• A Multiplicative Value Function for Safe and Efficient Reinforcement Learning [131.96501469927733]
  本稿では,安全評論家と報酬評論家からなる新しい乗法値関数を持つモデルフリーRLアルゴリズムを提案する。 安全評論家は、制約違反の確率を予測し、制限のないリターンのみを見積もる報酬批評家を割引する。 安全制約を付加した古典的RLベンチマークや、画像を用いたロボットナビゲーションタスク、生のライダースキャンを観察する4つの環境において、本手法の評価を行った。
  論文  参考訳（メタデータ） (2023-03-07T18:29:15Z)
• Safety Correction from Baseline: Towards the Risk-aware Policy in Robotics via Dual-agent Reinforcement Learning [64.11013095004786]
  本稿では,ベースラインと安全エージェントからなる二重エージェント型安全強化学習戦略を提案する。 このような分離されたフレームワークは、RLベースの制御に対して高い柔軟性、データ効率、リスク認識を可能にする。 提案手法は,難易度の高いロボットの移動・操作作業において,最先端の安全RLアルゴリズムより優れる。
  論文  参考訳（メタデータ） (2022-12-14T03:11:25Z)
• Safe Reinforcement Learning using Data-Driven Predictive Control [0.5459797813771499]
  安全でない動作のフィルタとして機能するデータ駆動型安全層を提案する。 安全層は、提案されたアクションが安全でない場合にRLエージェントをペナルティ化し、最も安全なものに置き換える。 本手法は,ロボットナビゲーション問題において,最先端の安全RL法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-20T17:10:40Z)
• SAFER: Safe Collision Avoidance using Focused and Efficient Trajectory Search with Reinforcement Learning [34.934606949086096]
  本稿では,効率的な衝突回避システムSAFERを提案する。 現実世界の強化学習(RL)、検索ベースのオンライン軌道計画、自動緊急介入を組み合わせる。 実世界の実験では、いくつかのベースラインと比較して、我々のアプローチは平均速度を高くし、クラッシュ率を低くし、緊急介入を少なくし、オーバーヘッドを小さくし、全体的な制御をスムーズにしている。
  論文  参考訳（メタデータ） (2022-09-23T18:08:08Z)
• Fixed Points in Cyber Space: Rethinking Optimal Evasion Attacks in the Age of AI-NIDS [70.60975663021952]
  ネットワーク分類器に対するブラックボックス攻撃について検討する。 我々は、アタッカー・ディフェンダーの固定点がそれ自体、複雑な位相遷移を持つ一般サムゲームであると主張する。 攻撃防御力学の研究には連続的な学習手法が必要であることを示す。
  論文  参考訳（メタデータ） (2021-11-23T23:42:16Z)
• Learning to be Safe: Deep RL with a Safety Critic [72.00568333130391]
  安全なRLへの自然な第一のアプローチは、ポリシーの動作に関する制約を手動で指定することである。 我々は,タスクと環境の1つのセットで安全であることを学習し,その学習した直観を用いて将来の行動を制限することを提案する。
  論文  参考訳（メタデータ） (2020-10-27T20:53:20Z)
• Dirty Road Can Attack: Security of Deep Learning based Automated Lane Centering under Physical-World Attack [38.3805893581568]
  本研究では,物理世界の敵対的攻撃下での最先端のディープラーニングに基づくALCシステムの安全性について検討する。 安全クリティカルな攻撃目標と、新しいドメイン固有の攻撃ベクトル、汚い道路パッチで問題を定式化する。 実世界の走行トレースから80のシナリオを用いて実運用ALCに対する攻撃を評価した。
  論文  参考訳（メタデータ） (2020-09-14T19:22:39Z)
• Cautious Adaptation For Reinforcement Learning in Safety-Critical Settings [129.80279257258098]
  都市運転のような現実の安全クリティカルな目標設定における強化学習(RL)は危険である。 非安全クリティカルな「ソース」環境でエージェントが最初に訓練する「安全クリティカル適応」タスクセットを提案する。 多様な環境における事前経験がリスクを見積もるためにエージェントに装備するという直感に基づくソリューションアプローチであるCARLを提案する。
  論文  参考訳（メタデータ） (2020-08-15T01:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。