論文の概要: Safety Enhancement for Deep Reinforcement Learning in Autonomous
Separation Assurance
- arxiv url: http://arxiv.org/abs/2105.02331v1
- Date: Wed, 5 May 2021 21:20:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-07 13:28:51.007081
- Title: Safety Enhancement for Deep Reinforcement Learning in Autonomous
Separation Assurance
- Title(参考訳): 自律的分離保証における深層強化学習の安全性向上
- Authors: Wei Guo, Marc Brittain, Peng Wei
- Abstract要約: 自律分離保証アプリケーションにおける深層強化学習(DRL)のための安全モジュールを提案する。
提案モジュールは、モデル不確実性と状態不確実性の両方に対処し、安全性を向上する。
環境設定が困難なオープンソースの航空交通シミュレータにおける2つのサブモジュールの有効性を実証する。
- 参考スコア(独自算出の注目度): 5.692513543867634
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The separation assurance task will be extremely challenging for air traffic
controllers in a complex and high density airspace environment. Deep
reinforcement learning (DRL) was used to develop an autonomous separation
assurance framework in our previous work where the learned model advised speed
maneuvers. In order to improve the safety of this model in unseen environments
with uncertainties, in this work we propose a safety module for DRL in
autonomous separation assurance applications. The proposed module directly
addresses both model uncertainty and state uncertainty to improve safety. Our
safety module consists of two sub-modules: (1) the state safety sub-module is
based on the execution-time data augmentation method to introduce state
disturbances in the model input state; (2) the model safety sub-module is a
Monte-Carlo dropout extension that learns the posterior distribution of the DRL
model policy. We demonstrate the effectiveness of the two sub-modules in an
open-source air traffic simulator with challenging environment settings.
Through extensive numerical experiments, our results show that the proposed
sub-safety modules help the DRL agent significantly improve its safety
performance in an autonomous separation assurance task.
- Abstract(参考訳): 分離保証タスクは、複雑で高密度の空域環境において、航空管制官にとって極めて困難である。
深部強化学習(DRL)は,学習モデルが速度操作を推奨するこれまでの作業において,自律的な分離保証フレームワークの開発に用いられた。
本研究では,不確実性のない環境でのこのモデルの安全性を向上させるために,自律的分離保証アプリケーションにおけるDRLの安全モジュールを提案する。
提案モジュールはモデル不確実性と状態不確実性の両方に対処して安全性を向上させる。
安全モジュールは2つのサブモジュールから構成されており、(1)状態安全サブモジュールは、モデル入力状態に状態障害を導入する実行時間データ拡張法に基づいており、(2)モデル安全サブモジュールは、drlモデルポリシーの後方分布を学習するモンテカルロドロップアウト拡張である。
環境設定が困難なオープンソースの航空交通シミュレータにおける2つのサブモジュールの有効性を実証する。
数値実験により,提案したサブセーフティモジュールは,自律的分離保証タスクにおいてDRLエージェントの安全性を著しく向上させることを示す。
関連論文リスト
- Modular Control Architecture for Safe Marine Navigation: Reinforcement
Learning and Predictive Safety Filters [0.0]
強化学習は複雑なシナリオに適応するためにますます使われていますが、安全性と安定性を保証するための標準フレームワークは欠如しています。
予測安全フィルタ(PSF)は、明示的な制約処理を伴わずに、学習ベースの制御における制約満足度を確保する、有望なソリューションを提供する。
この手法を海洋航法に適用し,シミュレーションされたCybership IIモデル上でRLとPSFを組み合わせた。
その結果, PSF が安全維持に有効であることは, RL エージェントの学習速度と性能を損なうことなく示され, PSF を使用せずに標準 RL エージェントに対して評価された。
論文 参考訳(メタデータ) (2023-12-04T12:37:54Z) - Safety-aware Causal Representation for Trustworthy Offline Reinforcement
Learning in Autonomous Driving [33.672722472758636]
オフライン強化学習(RL)アプローチは、オフラインデータセットからのシーケンシャルな意思決定問題に対処する上で、顕著な効果を示す。
一般化可能なエンドツーエンド駆動ポリシの学習を容易にするために,saFety-aware strUctured Scenario representation (Fusion)を導入した。
様々な運転シナリオにおける実証的な証拠は、フュージョンが自律運転エージェントの安全性と一般化性を著しく向上させることを証明している。
論文 参考訳(メタデータ) (2023-10-31T18:21:24Z) - Safe Deep Policy Adaptation [7.947120571256027]
強化学習(RL)に基づく政策適応は、汎用性と汎用性を提供するが、安全性と堅牢性に挑戦する。
政策適応と安全強化学習の課題を同時に解決する新しいRLおよび制御フレームワークであるSafeDPAを提案する。
我々は、SafeDPAの理論的安全性を保証し、学習エラーや余分な摂動に対するSafeDPAの堅牢性を示す。
論文 参考訳(メタデータ) (2023-10-08T00:32:59Z) - Approximate Model-Based Shielding for Safe Reinforcement Learning [83.55437924143615]
本稿では,学習したRLポリシーの性能を検証するための,原則的ルックアヘッド遮蔽アルゴリズムを提案する。
我々のアルゴリズムは他の遮蔽手法と異なり、システムの安全性関連力学の事前知識を必要としない。
我々は,国家依存型安全ラベルを持つアタリゲームにおいて,他の安全を意識したアプローチよりも優れた性能を示す。
論文 参考訳(メタデータ) (2023-07-27T15:19:45Z) - Safety Correction from Baseline: Towards the Risk-aware Policy in
Robotics via Dual-agent Reinforcement Learning [64.11013095004786]
本稿では,ベースラインと安全エージェントからなる二重エージェント型安全強化学習戦略を提案する。
このような分離されたフレームワークは、RLベースの制御に対して高い柔軟性、データ効率、リスク認識を可能にする。
提案手法は,難易度の高いロボットの移動・操作作業において,最先端の安全RLアルゴリズムより優れる。
論文 参考訳(メタデータ) (2022-12-14T03:11:25Z) - Evaluating Model-free Reinforcement Learning toward Safety-critical
Tasks [70.76757529955577]
本稿では、国家安全RLの観点から、この領域における先行研究を再考する。
安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。
この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
論文 参考訳(メタデータ) (2022-12-12T06:30:17Z) - Safe Model-Based Reinforcement Learning with an Uncertainty-Aware
Reachability Certificate [6.581362609037603]
我々は、DRCとそれに対応するシールドポリシーの制約を解決するために、安全な強化学習フレームワークを構築します。
また,シールドポリシを活用しつつ,安全性と高いリターンを同時に達成するためのラインサーチ手法も考案した。
論文 参考訳(メタデータ) (2022-10-14T06:16:53Z) - Safe Reinforcement Learning via Confidence-Based Filters [78.39359694273575]
我々は,標準的な強化学習技術を用いて学習した名目政策に対して,国家安全の制約を認定するための制御理論的アプローチを開発する。
我々は、正式な安全保証を提供し、我々のアプローチの有効性を実証的に実証する。
論文 参考訳(メタデータ) (2022-07-04T11:43:23Z) - Enhancing Safe Exploration Using Safety State Augmentation [71.00929878212382]
モデルフリー強化学習における安全な探索の課題に取り組む。
トレーニング中に安全予算をスケジューリングするためのポリシーを導出します。
Simmer はトレーニングを安定させ,安全RL の性能を平均的制約で向上させることができることを示す。
論文 参考訳(メタデータ) (2022-06-06T15:23:07Z) - Weakly Supervised Reinforcement Learning for Autonomous Highway Driving
via Virtual Safety Cages [42.57240271305088]
規則に基づく安全ケージは、車両の安全性の向上と強化学習エージェントに対する弱い監督を提供する自律型車両の縦方向制御に対する強化学習ベースのアプローチを提示する。
モデルパラメータが制約されたり,あるいは最適化されていない場合,モデルが強化学習だけでは運転を訓練できない場合でも,モデルが安全な運転方針を学習できることを示す。
論文 参考訳(メタデータ) (2021-03-17T15:30:36Z) - Cautious Adaptation For Reinforcement Learning in Safety-Critical
Settings [129.80279257258098]
都市運転のような現実の安全クリティカルな目標設定における強化学習(RL)は危険である。
非安全クリティカルな「ソース」環境でエージェントが最初に訓練する「安全クリティカル適応」タスクセットを提案する。
多様な環境における事前経験がリスクを見積もるためにエージェントに装備するという直感に基づくソリューションアプローチであるCARLを提案する。
論文 参考訳(メタデータ) (2020-08-15T01:40:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。