論文の概要: Constraints Satisfiability Driven Reinforcement Learning for Autonomous
Cyber Defense
- arxiv url: http://arxiv.org/abs/2104.08994v1
- Date: Mon, 19 Apr 2021 01:08:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-21 05:37:52.776550
- Title: Constraints Satisfiability Driven Reinforcement Learning for Autonomous
Cyber Defense
- Title(参考訳): 自律的サイバー防衛のための制約充足性強化学習
- Authors: Ashutosh Dutta, Ehab Al-Shaer, and Samrat Chatterjee
- Abstract要約: 強化学習(RL)の防御政策の最適化と検証を目的とした新しいハイブリッド自律エージェントアーキテクチャを紹介します。
我々は、安全かつ効果的な行動に向けてRL決定を操るために、制約検証(SMT(Satisfiability modulo theory))を用いる。
シミュレーションCPS環境における提案手法の評価は,エージェントが最適方針を迅速に学習し,99%のケースで多種多様な攻撃戦略を破ることを示す。
- 参考スコア(独自算出の注目度): 7.321728608775741
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the increasing system complexity and attack sophistication, the
necessity of autonomous cyber defense becomes vivid for cyber and
cyber-physical systems (CPSs). Many existing frameworks in the current
state-of-the-art either rely on static models with unrealistic assumptions, or
fail to satisfy the system safety and security requirements. In this paper, we
present a new hybrid autonomous agent architecture that aims to optimize and
verify defense policies of reinforcement learning (RL) by incorporating
constraints verification (using satisfiability modulo theory (SMT)) into the
agent's decision loop. The incorporation of SMT does not only ensure the
satisfiability of safety and security requirements, but also provides constant
feedback to steer the RL decision-making toward safe and effective actions.
This approach is critically needed for CPSs that exhibit high risk due to
safety or security violations. Our evaluation of the presented approach in a
simulated CPS environment shows that the agent learns the optimal policy fast
and defeats diversified attack strategies in 99\% cases.
- Abstract(参考訳): システムの複雑さの増大と高度な攻撃により、自律的なサイバー防御の必要性はサイバーおよびサイバー物理システム(CPS)にとって鮮明なものとなる。
現在の最先端の既存のフレームワークの多くは、非現実的な仮定を持つ静的モデルに依存するか、システムの安全性とセキュリティ要件を満たすことができない。
本稿では,エージェントの判断ループに制約検証(SMT)を組み込むことにより,強化学習(RL)の防御方針を最適化し,検証することを目的とした,ハイブリッド自律エージェントアーキテクチャを提案する。
SMTの組織化は、安全性とセキュリティ要件の満足度を確保するだけでなく、安全かつ効果的な行動に向けたRL意思決定を常にフィードバックする。
このアプローチは、安全性やセキュリティ違反によるリスクの高いCPSに対して、極めて必要である。
シミュレーションCPS環境における提案手法の評価は, エージェントが最適方針を迅速に学習し, 99\%のケースで多種多様な攻撃戦略を破ることを示す。
関連論文リスト
- Modular Control Architecture for Safe Marine Navigation: Reinforcement
Learning and Predictive Safety Filters [0.0]
強化学習は複雑なシナリオに適応するためにますます使われていますが、安全性と安定性を保証するための標準フレームワークは欠如しています。
予測安全フィルタ(PSF)は、明示的な制約処理を伴わずに、学習ベースの制御における制約満足度を確保する、有望なソリューションを提供する。
この手法を海洋航法に適用し,シミュレーションされたCybership IIモデル上でRLとPSFを組み合わせた。
その結果, PSF が安全維持に有効であることは, RL エージェントの学習速度と性能を損なうことなく示され, PSF を使用せずに標準 RL エージェントに対して評価された。
論文 参考訳(メタデータ) (2023-12-04T12:37:54Z) - Safe Deep Policy Adaptation [7.947120571256027]
強化学習(RL)に基づく政策適応は、汎用性と汎用性を提供するが、安全性と堅牢性に挑戦する。
政策適応と安全強化学習の課題を同時に解決する新しいRLおよび制御フレームワークであるSafeDPAを提案する。
我々は、SafeDPAの理論的安全性を保証し、学習エラーや余分な摂動に対するSafeDPAの堅牢性を示す。
論文 参考訳(メタデータ) (2023-10-08T00:32:59Z) - Approximate Model-Based Shielding for Safe Reinforcement Learning [83.55437924143615]
本稿では,学習したRLポリシーの性能を検証するための,原則的ルックアヘッド遮蔽アルゴリズムを提案する。
我々のアルゴリズムは他の遮蔽手法と異なり、システムの安全性関連力学の事前知識を必要としない。
我々は,国家依存型安全ラベルを持つアタリゲームにおいて,他の安全を意識したアプローチよりも優れた性能を示す。
論文 参考訳(メタデータ) (2023-07-27T15:19:45Z) - Safety Correction from Baseline: Towards the Risk-aware Policy in
Robotics via Dual-agent Reinforcement Learning [64.11013095004786]
本稿では,ベースラインと安全エージェントからなる二重エージェント型安全強化学習戦略を提案する。
このような分離されたフレームワークは、RLベースの制御に対して高い柔軟性、データ効率、リスク認識を可能にする。
提案手法は,難易度の高いロボットの移動・操作作業において,最先端の安全RLアルゴリズムより優れる。
論文 参考訳(メタデータ) (2022-12-14T03:11:25Z) - Evaluating Model-free Reinforcement Learning toward Safety-critical
Tasks [70.76757529955577]
本稿では、国家安全RLの観点から、この領域における先行研究を再考する。
安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。
この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
論文 参考訳(メタデータ) (2022-12-12T06:30:17Z) - Safe Model-Based Reinforcement Learning with an Uncertainty-Aware
Reachability Certificate [6.581362609037603]
我々は、DRCとそれに対応するシールドポリシーの制約を解決するために、安全な強化学習フレームワークを構築します。
また,シールドポリシを活用しつつ,安全性と高いリターンを同時に達成するためのラインサーチ手法も考案した。
論文 参考訳(メタデータ) (2022-10-14T06:16:53Z) - Recursively Feasible Probabilistic Safe Online Learning with Control
Barrier Functions [63.18590014127461]
本稿では,CBFをベースとした安全クリティカルコントローラのモデル不確実性を考慮した再構成を提案する。
本研究では,ロバストな安全クリティカルコントローラの実現可能性について検討する。
次に、これらの条件を使って、イベントトリガーによるオンラインデータ収集戦略を考案します。
論文 参考訳(メタデータ) (2022-08-23T05:02:09Z) - Safe Reinforcement Learning via Confidence-Based Filters [78.39359694273575]
我々は,標準的な強化学習技術を用いて学習した名目政策に対して,国家安全の制約を認定するための制御理論的アプローチを開発する。
我々は、正式な安全保証を提供し、我々のアプローチの有効性を実証的に実証する。
論文 参考訳(メタデータ) (2022-07-04T11:43:23Z) - Reinforcement Learning for Feedback-Enabled Cyber Resilience [24.92055101652206]
サイバーレジリエンスは、不適切な保護とレジリエンスメカニズムを補完する新しいセキュリティパラダイムを提供する。
CRM(Cyber-Resilient Mechanism)は、既知の、あるいはゼロデイの脅威や、リアルタイムでの不確実性に適応するメカニズムである。
サイバーレジリエンスに関するRLに関する文献をレビューし、3つの主要な脆弱性に対するサイバーレジリエンスの防御について論じる。
論文 参考訳(メタデータ) (2021-07-02T01:08:45Z) - Safe RAN control: A Symbolic Reinforcement Learning Approach [62.997667081978825]
本稿では,無線アクセスネットワーク(RAN)アプリケーションの安全管理のためのシンボル強化学習(SRL)アーキテクチャを提案する。
我々は、ユーザが所定のセルネットワークトポロジに対して高レベルの論理的安全性仕様を指定できる純粋に自動化された手順を提供する。
ユーザがシステムに意図仕様を設定するのを支援するために開発されたユーザインターフェース(UI)を導入し、提案するエージェントの動作の違いを検査する。
論文 参考訳(メタデータ) (2021-06-03T16:45:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。