論文の概要: Towards Scalable Verification of RL-Driven Systems
- arxiv url: http://arxiv.org/abs/2105.11931v1
- Date: Tue, 25 May 2021 13:34:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-26 13:38:43.928062
- Title: Towards Scalable Verification of RL-Driven Systems
- Title(参考訳): RL駆動システムのスケーラブルな検証に向けて
- Authors: Guy Amir, Michael Schapira and Guy Katz
- Abstract要約: whiRL 2.0は、深層強化学習システムにおいて、興味のある複雑な特性を検証するための新しいアプローチを実装するツールである。
提案手法がDRLシステムの内部動作と一般化可能性に関する洞察をいかに提供するかを示す。
- 参考スコア(独自算出の注目度): 4.984294363450854
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks (DNNs) have gained significant popularity in recent
years, becoming the state of the art in a variety of domains. In particular,
deep reinforcement learning (DRL) has recently been employed to train DNNs that
act as control policies for various types of real-world systems. In this work,
we present the whiRL 2.0 tool, which implements a new approach for verifying
complex properties of interest for such DRL systems. To demonstrate the
benefits of whiRL 2.0, we apply it to case studies from the communication
networks domain that have recently been used to motivate formal verification of
DRL systems, and which exhibit characteristics that are conducive for scalable
verification. We propose techniques for performing k-induction and automated
invariant inference on such systems, and use these techniques for proving
safety and liveness properties of interest that were previously impossible to
verify due to the scalability barriers of prior approaches. Furthermore, we
show how our proposed techniques provide insights into the inner workings and
the generalizability of DRL systems. whiRL 2.0 is publicly available online.
- Abstract(参考訳): 近年、ディープニューラルネットワーク(DNN)は大きな人気を集め、さまざまな領域で最先端の最先端技術となっている。
特に,多種多様な現実世界システムの制御ポリシとして機能するDNNの訓練には,最近DRLが採用されている。
本稿では,DRLシステムの複雑な特性を検証するための新しい手法である whiRL 2.0 ツールを提案する。
DRLシステムの形式的検証の動機付けに最近用いられている通信ネットワーク領域のケーススタディにWhiRL 2.0の利点を応用し,拡張性のある検証が可能な特性を示す。
このようなシステム上でk-インダクションと自動不変推論を行う手法を提案し、これらの手法を用いて従来の手法のスケーラビリティ障壁により検証が不可能であった利害の安全性と生存性を証明する。
さらに,本提案手法がDRLシステムの内部動作と一般化可能性について考察する。
whiRL 2.0はオンラインで公開されている。
関連論文リスト
- Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。
このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。
本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
論文 参考訳(メタデータ) (2024-02-07T21:58:40Z) - DRL-GAN: A Hybrid Approach for Binary and Multiclass Network Intrusion
Detection [2.7122540465034106]
侵入検知システム(IDS)は、これらの攻撃を検出するための重要なセキュリティ技術である。
本稿では,GAN(Generative Adversarial Network)が生成した合成データを用いて,深層強化学習(DRL)モデルの入力として用いる新しいハイブリッド手法を提案する。
その結果,DRLを特定の合成データセット上でトレーニングすると,真の不均衡データセット上でのトレーニングよりも,マイノリティクラスを正しく分類する方が優れた性能が得られることがわかった。
論文 参考訳(メタデータ) (2023-01-05T19:51:24Z) - A Comprehensive Survey of Data Augmentation in Visual Reinforcement
Learning [68.63738119131888]
データ拡張(DA)は、サンプル効率と一般化可能なポリシーを取得するために視覚的RLで広く使われている技術である。
本稿では、視覚的RLで使用されている既存の拡張技法の原則的な分類法を提案し、拡張データをどのように活用するかを詳細に議論する。
視覚的RLにおけるDAに関する最初の総合的な調査として、この研究は、この新興分野に貴重なガイダンスを提供するものと期待されている。
論文 参考訳(メタデータ) (2022-10-10T11:01:57Z) - Verifying Learning-Based Robotic Navigation Systems [61.01217374879221]
有効モデル選択に現代検証エンジンをどのように利用できるかを示す。
具体的には、検証を使用して、最適下行動を示す可能性のあるポリシーを検出し、除外する。
我々の研究は、現実世界のロボットにおける準最適DRLポリシーを認識するための検証バックエンドの使用を初めて実証したものである。
論文 参考訳(メタデータ) (2022-05-26T17:56:43Z) - A Survey on Offline Reinforcement Learning: Taxonomy, Review, and Open
Problems [0.0]
強化学習(RL)は、急速に人気が高まっている。
高いコストと環境との相互作用の危険性のため、RLにはアクセスできない領域がまだ広い範囲にある。
オフラインRLは、以前に収集されたインタラクションの静的データセットからのみ学習するパラダイムである。
論文 参考訳(メタデータ) (2022-03-02T20:05:11Z) - Federated Deep Reinforcement Learning for the Distributed Control of
NextG Wireless Networks [16.12495409295754]
次世代(NextG)ネットワークは、拡張現実(AR)やコネクテッド・自律走行車といった、インターネットの触覚を必要とするアプリケーションをサポートすることが期待されている。
データ駆動アプローチは、現在の運用条件に適応するネットワークの能力を改善することができる。
深部RL(DRL)は複雑な環境においても良好な性能を発揮することが示されている。
論文 参考訳(メタデータ) (2021-12-07T03:13:20Z) - Pessimistic Model Selection for Offline Deep Reinforcement Learning [56.282483586473816]
深層強化学習(DRL)は多くのアプリケーションにおいてシーケンシャルな意思決定問題を解決する大きな可能性を示している。
主要な障壁の1つは、DRLが学んだ政策の一般化性の低下につながる過度に適合する問題である。
理論的保証のあるオフラインDRLに対する悲観的モデル選択(PMS)手法を提案する。
論文 参考訳(メタデータ) (2021-11-29T06:29:49Z) - Learning on Abstract Domains: A New Approach for Verifiable Guarantee in
Reinforcement Learning [9.428825075908131]
有限抽象領域上でDRLシステムを学習するための抽象的アプローチを提案する。
入力状態が有限なニューラルネットワークを生成し、ホスティングDRLシステムが直接検証可能である。
論文 参考訳(メタデータ) (2021-06-13T06:28:40Z) - RL-DARTS: Differentiable Architecture Search for Reinforcement Learning [62.95469460505922]
我々は、強化学習(RL)における微分可能なアーキテクチャ探索(DARTS)の最初の応用の1つであるRL-DARTSを紹介する。
画像エンコーダをDARTSスーパーネットに置き換えることにより、検索方法はサンプリング効率が高く、余分な計算資源が最小限必要であり、また、既存のコードに小さな変更を加える必要がなく、オフ・ポリティクスとオン・ポリティクスのRLアルゴリズムとも互換性がある。
スーパーネットはより優れたセルを徐々に学習し、手作業で設計したポリシーに対して高い競争力を持つ代替アーキテクチャへとつながり、RLポリシーの以前の設計選択も検証できることを示す。
論文 参考訳(メタデータ) (2021-06-04T03:08:43Z) - Dynamics Generalization via Information Bottleneck in Deep Reinforcement
Learning [90.93035276307239]
本稿では,RLエージェントのより優れた一般化を実現するために,情報理論正則化目標とアニーリングに基づく最適化手法を提案する。
迷路ナビゲーションからロボットタスクまで、さまざまな領域において、我々のアプローチの極端な一般化の利点を実証する。
この研究は、タスク解決のために冗長な情報を徐々に取り除き、RLの一般化を改善するための原則化された方法を提供する。
論文 参考訳(メタデータ) (2020-08-03T02:24:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。