論文の概要: Towards Scalable Verification of RL-Driven Systems

• arxiv url: http://arxiv.org/abs/2105.11931v1
• Date: Tue, 25 May 2021 13:34:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-26 13:38:43.928062
• Title: Towards Scalable Verification of RL-Driven Systems
• Title（参考訳）: RL駆動システムのスケーラブルな検証に向けて
• Authors: Guy Amir, Michael Schapira and Guy Katz
• Abstract要約: whiRL 2.0は、深層強化学習システムにおいて、興味のある複雑な特性を検証するための新しいアプローチを実装するツールである。 提案手法がDRLシステムの内部動作と一般化可能性に関する洞察をいかに提供するかを示す。
• 参考スコア（独自算出の注目度）: 4.984294363450854
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNNs) have gained significant popularity in recent years, becoming the state of the art in a variety of domains. In particular, deep reinforcement learning (DRL) has recently been employed to train DNNs that act as control policies for various types of real-world systems. In this work, we present the whiRL 2.0 tool, which implements a new approach for verifying complex properties of interest for such DRL systems. To demonstrate the benefits of whiRL 2.0, we apply it to case studies from the communication networks domain that have recently been used to motivate formal verification of DRL systems, and which exhibit characteristics that are conducive for scalable verification. We propose techniques for performing k-induction and automated invariant inference on such systems, and use these techniques for proving safety and liveness properties of interest that were previously impossible to verify due to the scalability barriers of prior approaches. Furthermore, we show how our proposed techniques provide insights into the inner workings and the generalizability of DRL systems. whiRL 2.0 is publicly available online.
• Abstract（参考訳）: 近年、ディープニューラルネットワーク(DNN)は大きな人気を集め、さまざまな領域で最先端の最先端技術となっている。 特に,多種多様な現実世界システムの制御ポリシとして機能するDNNの訓練には,最近DRLが採用されている。 本稿では,DRLシステムの複雑な特性を検証するための新しい手法である whiRL 2.0 ツールを提案する。 DRLシステムの形式的検証の動機付けに最近用いられている通信ネットワーク領域のケーススタディにWhiRL 2.0の利点を応用し,拡張性のある検証が可能な特性を示す。 このようなシステム上でk-インダクションと自動不変推論を行う手法を提案し、これらの手法を用いて従来の手法のスケーラビリティ障壁により検証が不可能であった利害の安全性と生存性を証明する。 さらに,本提案手法がDRLシステムの内部動作と一般化可能性について考察する。 whiRL 2.0はオンラインで公開されている。

関連論文リスト

• ODRL: A Benchmark for Off-Dynamics Reinforcement Learning [59.72217833812439]
  我々は、オフダイナミックスRL法を評価するための最初のベンチマークであるODRLを紹介する。 ODRLには、4つの実験的な設定が含まれており、ソースドメインとターゲットドメインはオンラインまたはオフラインにすることができる。 我々は、様々な力学シフトにまたがる普遍的な優位性を持つ手法が存在しないことを示す広範なベンチマーク実験を行った。
  論文  参考訳（メタデータ） (2024-10-28T05:29:38Z)
• A Survey for Deep Reinforcement Learning Based Network Intrusion Detection [3.493620624883548]
  本稿では,ネットワーク侵入検出における深部強化学習(DRL)の可能性と課題について考察する。 DRLモデルの性能は分析され、DRLは将来性を持っているが、近年の多くの技術は未解明のままである。 この論文は、現実世界のネットワークシナリオにおけるDRLの展開とテストを強化するための推奨事項で締めくくっている。
  論文  参考訳（メタデータ） (2024-09-25T13:39:30Z)
• D5RL: Diverse Datasets for Data-Driven Deep Reinforcement Learning [99.33607114541861]
  ロボット操作と移動環境の現実的なシミュレーションに焦点を当てたオフラインRLのための新しいベンチマークを提案する。 提案するベンチマークでは、状態ベースドメインと画像ベースドメインを対象とし、オフラインRLとオンライン微調整評価の両方をサポートしている。
  論文  参考訳（メタデータ） (2024-08-15T22:27:00Z)
• Safe and Reliable Training of Learning-Based Aerospace Controllers [2.0159768535123557]
  本稿では,DRLコントローラのトレーニングと検証の両面での新たな進歩を示す。 k-induction を用いた実生性検証手法を実証し,その実生性検証への応用を実証する。 また、ニューラルネットワークのLyapunov Barrier証明書の概要と、その機能の概要も紹介する。
  論文  参考訳（メタデータ） (2024-07-09T17:58:50Z)
• Generative AI for Deep Reinforcement Learning: Framework, Analysis, and Use Cases [60.30995339585003]
  深部強化学習(DRL)は様々な分野に広く適用されており、優れた成果を上げている。 DRLは、サンプル効率の低下や一般化の低さなど、いくつかの制限に直面している。 本稿では、これらの問題に対処し、DRLアルゴリズムの性能を向上させるために、生成AI(GAI)を活用する方法について述べる。
  論文  参考訳（メタデータ） (2024-05-31T01:25:40Z)
• Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
  本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。 このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。 本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-07T21:58:40Z)
• A Comprehensive Survey of Data Augmentation in Visual Reinforcement Learning [53.35317176453194]
  データ拡張(DA)は、サンプル効率と一般化可能なポリシーを取得するために視覚的RLで広く使われている技術である。 本稿では、視覚的RLで使用されている既存の拡張技法の原則的な分類法を提案し、拡張データをどのように活用するかを詳細に議論する。 視覚的RLにおけるDAに関する最初の総合的な調査として、この研究は、この新興分野に貴重なガイダンスを提供するものと期待されている。
  論文  参考訳（メタデータ） (2022-10-10T11:01:57Z)
• Verifying Learning-Based Robotic Navigation Systems [61.01217374879221]
  有効モデル選択に現代検証エンジンをどのように利用できるかを示す。 具体的には、検証を使用して、最適下行動を示す可能性のあるポリシーを検出し、除外する。 我々の研究は、現実世界のロボットにおける準最適DRLポリシーを認識するための検証バックエンドの使用を初めて実証したものである。
  論文  参考訳（メタデータ） (2022-05-26T17:56:43Z)
• Federated Deep Reinforcement Learning for the Distributed Control of NextG Wireless Networks [16.12495409295754]
  次世代(NextG)ネットワークは、拡張現実(AR)やコネクテッド・自律走行車といった、インターネットの触覚を必要とするアプリケーションをサポートすることが期待されている。 データ駆動アプローチは、現在の運用条件に適応するネットワークの能力を改善することができる。 深部RL(DRL)は複雑な環境においても良好な性能を発揮することが示されている。
  論文  参考訳（メタデータ） (2021-12-07T03:13:20Z)
• Learning on Abstract Domains: A New Approach for Verifiable Guarantee in Reinforcement Learning [9.428825075908131]
  有限抽象領域上でDRLシステムを学習するための抽象的アプローチを提案する。 入力状態が有限なニューラルネットワークを生成し、ホスティングDRLシステムが直接検証可能である。
  論文  参考訳（メタデータ） (2021-06-13T06:28:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。