論文の概要: Evaluating the Safety of Deep Reinforcement Learning Models using Semi-Formal Verification

• arxiv url: http://arxiv.org/abs/2010.09387v1
• Date: Mon, 19 Oct 2020 11:18:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 21:59:15.435570
• Title: Evaluating the Safety of Deep Reinforcement Learning Models using Semi-Formal Verification
• Title（参考訳）: 半形式検証を用いた深層強化学習モデルの安全性評価
• Authors: Davide Corsi, Enrico Marchesini, Alessandro Farinelli
• Abstract要約: 本稿では,区間分析に基づく半形式的意思決定手法を提案する。 本手法は, 標準ベンチマークに比較して, 形式検証に対して比較結果を得る。 提案手法は, 意思決定モデルにおける安全性特性を効果的に評価することを可能にする。
• 参考スコア（独自算出の注目度）: 81.32981236437395
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Groundbreaking successes have been achieved by Deep Reinforcement Learning (DRL) in solving practical decision-making problems. Robotics, in particular, can involve high-cost hardware and human interactions. Hence, scrupulous evaluations of trained models are required to avoid unsafe behaviours in the operational environment. However, designing metrics to measure the safety of a neural network is an open problem, since standard evaluation parameters (e.g., total reward) are not informative enough. In this paper, we present a semi-formal verification approach for decision-making tasks, based on interval analysis, that addresses the computational demanding of previous verification frameworks and design metrics to measure the safety of the models. Our method obtains comparable results over standard benchmarks with respect to formal verifiers, while drastically reducing the computation time. Moreover, our approach allows to efficiently evaluate safety properties for decision-making models in practical applications such as mapless navigation for mobile robots and trajectory generation for manipulators.
• Abstract（参考訳）: Deep Reinforcement Learning (DRL) が実践的な意思決定問題の解決に成功している。 特にロボット工学は、高価なハードウェアと人間のインタラクションを伴います。 したがって、運用環境での安全でない振る舞いを避けるために、訓練されたモデルの粗末な評価が必要となる。 しかし、標準評価パラメータ(総報酬など)は十分な情報を持たないため、ニューラルネットワークの安全性を測定するためのメトリクスの設計は、オープンな問題である。 本稿では,事前検証フレームワークの計算要求とモデルの安全性を測定するための設計指標に対処する,区間分析に基づく意思決定課題に対する半形式的検証手法を提案する。 本手法は, 計算時間を劇的に削減しつつ, 定式検証に対して, 標準ベンチマークと比較した結果を得る。 さらに,移動ロボットのマップレスナビゲーションやマニピュレータの軌道生成といった実用応用において,意思決定モデルの安全性を効率的に評価することが可能である。

関連論文リスト

• Safety-Driven Deep Reinforcement Learning Framework for Cobots: A Sim2Real Approach [1.0488553716155147]
  本研究では,深部強化学習(DRL)におけるロボットシミュレーションに安全性制約を取り入れた新しい手法を提案する。 このフレームワークは、速度制約のような安全要件の特定の部分をDRLモデルに直接統合する。 提案手法は,テストシナリオの平均成功率を16.5%向上させる。
  論文  参考訳（メタデータ） (2024-07-02T12:56:17Z)
• Towards Precise Observations of Neural Model Robustness in Classification [2.127049691404299]
  ディープラーニングアプリケーションでは、ロバストネスは入力データのわずかな変化を処理するニューラルネットワークの能力を測定する。 私たちのアプローチは、安全クリティカルなアプリケーションにおけるモデルロバストネスのより深い理解に寄与します。
  論文  参考訳（メタデータ） (2024-04-25T09:37:44Z)
• Towards a Framework for Deep Learning Certification in Safety-Critical Applications Using Inherently Safe Design and Run-Time Error Detection [0.0]
  航空や他の安全上重要な分野における現実世界の問題について検討し,認定モデルの要件について検討する。 我々は、(i)本質的に安全な設計と(ii)実行時のエラー検出に基づいて、ディープラーニング認定に向けた新しいフレームワークを構築した。
  論文  参考訳（メタデータ） (2024-03-12T11:38:45Z)
• Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
  本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。 このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。 本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-07T21:58:40Z)
• Online Safety Property Collection and Refinement for Safe Deep Reinforcement Learning in Mapless Navigation [79.89605349842569]
  オンラインプロパティのコレクション・リファインメント(CROP)フレームワークをトレーニング時にプロパティを設計するために導入する。 CROPは、安全でない相互作用を識別し、安全特性を形成するためにコストシグナルを使用する。 本手法をいくつかのロボットマップレスナビゲーションタスクで評価し,CROPで計算した違反量によって,従来のSafe DRL手法よりも高いリターンと低いリターンが得られることを示す。
  論文  参考訳（メタデータ） (2023-02-13T21:19:36Z)
• Evaluating Model-free Reinforcement Learning toward Safety-critical Tasks [70.76757529955577]
  本稿では、国家安全RLの観点から、この領域における先行研究を再考する。 安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。 この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
  論文  参考訳（メタデータ） (2022-12-12T06:30:17Z)
• Benchmarking Safe Deep Reinforcement Learning in Aquatic Navigation [78.17108227614928]
  本研究では,水文ナビゲーションに着目した安全強化学習のためのベンチマーク環境を提案する。 価値に基づく政策段階の深層強化学習(DRL)について考察する。 また,学習したモデルの振る舞いを所望の特性の集合上で検証する検証戦略を提案する。
  論文  参考訳（メタデータ） (2021-12-16T16:53:56Z)
• Reactive and Safe Road User Simulations using Neural Barrier Certificates [9.961324632236499]
  本稿では,本来の目的を組み込まずに安全性を確保するリアクティブエージェントモデルを提案する。 我々の学習した道路利用者シミュレーションモデルは、安全性を大幅に向上させることができる。 我々の学習された反応剤は、目に見えない交通条件を一般化する。
  論文  参考訳（メタデータ） (2021-09-14T13:45:37Z)
• Efficient falsification approach for autonomous vehicle validation using a parameter optimisation technique based on reinforcement learning [6.198523595657983]
  自律走行車(AV)の大規模展開は、まだ解決されていない多くの安全上の課題にもかかわらず、差し迫っているように見える。 交通参加者とダイナミックワールドの行動の不確実性は、先進的な自律システムにおいて反応を引き起こす。 本稿では,システム・アンダー・テストを評価するための効率的なファルシフィケーション手法を提案する。
  論文  参考訳（メタデータ） (2020-11-16T02:56:13Z)
• SAMBA: Safe Model-Based & Active Reinforcement Learning [59.01424351231993]
  SAMBAは、確率論的モデリング、情報理論、統計学といった側面を組み合わせた安全な強化学習のためのフレームワークである。 我々は,低次元および高次元の状態表現を含む安全な力学系ベンチマークを用いて,アルゴリズムの評価を行った。 アクティブなメトリクスと安全性の制約を詳細に分析することで,フレームワークの有効性を直感的に評価する。
  論文  参考訳（メタデータ） (2020-06-12T10:40:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。