論文の概要: Reachability Verification Based Reliability Assessment for Deep Reinforcement Learning Controlled Robotics and Autonomous Systems

• arxiv url: http://arxiv.org/abs/2210.14991v2
• Date: Mon, 29 Jan 2024 21:25:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-31 20:07:47.633537
• Title: Reachability Verification Based Reliability Assessment for Deep Reinforcement Learning Controlled Robotics and Autonomous Systems
• Title（参考訳）: 深層強化学習制御ロボットと自律システムのための到達可能性検証に基づく信頼性評価
• Authors: Yi Dong, Xingyu Zhao, Sen Wang, Xiaowei Huang
• Abstract要約: Deep Reinforcement Learning (DRL)は、ロボット工学と自律システム(RAS)において優れたパフォーマンスを達成した 実生活での運用において重要な課題は、危険なほど安全でないDRLポリシーの存在である。 本稿ではDRL制御RASのための新しい定量的信頼性評価フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 17.679681019347065
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Reinforcement Learning (DRL) has achieved impressive performance in robotics and autonomous systems (RAS). A key challenge to its deployment in real-life operations is the presence of spuriously unsafe DRL policies. Unexplored states may lead the agent to make wrong decisions that could result in hazards, especially in applications where DRL-trained end-to-end controllers govern the behaviour of RAS. This paper proposes a novel quantitative reliability assessment framework for DRL-controlled RAS, leveraging verification evidence generated from formal reliability analysis of neural networks. A two-level verification framework is introduced to check the safety property with respect to inaccurate observations that are due to, e.g., environmental noise and state changes. Reachability verification tools are leveraged locally to generate safety evidence of trajectories. In contrast, at the global level, we quantify the overall reliability as an aggregated metric of local safety evidence, corresponding to a set of distinct tasks and their occurrence probabilities. The effectiveness of the proposed verification framework is demonstrated and validated via experiments on real RAS.
• Abstract（参考訳）: Deep Reinforcement Learning (DRL)は、ロボット工学と自律システム(RAS)において優れたパフォーマンスを達成した。 実際の運用において重要な課題は、危険なほど安全でないDRLポリシーの存在である。 未調査状態は、特にDRLで訓練されたエンドツーエンドコントローラがRASの動作を制御しているアプリケーションにおいて、エージェントを誤った決定を下す可能性がある。 本稿では,DRL制御型RASのための新しい定量的信頼性評価フレームワークを提案し,ニューラルネットワークの形式的信頼性解析から得られた検証証拠を活用する。 環境騒音や状態変化などによる不正確な観測に関して、安全性をチェックするための2段階の検証フレームワークが導入された。 到達可能性検証ツールは局所的に活用され、軌道の安全証拠を生成する。 対照的に, グローバルレベルでは, 局所的安全エビデンスの総合指標として全体の信頼性を定量化し, 個別の課題とその発生確率に対応する。 提案手法の有効性を実RAS実験により検証し検証した。

関連論文リスト

• Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
  本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。 このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。 本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-07T21:58:40Z)
• Safety Margins for Reinforcement Learning [74.13100479426424]
  安全マージンを生成するためにプロキシ臨界度メトリクスをどのように活用するかを示す。 Atari 環境での APE-X と A3C からの学習方針に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2023-07-25T16:49:54Z)
• Safe Deep Reinforcement Learning by Verifying Task-Level Properties [84.64203221849648]
  コスト関数は、安全深層強化学習(DRL)において一般的に用いられる。 このコストは通常、国家空間における政策決定のリスクの定量化が難しいため、指標関数として符号化される。 本稿では,ドメイン知識を用いて,そのような状態に近接するリスクを定量化するための代替手法について検討する。
  論文  参考訳（メタデータ） (2023-02-20T15:24:06Z)
• Online Safety Property Collection and Refinement for Safe Deep Reinforcement Learning in Mapless Navigation [79.89605349842569]
  オンラインプロパティのコレクション・リファインメント(CROP)フレームワークをトレーニング時にプロパティを設計するために導入する。 CROPは、安全でない相互作用を識別し、安全特性を形成するためにコストシグナルを使用する。 本手法をいくつかのロボットマップレスナビゲーションタスクで評価し,CROPで計算した違反量によって,従来のSafe DRL手法よりも高いリターンと低いリターンが得られることを示す。
  論文  参考訳（メタデータ） (2023-02-13T21:19:36Z)
• Recursively Feasible Probabilistic Safe Online Learning with Control Barrier Functions [63.18590014127461]
  本稿では,CBFをベースとした安全クリティカルコントローラのモデル不確実性を考慮した再構成を提案する。 本研究では,ロバストな安全クリティカルコントローラの実現可能性について検討する。 次に、これらの条件を使って、イベントトリガーによるオンラインデータ収集戦略を考案します。
  論文  参考訳（メタデータ） (2022-08-23T05:02:09Z)
• Dependability Analysis of Deep Reinforcement Learning based Robotics and Autonomous Systems [10.499662874457998]
  深層強化学習(DRL)のブラックボックスの性質と不確実な展開環境は、その信頼性に新たな課題をもたらす。 本稿では、時間論理における信頼性特性のセットを定義し、DRL駆動RASのリスク/障害のダイナミクスをモデル化するための離散時間マルコフ連鎖(DTMC)を構築する。 実験の結果,提案手法は総合評価の枠組みとして有効であり,また,トレーニングにおいてトレードオフを必要とする可能性のある特性の相違を明らかにする。
  論文  参考訳（メタデータ） (2021-09-14T08:42:29Z)
• Lyapunov-based uncertainty-aware safe reinforcement learning [0.0]
  InReinforcement Learning (RL)は、様々なシーケンシャルな意思決定タスクに対して最適なポリシーを学ぶ上で、有望なパフォーマンスを示している。 多くの現実世界のRL問題において、主な目的を最適化する以外に、エージェントは一定のレベルの安全性を満たすことが期待されている。 これらの制約に対処するために,リャプノフに基づく不確実性を考慮した安全なRLモデルを提案する。
  論文  参考訳（メタデータ） (2021-07-29T13:08:15Z)
• Scalable Synthesis of Verified Controllers in Deep Reinforcement Learning [0.0]
  高品質の安全シールドを合成できる自動検証パイプラインを提案します。 私たちの重要な洞察は、事前に計算された安全シールドを使用して神経コントローラのトレーニングを制限し、神経コントローラから安全検証を分離することを含みます。 実測的な高次元深部RLベンチマークによる実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-04-20T19:30:29Z)
• Safety Verification of Model Based Reinforcement Learning Controllers [7.407039316561176]
  本稿では,モデルベースRLコントローラのリーチブル・セット解析を用いた新しい安全性検証フレームワークを提案する。 提案したフレームワークは、ニューラルネットワークを用いて表現されるモデルとコントローラを効率的に扱うことができる。
  論文  参考訳（メタデータ） (2020-10-21T03:35:28Z)
• Runtime Safety Assurance Using Reinforcement Learning [37.61747231296097]
  本稿では,安全でない状況を高精度に識別できるメタコントローラを設計することを目的とする。 我々は,RTSAの設計をマルコフ決定プロセス(MDP)と組み合わせ,強化学習(RL)を用いて解決する。
  論文  参考訳（メタデータ） (2020-10-20T20:54:46Z)
• Evaluating the Safety of Deep Reinforcement Learning Models using Semi-Formal Verification [81.32981236437395]
  本稿では,区間分析に基づく半形式的意思決定手法を提案する。 本手法は, 標準ベンチマークに比較して, 形式検証に対して比較結果を得る。 提案手法は, 意思決定モデルにおける安全性特性を効果的に評価することを可能にする。
  論文  参考訳（メタデータ） (2020-10-19T11:18:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。