論文の概要: Reachability Verification Based Reliability Assessment for Deep Reinforcement Learning Controlled Robotics and Autonomous Systems

• arxiv url: http://arxiv.org/abs/2210.14991v1
• Date: Wed, 26 Oct 2022 19:25:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-28 15:07:15.610525
• Title: Reachability Verification Based Reliability Assessment for Deep Reinforcement Learning Controlled Robotics and Autonomous Systems
• Title（参考訳）: 深層強化学習制御ロボットと自律システムのための到達可能性検証に基づく信頼性評価
• Authors: Yi Dong, Xingyu Zhao, Sen Wang, Xiaowei Huang
• Abstract要約: Deep Reinforcement Learning (DRL)は、ロボット工学と自律システム(RAS)において優れたパフォーマンスを達成した 実際の運用に配備する上で重要な障害は、危険なほど安全でないDRLポリシーである。 DRL制御RASのための新しい定量的信頼性評価フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 17.0953382964101
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Reinforcement Learning (DRL) has achieved impressive performance in robotics and autonomous systems (RASs). A key impediment to its deployment in real-life operations is the spuriously unsafe DRL policies--unexplored states may lead the agent to make wrong decisions that may cause hazards, especially in applications where end-to-end controllers of the RAS were trained by DRL. In this paper, we propose a novel quantitative reliability assessment framework for DRL-controlled RASs, leveraging verification evidence generated from formal reliability analysis of neural networks. A two-level verification framework is introduced to check the safety property with respect to inaccurate observations that are due to, e.g., environmental noises and state changes. Reachability verification tools are leveraged at the local level to generate safety evidence of trajectories, while at the global level, we quantify the overall reliability as an aggregated metric of local safety evidence, according to an operational profile. The effectiveness of the proposed verification framework is demonstrated and validated via experiments on real RASs.
• Abstract（参考訳）: Deep Reinforcement Learning (DRL)は、ロボット工学と自律システム(RAS)において、優れたパフォーマンスを達成した。 特にRASのエンド・ツー・エンドのコントローラがDRLによってトレーニングされたアプリケーションでは、未調査状態がエージェントを誤った判断に導く可能性がある。 本稿では,DRL制御型RASの定量的信頼性評価フレームワークを提案し,ニューラルネットワークの形式的信頼性解析から得られた検証証拠を活用する。 環境騒音や状態変化などに起因する不正確な観測に関して,安全性を確認するための2段階検証フレームワークが導入された。 到達可能性検証ツールは局所レベルで活用され、軌道の安全性エビデンスを生成するが、グローバルレベルでは、運用プロファイルによれば、局所安全エビデンスの総合指標として全体の信頼性を定量化する。 提案手法の有効性を実RAS実験により検証し検証した。

関連論文リスト

• Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
  本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。 このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。 本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-07T21:58:40Z)
• Safety Margins for Reinforcement Learning [53.10194953873209]
  安全マージンを生成するためにプロキシ臨界度メトリクスをどのように活用するかを示す。 Atari 環境での APE-X と A3C からの学習方針に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2023-07-25T16:49:54Z)
• Safe Deep Reinforcement Learning by Verifying Task-Level Properties [84.64203221849648]
  コスト関数は、安全深層強化学習(DRL)において一般的に用いられる。 このコストは通常、国家空間における政策決定のリスクの定量化が難しいため、指標関数として符号化される。 本稿では,ドメイン知識を用いて,そのような状態に近接するリスクを定量化するための代替手法について検討する。
  論文  参考訳（メタデータ） (2023-02-20T15:24:06Z)
• Online Safety Property Collection and Refinement for Safe Deep Reinforcement Learning in Mapless Navigation [79.89605349842569]
  オンラインプロパティのコレクション・リファインメント(CROP)フレームワークをトレーニング時にプロパティを設計するために導入する。 CROPは、安全でない相互作用を識別し、安全特性を形成するためにコストシグナルを使用する。 本手法をいくつかのロボットマップレスナビゲーションタスクで評価し,CROPで計算した違反量によって,従来のSafe DRL手法よりも高いリターンと低いリターンが得られることを示す。
  論文  参考訳（メタデータ） (2023-02-13T21:19:36Z)
• Recursively Feasible Probabilistic Safe Online Learning with Control Barrier Functions [60.26921219698514]
  CBFをベースとした安全クリティカルコントローラのモデル不確実性を考慮した再構成を提案する。 次に、結果の安全制御器のポイントワイズ実現可能性条件を示す。 これらの条件を利用して、イベントトリガーによるオンラインデータ収集戦略を考案する。
  論文  参考訳（メタデータ） (2022-08-23T05:02:09Z)
• Dependability Analysis of Deep Reinforcement Learning based Robotics and Autonomous Systems [10.499662874457998]
  深層強化学習(DRL)のブラックボックスの性質と不確実な展開環境は、その信頼性に新たな課題をもたらす。 本稿では、時間論理における信頼性特性のセットを定義し、DRL駆動RASのリスク/障害のダイナミクスをモデル化するための離散時間マルコフ連鎖(DTMC)を構築する。 実験の結果,提案手法は総合評価の枠組みとして有効であり,また,トレーニングにおいてトレードオフを必要とする可能性のある特性の相違を明らかにする。
  論文  参考訳（メタデータ） (2021-09-14T08:42:29Z)
• Lyapunov-based uncertainty-aware safe reinforcement learning [0.0]
  InReinforcement Learning (RL)は、様々なシーケンシャルな意思決定タスクに対して最適なポリシーを学ぶ上で、有望なパフォーマンスを示している。 多くの現実世界のRL問題において、主な目的を最適化する以外に、エージェントは一定のレベルの安全性を満たすことが期待されている。 これらの制約に対処するために,リャプノフに基づく不確実性を考慮した安全なRLモデルを提案する。
  論文  参考訳（メタデータ） (2021-07-29T13:08:15Z)
• Scalable Synthesis of Verified Controllers in Deep Reinforcement Learning [0.0]
  高品質の安全シールドを合成できる自動検証パイプラインを提案します。 私たちの重要な洞察は、事前に計算された安全シールドを使用して神経コントローラのトレーニングを制限し、神経コントローラから安全検証を分離することを含みます。 実測的な高次元深部RLベンチマークによる実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-04-20T19:30:29Z)
• Runtime Safety Assurance Using Reinforcement Learning [37.61747231296097]
  本稿では,安全でない状況を高精度に識別できるメタコントローラを設計することを目的とする。 我々は,RTSAの設計をマルコフ決定プロセス(MDP)と組み合わせ,強化学習(RL)を用いて解決する。
  論文  参考訳（メタデータ） (2020-10-20T20:54:46Z)
• Evaluating the Safety of Deep Reinforcement Learning Models using Semi-Formal Verification [81.32981236437395]
  本稿では,区間分析に基づく半形式的意思決定手法を提案する。 本手法は, 標準ベンチマークに比較して, 形式検証に対して比較結果を得る。 提案手法は, 意思決定モデルにおける安全性特性を効果的に評価することを可能にする。
  論文  参考訳（メタデータ） (2020-10-19T11:18:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。