論文の概要: Bayesian Safety Validation for Failure Probability Estimation of Black-Box Systems
- arxiv url: http://arxiv.org/abs/2305.02449v2
- Date: Sat, 29 Jun 2024 07:43:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-02 18:19:41.171724
- Title: Bayesian Safety Validation for Failure Probability Estimation of Black-Box Systems
- Title（参考訳）: ブラックボックスシステムの故障確率推定のためのベイズ安全検証
- Authors: Robert J. Moss, Mykel J. Kochenderfer, Maxime Gariel, Arthur Dubois,
- Abstract要約: 失敗の確率を推定することは、安全クリティカルなシステムの認証において重要なステップである。
この研究は、ベイズ最適化問題としてブラックボックス安全性検証の問題を補足する。
このアルゴリズムは、障害を探索し、最もよく似た障害を計算し、オペレーティングシステム上での障害確率を推定するように設計されている。
- 参考スコア（独自算出の注目度）: 34.61865848439637
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Estimating the probability of failure is an important step in the certification of safety-critical systems. Efficient estimation methods are often needed due to the challenges posed by high-dimensional input spaces, risky test scenarios, and computationally expensive simulators. This work frames the problem of black-box safety validation as a Bayesian optimization problem and introduces a method that iteratively fits a probabilistic surrogate model to efficiently predict failures. The algorithm is designed to search for failures, compute the most-likely failure, and estimate the failure probability over an operating domain using importance sampling. We introduce three acquisition functions that aim to reduce uncertainty by covering the design space, optimize the analytically derived failure boundaries, and sample the predicted failure regions. Results show this Bayesian safety validation approach provides a more accurate estimate of failure probability with orders of magnitude fewer samples and performs well across various safety validation metrics. We demonstrate this approach on three test problems, a stochastic decision making system, and a neural network-based runway detection system. This work is open sourced (https://github.com/sisl/BayesianSafetyValidation.jl) and currently being used to supplement the FAA certification process of the machine learning components for an autonomous cargo aircraft.
- Abstract（参考訳）: 失敗の確率を推定することは、安全クリティカルなシステムの認証において重要なステップである。
高次元の入力空間、リスクの高いテストシナリオ、計算コストの高いシミュレータによって生じる課題のために、効率的な推定法が必要とされることが多い。
この研究は、ベイズ最適化問題としてブラックボックス安全性検証の問題を補足し、確率的代理モデルに反復的に適合して失敗を効率的に予測する手法を提案する。
このアルゴリズムは、障害を探索し、最もよく似た障害を計算し、重要サンプリングを用いてオペレーティングシステム上の障害確率を推定するように設計されている。
本稿では,設計空間を網羅して不確実性を低減し,解析的に導出された障害境界を最適化し,予測された障害領域をサンプリングする3つの獲得関数を提案する。
その結果、ベイズ安全検証アプローチは、サンプルの桁数を桁違いに減らして、より正確な失敗確率を推定し、様々な安全性検証指標でうまく機能することを示した。
本稿では,3つのテスト問題,確率的意思決定システム,ニューラルネットワークに基づく滑走路検出システムについて実演する。
この作業はオープンソースとして公開されている(https://github.com/sisl/BayesianSafetyValidation.jl)。
関連論文リスト
- The #DNN-Verification Problem: Counting Unsafe Inputs for Deep Neural
Networks [94.63547069706459]
#DNN-Verification問題は、DNNの入力構成の数を数えることによって安全性に反する結果となる。
違反の正確な数を返す新しい手法を提案する。
安全クリティカルなベンチマークのセットに関する実験結果を示す。
論文 参考訳（メタデータ） (2023-01-17T18:32:01Z) - Meta-Learning Priors for Safe Bayesian Optimization [72.8349503901712]
メタ学習アルゴリズムであるF-PACOHを構築し,データ不足の設定において確実な定量化を実現する。
コアコントリビューションとして、安全に適合した事前をデータ駆動で選択するための新しいフレームワークを開発する。
ベンチマーク関数と高精度動作系において,我々のメタ学習先行が安全なBOアプローチの収束を加速することを示す。
論文 参考訳（メタデータ） (2022-10-03T08:38:38Z) - Recursively Feasible Probabilistic Safe Online Learning with Control Barrier Functions [60.26921219698514]
CBFをベースとした安全クリティカルコントローラのモデル不確実性を考慮した再構成を提案する。
次に、結果の安全制御器のポイントワイズ実現可能性条件を示す。
これらの条件を利用して、イベントトリガーによるオンラインデータ収集戦略を考案する。
論文 参考訳（メタデータ） (2022-08-23T05:02:09Z) - Log Barriers for Safe Black-box Optimization with Application to Safe
Reinforcement Learning [72.97229770329214]
本稿では,学習時の安全性維持が不可欠である高次元非線形最適化問題に対する一般的なアプローチを提案する。
LBSGDと呼ばれるアプローチは、慎重に選択されたステップサイズで対数障壁近似を適用することに基づいている。
安全強化学習における政策課題の違反を最小限に抑えるためのアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2022-07-21T11:14:47Z) - Learning Robust Output Control Barrier Functions from Safe Expert Demonstrations [50.37808220291108]
本稿では,専門家によるデモンストレーションの部分的な観察から,安全な出力フィードバック制御法を考察する。
まず,安全性を保証する手段として,ロバスト出力制御バリア関数(ROCBF)を提案する。
次に、安全なシステム動作を示す専門家による実証からROCBFを学習するための最適化問題を定式化する。
論文 参考訳（メタデータ） (2021-11-18T23:21:00Z) - Rare event estimation using stochastic spectral embedding [0.0]
まれな障害事象の確率を推定することは、エンジニアリングシステムの信頼性評価において重要なステップである。
稀な事象推定問題を効率的に解くためにアルゴリズムを調整した一連の修正を提案する。
論文 参考訳（メタデータ） (2021-06-09T16:10:33Z) - Entropy-based adaptive design for contour finding and estimating
reliability [0.24466725954625884]
信頼性解析において、故障確率を推定するために用いられる手法は、しばしばモデル評価に関連するコストによって制限される。
本稿では,MFISと組み合わせることで,より正確な故障確率推定を行うエントロピーに基づくGP適応設計を提案する。
ベンチマークデータに加え、NASA(NASA)宇宙服の衝撃損傷シミュレーターへの応用例も紹介されている。
論文 参考訳（メタデータ） (2021-05-24T15:41:15Z) - Efficient falsification approach for autonomous vehicle validation using
a parameter optimisation technique based on reinforcement learning [6.198523595657983]
自律走行車(AV)の大規模展開は、まだ解決されていない多くの安全上の課題にもかかわらず、差し迫っているように見える。
交通参加者とダイナミックワールドの行動の不確実性は、先進的な自律システムにおいて反応を引き起こす。
本稿では,システム・アンダー・テストを評価するための効率的なファルシフィケーション手法を提案する。
論文 参考訳（メタデータ） (2020-11-16T02:56:13Z) - Chance-Constrained Trajectory Optimization for Safe Exploration and
Learning of Nonlinear Systems [81.7983463275447]
学習に基づく制御アルゴリズムは、訓練のための豊富な監督を伴うデータ収集を必要とする。
本稿では,機会制約付き最適制御と動的学習とフィードバック制御を統合した安全な探索による最適動作計画のための新しいアプローチを提案する。
論文 参考訳（メタデータ） (2020-05-09T05:57:43Z) - A Survey of Algorithms for Black-Box Safety Validation of Cyber-Physical
Systems [30.638615396429536]
安全クリティカルな人工知能の普及により、この研究は、CPSの最先端の安全検証技術の調査を提供する。
本稿では,最適化,経路計画,強化学習,重要サンプリングの分野におけるアルゴリズムについて論じる。
自動運転車や航空機衝突回避システムなど、安全クリティカルな応用の概要を概説する。
論文 参考訳（メタデータ） (2020-05-06T17:31:51Z) - Efficient statistical validation with edge cases to evaluate Highly
Automated Vehicles [6.198523595657983]
自動運転車の大規模展開は、まだ解決されていない多くの安全上の課題にもかかわらず、差し迫っているようだ。
既存の標準は、検証が要求をカバーするテストケースのセットだけを必要とする決定論的プロセスに焦点を当てています。
本稿では, 自動生成テストケースを最悪のシナリオに偏り付け, システムの挙動の統計的特性を計算するための新しい手法を提案する。
論文 参考訳（メタデータ） (2020-03-04T04:35:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。