論文の概要: Generating Probabilistic Safety Guarantees for Neural Network
Controllers
- arxiv url: http://arxiv.org/abs/2103.01203v1
- Date: Mon, 1 Mar 2021 18:48:21 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-03 17:23:04.255183
- Title: Generating Probabilistic Safety Guarantees for Neural Network
Controllers
- Title（参考訳）: ニューラルネットワークコントローラの確率安全保証の生成
- Authors: Sydney M. Katz, Kyle D. Julian, Christopher A. Strong, Mykel J.
Kochenderfer
- Abstract要約: ダイナミクスモデルを使用して、ニューラルネットワークコントローラが安全に動作するために保持する必要がある出力プロパティを決定します。
ニューラルネットワークポリシの近似を効率的に生成するための適応的検証手法を開発した。
本手法は,航空機衝突回避ニューラルネットワークの確率的安全性を保証することができることを示す。
- 参考スコア（独自算出の注目度）: 30.34898838361206
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural networks serve as effective controllers in a variety of complex
settings due to their ability to represent expressive policies. The complex
nature of neural networks, however, makes their output difficult to verify and
predict, which limits their use in safety-critical applications. While
simulations provide insight into the performance of neural network controllers,
they are not enough to guarantee that the controller will perform safely in all
scenarios. To address this problem, recent work has focused on formal methods
to verify properties of neural network outputs. For neural network controllers,
we can use a dynamics model to determine the output properties that must hold
for the controller to operate safely. In this work, we develop a method to use
the results from neural network verification tools to provide probabilistic
safety guarantees on a neural network controller. We develop an adaptive
verification approach to efficiently generate an overapproximation of the
neural network policy. Next, we modify the traditional formulation of Markov
decision process (MDP) model checking to provide guarantees on the
overapproximated policy given a stochastic dynamics model. Finally, we
incorporate techniques in state abstraction to reduce overapproximation error
during the model checking process. We show that our method is able to generate
meaningful probabilistic safety guarantees for aircraft collision avoidance
neural networks that are loosely inspired by Airborne Collision Avoidance
System X (ACAS X), a family of collision avoidance systems that formulates the
problem as a partially observable Markov decision process (POMDP).
- Abstract（参考訳）: ニューラルネットワークは、表現力のあるポリシーを表現できるため、様々な複雑な設定で効果的なコントローラとして機能する。
しかし、ニューラルネットワークの複雑な性質は、その出力の検証と予測を困難にし、安全クリティカルなアプリケーションでの使用を制限する。
シミュレーションはニューラルネットワークコントローラのパフォーマンスに関する洞察を提供するが、コントローラがすべてのシナリオで安全に動作することを保証するには十分ではない。
この問題に対処するため、最近の研究ではニューラルネットワーク出力のプロパティを検証するための形式的な方法に焦点を当てている。
ニューラルネットワークコントローラの場合、ダイナミクスモデルを使用して、コントローラが安全に動作するために保持する必要がある出力プロパティを決定できます。
本研究では,ニューラルネットワーク検証ツールの結果を用いて,ニューラルネットワークコントローラの確率的安全性保証を行う手法を開発した。
ニューラルネットワークポリシの近似を効率的に生成するための適応的検証手法を開発した。
次に,マルコフ決定過程(MDP)モデルチェックの従来の定式化を変更し,確率力学モデルが与えられた過剰近似ポリシーの保証を行う。
最後に、モデル検査過程における過近似誤差を低減するために、状態抽象化にテクニックを組み込む。
本研究では,航空機衝突回避システムX(ACAS X)に緩やかにインスパイアされた航空機衝突回避ニューラルネットワークの確率的安全性を保証するために,この問題を部分的に観測可能なマルコフ決定プロセス(POMDP)として定式化する。
関連論文リスト
- Lyapunov-stable Neural Control for State and Output Feedback: A Novel Formulation [67.63756749551924]
学習ベースのニューラルネットワーク(NN)制御ポリシは、ロボット工学と制御の幅広いタスクにおいて、印象的な経験的パフォーマンスを示している。
非線形力学系を持つNNコントローラのトラクション領域(ROA)に対するリアプノフ安定性の保証は困難である。
我々は、高速な経験的ファルシフィケーションと戦略的正則化を用いて、Lyapunov証明書とともにNNコントローラを学習するための新しいフレームワークを実証する。
論文 参考訳（メタデータ） (2024-04-11T17:49:15Z) - Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。
ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
論文 参考訳（メタデータ） (2024-01-11T18:57:17Z) - Probabilistic Reach-Avoid for Bayesian Neural Networks [71.67052234622781]
最適合成アルゴリズムは、証明された状態の数を4倍以上に増やすことができることを示す。
このアルゴリズムは、平均的な到達回避確率を3倍以上に向上させることができる。
論文 参考訳（メタデータ） (2023-10-03T10:52:21Z) - Distributionally Robust Statistical Verification with Imprecise Neural
Networks [4.094049541486327]
AI安全性における特に困難な問題は、高次元自律システムの振る舞いを保証することだ。
本稿では,アクティブラーニング,不確実性定量化,ニューラルネットワーク検証を組み合わせた新しい手法を提案する。
論文 参考訳（メタデータ） (2023-08-28T18:06:24Z) - Safety Verification of Neural Network Control Systems Using Guaranteed
Neural Network Model Reduction [3.0839245814393728]
モデル縮小精度の概念は、ニューラルネットワークの出力と縮小サイズバージョンの間の保証された距離を記述するために提案される。
モデル削減精度を正確に計算するために,到達可能性に基づくアルゴリズムを提案する。
元のシステムの到達可能な集合を計算するアルゴリズムが開発され、より計算効率のよい安全性検証プロセスをサポートすることができる。
論文 参考訳（メタデータ） (2023-01-17T03:25:57Z) - Quantization-aware Interval Bound Propagation for Training Certifiably
Robust Quantized Neural Networks [58.195261590442406]
我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。
近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。
本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
論文 参考訳（メタデータ） (2022-11-29T13:32:38Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳（メタデータ） (2022-09-26T17:59:58Z) - RoMA: a Method for Neural Network Robustness Measurement and Assessment [0.0]
ロバストネス測定・評価(RoMA)と呼ばれる新しい統計手法を提案する。
RoMAは、ランダムな入力摂動が誤分類を引き起こす可能性を決定する。
この研究を通じて得られた興味深い洞察の1つは、分類ネットワークにおいて、異なる出力ラベルが全く異なる堅牢性レベルを示すことができることである。
論文 参考訳（メタデータ） (2021-10-21T12:01:54Z) - Increasing the Confidence of Deep Neural Networks by Coverage Analysis [71.57324258813674]
本稿では、異なる安全でない入力に対してモデルを強化するために、カバレッジパラダイムに基づく軽量な監視アーキテクチャを提案する。
実験結果から,提案手法は強力な対向例とアウト・オブ・ディストリビューション・インプットの両方を検出するのに有効であることが示唆された。
論文 参考訳（メタデータ） (2021-01-28T16:38:26Z) - Towards Repairing Neural Networks Correctly [6.600380575920419]
本稿では,ニューラルネットワークの正確性を保証するための実行時検証手法を提案する。
実験結果から,本手法は特性を満たすことが保証されたニューラルネットワークを効果的に生成することが示された。
論文 参考訳（メタデータ） (2020-12-03T12:31:07Z) - Safety Verification of Neural Network Controlled Systems [0.0]
本稿では,ニューラルネットワーク制御システムの安全性を検証するためのシステムレベルのアプローチを提案する。
単純な動作と複雑な動作の両方をキャプチャできるコントローラのジェネリックモデルを想定します。
我々は,システム全体の到達可能な状態を正確に近似する到達可能性解析を行う。
論文 参考訳（メタデータ） (2020-11-10T15:26:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。