論文の概要: Constraint-Aware Refinement for Safety Verification of Neural Feedback Loops

• arxiv url: http://arxiv.org/abs/2410.00145v1
• Date: Mon, 30 Sep 2024 18:36:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 14:40:28.517232
• Title: Constraint-Aware Refinement for Safety Verification of Neural Feedback Loops
• Title（参考訳）: ニューラルフィードバックループの安全性検証のための制約対応リファインメント
• Authors: Nicholas Rober, Jonathan P. How,
• Abstract要約: ニューラルネットワーク(NN)は、自律システムのための制御パイプラインの設計において、ますます人気が高まっている。 NNの性能は、アウト・オブ・ディストリビューションデータや敵攻撃の存在下で低下する可能性があるため、NNを制御パイプラインに持つシステムは、安全クリティカルな状況に適用する前に安全性を保証する必要がある。 本稿では,NFLの安全制約を明示的に利用し,RSOAの保守性を低下させる効率的な改良戦略を提案する。
• 参考スコア（独自算出の注目度）: 30.673224359232595
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks (NNs) are becoming increasingly popular in the design of control pipelines for autonomous systems. However, since the performance of NNs can degrade in the presence of out-of-distribution data or adversarial attacks, systems that have NNs in their control pipelines, i.e., neural feedback loops (NFLs), need safety assurances before they can be applied in safety-critical situations. Reachability analysis offers a solution to this problem by calculating reachable sets that bound the possible future states of an NFL and can be checked against dangerous regions of the state space to verify that the system does not violate safety constraints. Since exact reachable sets are generally intractable to calculate, reachable set over approximations (RSOAs) are typically used. The problem with RSOAs is that they can be overly conservative, making it difficult to verify the satisfaction of safety constraints, especially over long time horizons or for highly nonlinear NN control policies. Refinement strategies such as partitioning or symbolic propagation are typically used to limit the conservativeness of RSOAs, but these approaches come with a high computational cost and often can only be used to verify safety for simple reachability problems. This paper presents Constraint-Aware Refinement for Verification (CARV): an efficient refinement strategy that reduces the conservativeness of RSOAs by explicitly using the safety constraints on the NFL to refine RSOAs only where necessary. We demonstrate that CARV can verify the safety of an NFL where other approaches either fail or take up to 60x longer and 40x the memory.
• Abstract（参考訳）: ニューラルネットワーク(NN)は、自律システムのための制御パイプラインの設計において、ますます人気が高まっている。 しかし、NNのパフォーマンスは、アウト・オブ・ディストリビューションデータや敵攻撃の存在下で低下する可能性があるため、NNを制御パイプラインに持つシステム、すなわちニューラルフィードバックループ(NFL)は、安全上重要な状況に適用する前に安全性を保証する必要がある。 到達可能な集合を計算し、NFLの将来の状態を拘束し、状態空間の危険な領域に対してチェックし、システムが安全制約に違反しないことを確認することで、この問題の解決を提供する。 正確な到達可能な集合は一般に計算が困難であるため、近似(RSOA)上の到達可能な集合は一般的に用いられる。 RSOAの問題は、過度に保守的であり、特に長期的地平線や高度に非線形なNN制御ポリシーにおいて、安全制約の満足度を検証することが困難であることである。 パーティショニングやシンボル伝搬といったリファインメント戦略は、一般的にRSOAの保守性を制限するために使用されるが、これらの手法は高い計算コストを伴い、単純な到達可能性問題に対する安全性を検証するためにのみ使用できる。 本稿では, NFLの安全制約を明示的に用いて, RSOAの保守性を低下させる効率的な改良戦略である Constraint-Aware Refinement for Verification (CARV) を提案する。 我々はCARVがNFLの安全性を検証できることを実証し、他のアプローチが失敗するか、最大60倍、40倍のメモリを消費することを示した。

関連論文リスト

• Provably Safe Neural Network Controllers via Differential Dynamic Logic [2.416907802598482]
  NNCS検証のための制御理論の再利用を可能にする最初の一般手法を提案する。 dLの安全な制御エンベロープに基づいて、NN検証によって証明されたNNの仕様を導出する。 本稿では,NNCS の無限時間安全に関する dL 証明によって,仕様に忠実な NNCS の証明が反映されていることを示す。
  論文  参考訳（メタデータ） (2024-02-16T16:15:25Z)
• Scaling #DNN-Verification Tools with Efficient Bound Propagation and Parallel Computing [57.49021927832259]
  ディープニューラルネットワーク(DNN)は多くのシナリオで異常な結果を示した強力なツールです。 しかし、それらの複雑な設計と透明性の欠如は、現実世界のアプリケーションに適用する際の安全性上の懸念を提起する。 DNNの形式的検証(FV)は、安全面の証明可能な保証を提供する貴重なソリューションとして登場した。
  論文  参考訳（メタデータ） (2023-12-10T13:51:25Z)
• Safe Neural Control for Non-Affine Control Systems with Differentiable Control Barrier Functions [58.19198103790931]
  本稿では,非アフィン制御系における安全クリティカル制御の問題に対処する。 制御バリア関数(CBF)を用いて,状態制約と制御制約の2次コストの最適化を2次プログラムのシーケンス(QP)にサブ最適化できることが示されている。 我々は,高次CBFをニューラル常微分方程式に基づく学習モデルに差分CBFとして組み込んで,非アフィン制御系の安全性を保証する。
  論文  参考訳（メタデータ） (2023-09-06T05:35:48Z)
• Enforcing Hard Constraints with Soft Barriers: Safe Reinforcement Learning in Unknown Stochastic Environments [84.3830478851369]
  本研究では,環境を協調的に学習し,制御ポリシーを最適化する安全な強化学習手法を提案する。 本手法は, 安全性の制約を効果的に適用し, シミュレーションにより測定したシステム安全率においてCMDPベースのベースライン法を著しく上回っている。
  論文  参考訳（メタデータ） (2022-09-29T20:49:25Z)
• Backward Reachability Analysis of Neural Feedback Loops: Techniques for Linear and Nonlinear Systems [59.57462129637796]
  本稿では,ニューラルネットワークを用いた閉ループシステムの安全性検証のための後方到達性アプローチを提案する。 フィードバックループにおけるNNの存在は、その活性化関数の非線形性や、NNモデルは一般に可逆的ではないため、ユニークな問題セットを示す。 フィードフォワードNNで表される制御ポリシを持つ線形系と非線形系のBP過近似を計算するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-28T13:17:28Z)
• Recursively Feasible Probabilistic Safe Online Learning with Control Barrier Functions [60.26921219698514]
  CBFをベースとした安全クリティカルコントローラのモデル不確実性を考慮した再構成を提案する。 次に、結果の安全制御器のポイントワイズ実現可能性条件を示す。 これらの条件を利用して、イベントトリガーによるオンラインデータ収集戦略を考案する。
  論文  参考訳（メタデータ） (2022-08-23T05:02:09Z)
• Backward Reachability Analysis for Neural Feedback Loops [40.989393438716476]
  本稿では,ニューラルネットワークを用いた閉ループシステムの安全性検証のための後方到達性アプローチを提案する。 フィードバックループにおけるNNの存在は、その活性化関数の非線形性や、NNモデルは一般に可逆的ではないため、ユニークな問題セットを示す。 本稿では,BP設定した推定値を所定の時間軸上で反復的に求めるアルゴリズムを提案し,計算コストを低くすることで,保守性を最大88%削減できることを示す。
  論文  参考訳（メタデータ） (2022-04-14T01:13:14Z)
• BarrierNet: A Safety-Guaranteed Layer for Neural Networks [50.86816322277293]
  BarrierNetは、ニューラルコントローラの安全性の制約が環境の変化に適応できるようにする。 本研究では,2次元空間と3次元空間における交通統合やロボットナビゲーションといった一連の制御問題について評価する。
  論文  参考訳（メタデータ） (2021-11-22T15:38:11Z)
• OVERT: An Algorithm for Safety Verification of Neural Network Control Policies for Nonlinear Systems [31.3812947670948]
  本稿では,ニューラルネットワーク制御ポリシーの安全性検証のための音響アルゴリズムOVERTを提案する。 OVERT の中心的な概念は、最適にきつく片方向の線形境界を持つ非線形関数を抽象化することである。 オーバートは、到達可能な集合の時間的および厳密性の両方において、既存の方法と好意的に比較する。
  論文  参考訳（メタデータ） (2021-08-03T00:41:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。