論文の概要: Finding Safety Violations of AI-Enabled Control Systems through the Lens of Synthesized Proxy Programs

• arxiv url: http://arxiv.org/abs/2410.04986v3
• Date: Tue, 21 Jan 2025 03:19:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:17:41.927169
• Title: Finding Safety Violations of AI-Enabled Control Systems through the Lens of Synthesized Proxy Programs
• Title（参考訳）: 合成プロキシプログラムのレンズによるAI対応制御システムの安全性違反の発見
• Authors: Jieke Shi, Zhou Yang, Junda He, Bowen Xu, Dongsun Kim, DongGyun Han, David Lo,
• Abstract要約: ファルシフィケーションは、制御システムが正式な安全仕様に違反する原因となる入力信号を見つけることを目的としている。 AI対応制御システムにファルシフィケーションを適用することは、2つの大きな課題をもたらす。 本稿では,AI対応制御システムに適したファルシフィケーションフレームワークであるSynthifyを紹介する。
• 参考スコア（独自算出の注目度）: 11.871234525443759
• License:
• Abstract: Given the increasing adoption of modern AI-enabled control systems, ensuring their safety and reliability has become a critical task in software testing. One prevalent approach to testing control systems is falsification, which aims to find an input signal that causes the control system to violate a formal safety specification using optimization algorithms. However, applying falsification to AI-enabled control systems poses two significant challenges: (1)~it requires the system to execute numerous candidate test inputs, which can be time-consuming, particularly for systems with AI models that have many parameters, and (2)~multiple safety requirements are typically defined as a conjunctive specification, which is difficult for existing falsification approaches to comprehensively cover. This paper introduces Synthify, a falsification framework tailored for AI-enabled control systems. Our approach performs falsification in a two-phase process. At the start, Synthify synthesizes a program that implements one or a few linear controllers to serve as a proxy for the AI controller. This proxy program mimics the AI controller's functionality but is computationally more efficient. Then, Synthify employs the $\epsilon$-greedy strategy to sample a promising sub-specification from the conjunctive safety specification. It then uses a Simulated Annealing-based falsification algorithm to find violations of the sampled sub-specification for the control system. To evaluate Synthify, we compare it to PSY-TaLiRo, a state-of-the-art and industrial-strength falsification tool, on 8 publicly available control systems. On average, Synthify achieves a 83.5% higher success rate in falsification compared to PSY-TaLiRo with the same budget of falsification trials. The safety violations found by Synthify are also more diverse than those found by PSY-TaLiRo, covering 137.7% more sub-specifications.
• Abstract（参考訳）: 現代のAI対応制御システムの採用が増加する中、その安全性と信頼性がソフトウェアテストにおいて重要な課題となっている。 これは、最適化アルゴリズムを用いて制御システムが正式な安全仕様に違反する原因となる入力信号を見つけることを目的としている。 しかし、AI対応制御システムにファルシフィケーションを適用することには、2つの重要な課題がある:(1) - 多くのパラメータを持つAIモデルを持つシステムにおいて、多くの候補テストインプットを実行するためにシステムが必要であり、(2) - 複数の安全性要件は典型的には共役仕様として定義され、既存のファルシフィケーションアプローチが包括的にカバーすることが困難である。 本稿では,AI対応制御システムに適したファルシフィケーションフレームワークであるSynthifyを紹介する。 我々の手法は2相プロセスでファルシフィケーションを行う。 Synthifyは最初、AIコントローラのプロキシとして機能する1つまたは数つのリニアコントローラを実装するプログラムを合成する。 このプロキシプログラムはAIコントローラの機能を模倣するが、計算効率は向上する。 次に、Synthifyは$\epsilon$-greedy戦略を使用して、接続安全仕様から有望なサブ仕様をサンプリングする。 次に、シミュレートされたアニーリングベースのファルシフィケーションアルゴリズムを使用して、制御システムのサンプル化されたサブ仕様の違反を検出する。 Synthifyを評価するために,PSY-TaLiRoと比較した。 Synthifyは、falsificationの予算と同じPSY-TaLiRoと比較して、平均83.5%の成功率を達成した。 Synthifyが発見した安全違反もPSY-TaLiRoのものよりも多様であり、サブタイプが137.7%多い。

関連論文リスト

• Scalable Surrogate Verification of Image-based Neural Network Control Systems using Composition and Unrolling [9.633494094538017]
  本研究では,実世界に代わって条件付き生成逆数ネットワーク(cGAN)をイメージジェネレータとして訓練し,サロゲート検証手法を提案する。 我々は、cGANとニューラルネットワークコントローラとともにシステムのダイナミクスを構成することで、一段階のエラーを克服する。 単一ステップの合成を繰り返し、制御ループの複数のステップを大規模ニューラルネットワークに展開することで、マルチステップエラーを低減する。
  論文  参考訳（メタデータ） (2024-05-28T19:56:53Z)
• Stochastic Optimal Control Matching [53.156277491861985]
  最適制御のための新しい反復拡散最適化(IDO)技術である最適制御マッチング(SOCM)を導入する。 この制御は、一致するベクトル場に適合しようとすることで、最小二乗問題を通じて学習される。 実験により,本アルゴリズムは最適制御のための既存のすべての IDO 手法よりも低い誤差を実現する。
  論文  参考訳（メタデータ） (2023-12-04T16:49:43Z)
• A General Framework for Verification and Control of Dynamical Models via Certificate Synthesis [54.959571890098786]
  システム仕様を符号化し、対応する証明書を定義するためのフレームワークを提供する。 コントローラと証明書を形式的に合成する自動化手法を提案する。 我々のアプローチは、ニューラルネットワークの柔軟性を利用して、制御のための安全な学習の幅広い分野に寄与する。
  論文  参考訳（メタデータ） (2023-09-12T09:37:26Z)
• When Authentication Is Not Enough: On the Security of Behavioral-Based Driver Authentication Systems [53.2306792009435]
  我々はランダムフォレストとリカレントニューラルネットワークアーキテクチャに基づく2つの軽量ドライバ認証システムを開発した。 我々は,SMARTCANとGANCANという2つの新しいエスケープアタックを開発することで,これらのシステムに対する攻撃を最初に提案する。 コントリビューションを通じて、これらのシステムを安全に採用する実践者を支援し、車の盗難を軽減し、ドライバーのセキュリティを高める。
  論文  参考訳（メタデータ） (2023-06-09T14:33:26Z)
• Quality-Based Conditional Processing in Multi-Biometrics: Application to Sensor Interoperability [63.05238390013457]
  2007年のバイオセキュリティ・マルチモーダル・アセスメント・キャンペーンにおいて,ATVS-UAM融合手法を品質ベースで評価し,評価を行った。 我々のアプローチは線形ロジスティック回帰に基づいており、融合したスコアはログライクな比率になる傾向にある。 その結果,提案手法はルールベースの核融合方式よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-11-24T12:11:22Z)
• Falsification of Cyber-Physical Systems using Bayesian Optimization [0.5407319151576264]
  シミュレーションに基づくCPSのファルシフィケーションは、システムの正確性に対する信頼性を高めるための実用的なテスト手法である。 各シミュレーションは典型的に計算集約的であるため、仕様をファルシフィケーションするために必要なシミュレーションの数を減らすことが重要なステップである。 本研究では,入力信号のパラメトリゼーションと仕様評価の関係を記述したサロゲートモデルを,サンプル効率で学習するベイズ最適化(BO)について検討する。
  論文  参考訳（メタデータ） (2022-09-14T15:52:19Z)
• Benchmarking Quality-Dependent and Cost-Sensitive Score-Level Multimodal Biometric Fusion Algorithms [58.156733807470395]
  本稿では,BioSecure DS2 (Access Control) 評価キャンペーンの枠組み内で実施したベンチマーク研究について報告する。 キャンペーンは、約500人の中規模施設における物理的アクセス制御の適用を目標とした。 我々の知る限りでは、これは品質ベースのマルチモーダル融合アルゴリズムをベンチマークする最初の試みである。
  論文  参考訳（メタデータ） (2021-11-17T13:39:48Z)
• Fingerprint recognition with embedded presentation attacks detection: are we ready? [6.0168714922994075]
  セキュリティアプリケーションのための指紋認証システムの拡散は,ソフトウェアベースのプレゼンテーション攻撃アルゴリズム(PAD)をそのようなシステムに組み込むことを急ぐ。 現在の研究では、指紋認証システムに組み込む際の有効性についてはあまり言及されていない。 本稿では,PADと検証段階を逐次実施する場合の2つの個別システムの受信者動作特性(ROC)の関係を確率論的にモデル化した性能シミュレータを提案する。
  論文  参考訳（メタデータ） (2021-10-20T13:53:16Z)
• Fast Falsification of Neural Networks using Property Directed Testing [0.1529342790344802]
  本稿では,反例の探索を指示するニューラルネットワークの偽造アルゴリズムを提案する。 提案アルゴリズムは, 微分自由サンプリングに基づく最適化手法を用いる。 フェールシフィケーション手順は、他の検証ツールが安全でないと報告しているすべての安全でないインスタンスを検出する。
  論文  参考訳（メタデータ） (2021-04-26T09:16:27Z)
• A Novel Anomaly Detection Algorithm for Hybrid Production Systems based on Deep Learning and Timed Automata [73.38551379469533]
  DAD:DeepAnomalyDetectionは,ハイブリッド生産システムにおける自動モデル学習と異常検出のための新しいアプローチである。 深層学習とタイムドオートマトンを組み合わせて、観察から行動モデルを作成する。 このアルゴリズムは実システムからの2つのデータを含む少数のデータセットに適用され、有望な結果を示している。
  論文  参考訳（メタデータ） (2020-10-29T08:27:43Z)
• Controlled time series generation for automotive software-in-the-loop testing using GANs [0.5352699766206808]
  オートマチックメカトロニクスシステムのテストは、部分的にはソフトウェア・イン・ザ・ループ・アプローチを使用し、システム・アンダー・テストのインプットを体系的にカバーすることが大きな課題である。 ひとつのアプローチは、テストプロセスの制御とフィードバックを容易にする入力シーケンスを作成することだが、現実的なシナリオにシステムを公開できない。 もうひとつは、現実を説明できるフィールド操作から記録されたシーケンスを再生するが、広く使われるには十分なキャパシティの十分なラベル付きデータセットを収集する必要があるため、コストがかかる。 この研究は、GAN(Generative Adrial Networks)のよく知られた教師なし学習フレームワークを適用して、記録された車内データのラベルなしデータセットを学習する。
  論文  参考訳（メタデータ） (2020-02-16T16:19:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。