論文の概要: Efficient Global Robustness Certification of Neural Networks via
Interleaving Twin-Network Encoding
- arxiv url: http://arxiv.org/abs/2203.14141v1
- Date: Sat, 26 Mar 2022 19:23:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-29 17:47:39.251399
- Title: Efficient Global Robustness Certification of Neural Networks via
Interleaving Twin-Network Encoding
- Title（参考訳）: インターリービングツインネットワーク符号化によるニューラルネットワークの効率的な大域ロバスト性証明
- Authors: Zhilu Wang, Chao Huang, Qi Zhu
- Abstract要約: 混合整数線形プログラミング(MILP)問題として、ReLUアクティベーション機能付きニューラルネットワークのグローバルロバスト性認証を定式化する。
我々のアプローチは、ニューラルネットワークの2つのコピーを並べて符号化する、新しいインターリービングツインネットワーク符号化スキームを含む。
クローズドループ制御の安全性検証のケーススタディを行い,本手法の重要性と実用性を実証した。
- 参考スコア（独自算出の注目度）: 8.173681464694651
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The robustness of deep neural networks has received significant interest
recently, especially when being deployed in safety-critical systems, as it is
important to analyze how sensitive the model output is under input
perturbations. While most previous works focused on the local robustness
property around an input sample, the studies of the global robustness property,
which bounds the maximum output change under perturbations over the entire
input space, are still lacking. In this work, we formulate the global
robustness certification for neural networks with ReLU activation functions as
a mixed-integer linear programming (MILP) problem, and present an efficient
approach to address it. Our approach includes a novel interleaving twin-network
encoding scheme, where two copies of the neural network are encoded
side-by-side with extra interleaving dependencies added between them, and an
over-approximation algorithm leveraging relaxation and refinement techniques to
reduce complexity. Experiments demonstrate the timing efficiency of our work
when compared with previous global robustness certification methods and the
tightness of our over-approximation. A case study of closed-loop control safety
verification is conducted, and demonstrates the importance and practicality of
our approach for certifying the global robustness of neural networks in
safety-critical systems.
- Abstract（参考訳）: 深層ニューラルネットワークの堅牢性は、特に安全クリティカルなシステムにデプロイされている場合、入力摂動下でモデル出力がどれほど敏感であるかを分析することが重要であるため、近年大きな関心を集めている。
以前のほとんどの作品は入力サンプル周辺の局所的ロバスト性に焦点が当てられていたが、入力空間全体の摂動下での最大出力変化を制限する大域的ロバスト性の研究はまだ不足している。
本稿では,混合整数線形プログラミング(milp)問題として,reluアクティベーション関数を用いたニューラルネットワークのグローバルロバスト性証明を定式化し,それに対処するための効率的なアプローチを提案する。
提案手法は, ニューラルネットワークの2つのコピーを並列にエンコードし, それらの間欠的な依存関係を付加する, 新たな2重ネットワーク符号化方式と, 緩和と精細化を活用し, 複雑さを低減した近似アルゴリズムを含む。
従来のグローバルロバスト性認証手法と比較した場合の作業のタイミング効率と過近似の厳密性を示す実験を行った。
安全クリティカルシステムにおけるニューラルネットワークのグローバルロバスト性を検証するためのアプローチの重要性と実用性を実証し,閉ループ制御安全性検証の事例研究を行った。
関連論文リスト
- Learning-Based Verification of Stochastic Dynamical Systems with Neural Network Policies [7.9898826915621965]
我々は、他のニューラルネットワークをトレーニングする検証手順を使用し、ポリシーがタスクを満足することを示す証明書として機能する。
リーチ回避タスクでは、この証明ネットワークがリーチ回避スーパーマーチンゲール(RASM)であることを示すのに十分である。
論文 参考訳（メタデータ） (2024-06-02T18:19:19Z) - Certifying Global Robustness for Deep Neural Networks [3.8556106468003613]
グローバルなディープニューラルネットワークは、すべての意味のある入力に対する摂動に抵抗する。
現在のロバストネス認証手法は、局所ロバストネスを強調し、スケールと一般化に苦慮している。
本稿では,ディープニューラルネットワークのグローバルロバスト性を評価・検証するための体系的かつ効率的な手法を提案する。
論文 参考訳（メタデータ） (2024-05-31T00:46:04Z) - Quantization-aware Interval Bound Propagation for Training Certifiably
Robust Quantized Neural Networks [58.195261590442406]
我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。
近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。
本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
論文 参考訳（メタデータ） (2022-11-29T13:32:38Z) - A Tool for Neural Network Global Robustness Certification and Training [12.349979558107496]
認定されたグローバルロバストネットワークは、可能なネットワーク入力に対してロバスト性を確保することができる。
最先端のグローバルロバスト性認証アルゴリズムは、数千のニューロンを持つネットワークのみを認証することができる。
本稿では,GPUによるグローバルロバストネス認証フレームワークGROCETを提案する。
論文 参考訳（メタデータ） (2022-08-15T15:58:16Z) - On the Robustness and Anomaly Detection of Sparse Neural Networks [28.832060124537843]
スパシティーによってネットワークがより堅牢になり、異常検知がより良くなることを示す。
また, 構造的疎水性は, 高価なロバスト性および検出方法の複雑さを低減するのに大いに有効であることを示す。
本稿では,適切な刈り取り法から得られた重みの感度を利用して異常サンプルを検出する新しい手法であるSensNormを紹介する。
論文 参考訳（メタデータ） (2022-07-09T09:03:52Z) - On Feature Learning in Neural Networks with Global Convergence
Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。
入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。
また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文 参考訳（メタデータ） (2022-04-22T15:56:43Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。
我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
論文 参考訳（メタデータ） (2021-02-23T20:59:30Z) - Enabling certification of verification-agnostic networks via
memory-efficient semidefinite programming [97.40955121478716]
本稿では,ネットワークアクティベーションの総数にのみ線形なメモリを必要とする一階二重SDPアルゴリズムを提案する。
L-inf の精度は 1% から 88% ,6% から 40% に改善した。
また,変分オートエンコーダの復号器に対する2次安定性仕様の厳密な検証を行った。
論文 参考訳（メタデータ） (2020-10-22T12:32:29Z) - Global Robustness Verification Networks [33.52550848953545]
3つのコンポーネントからなるグローバルロバストネス検証フレームワークを開発した。
実現可能なルールベースのバックプロパゲーションを可能にする新しいネットワークアーキテクチャ Sliding Door Network (SDN)
合成データと実データの両方にアプローチの有効性を示す。
論文 参考訳（メタデータ） (2020-06-08T08:09:20Z) - BiDet: An Efficient Binarized Object Detector [96.19708396510894]
本稿では,効率的な物体検出のためのバイナライズニューラルネットワークのBiDetを提案する。
我々のBiDetは、冗長除去による物体検出にバイナリニューラルネットワークの表現能力を完全に活用している。
我々の手法は、最先端のバイナリニューラルネットワークを大きなマージンで上回る。
論文 参考訳（メタデータ） (2020-03-09T08:16:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。