論文の概要: Automatic Perturbation Analysis for Scalable Certified Robustness and
Beyond
- arxiv url: http://arxiv.org/abs/2002.12920v3
- Date: Mon, 26 Oct 2020 03:26:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-28 01:37:15.178851
- Title: Automatic Perturbation Analysis for Scalable Certified Robustness and
Beyond
- Title（参考訳）: スケーラブルなロバスト性証明のための自動摂動解析
- Authors: Kaidi Xu, Zhouxing Shi, Huan Zhang, Yihan Wang, Kai-Wei Chang, Minlie
Huang, Bhavya Kailkhura, Xue Lin, Cho-Jui Hsieh
- Abstract要約: ニューラルネットワークに対する線形緩和に基づく摂動解析(LiRPA)は、堅牢性検証と認証防御のコアコンポーネントとなっている。
我々は任意のニューラルネットワーク構造上で摂動解析を可能にするための自動フレームワークを開発する。
我々は、Tiny ImageNetとDownscaled ImageNetのLiRPAベースの認証防御を実証する。
- 参考スコア（独自算出の注目度）: 171.07853346630057
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Linear relaxation based perturbation analysis (LiRPA) for neural networks,
which computes provable linear bounds of output neurons given a certain amount
of input perturbation, has become a core component in robustness verification
and certified defense. The majority of LiRPA-based methods focus on simple
feed-forward networks and need particular manual derivations and
implementations when extended to other architectures. In this paper, we develop
an automatic framework to enable perturbation analysis on any neural network
structures, by generalizing existing LiRPA algorithms such as CROWN to operate
on general computational graphs. The flexibility, differentiability and ease of
use of our framework allow us to obtain state-of-the-art results on LiRPA based
certified defense on fairly complicated networks like DenseNet, ResNeXt and
Transformer that are not supported by prior works. Our framework also enables
loss fusion, a technique that significantly reduces the computational
complexity of LiRPA for certified defense. For the first time, we demonstrate
LiRPA based certified defense on Tiny ImageNet and Downscaled ImageNet where
previous approaches cannot scale to due to the relatively large number of
classes. Our work also yields an open-source library for the community to apply
LiRPA to areas beyond certified defense without much LiRPA expertise, e.g., we
create a neural network with a probably flat optimization landscape by applying
LiRPA to network parameters. Our opensource library is available at
https://github.com/KaidiXu/auto_LiRPA.
- Abstract（参考訳）: リニア緩和に基づくニューラルネットワークの摂動解析(LiRPA)は、一定の入力摂動量を得た出力ニューロンの証明可能な線形境界を計算し、ロバスト性検証と認証防御のコアコンポーネントとなっている。
lirpaベースの手法の大部分は単純なフィードフォワードネットワークにフォーカスしており、他のアーキテクチャに拡張する場合、特定の手動導出と実装が必要である。
本稿では、CROWNなどの既存のLiRPAアルゴリズムを一般化し、任意のニューラルネットワーク構造上で摂動解析を可能にする自動フレームワークを開発する。
フレームワークの柔軟性、差別化性、使いやすさにより、以前の作業ではサポートされていないDenseNet、ResNeXt、Transformerのようなかなり複雑なネットワーク上で、LiRPAベースの認証された防御で最先端の結果を得ることができる。
我々のフレームワークは、認証された防御のためのLiRPAの計算複雑性を著しく低減する損失融合を可能にする。
今回,lirpaを基盤とした小規模イメージネットとダウンスケールイメージネットの認証防御を初めて実証し,それ以前のアプローチでは,クラス数が比較的多いためスケールできないことを示した。
例えば、ネットワークパラメータにLiRPAを適用することで、おそらくフラットな最適化環境を備えたニューラルネットワークを作成します。
オープンソースライブラリはhttps://github.com/KaidiXu/auto_LiRPAで公開しています。
関連論文リスト
- Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳（メタデータ） (2022-08-08T03:13:24Z) - Linearity Grafting: Relaxed Neuron Pruning Helps Certifiable Robustness [172.61581010141978]
証明可能な堅牢性は、安全クリティカルなシナリオでディープニューラルネットワーク(DNN)を採用する上で望ましい特性である。
線形性の適切なレベルを「グラフト」することで、神経細胞を戦略的に操作する新しいソリューションを提案する。
論文 参考訳（メタデータ） (2022-06-15T22:42:29Z) - Can pruning improve certified robustness of neural networks? [106.03070538582222]
ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。
実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。
さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
論文 参考訳（メタデータ） (2022-06-15T05:48:51Z) - Training Certifiably Robust Neural Networks with Efficient Local
Lipschitz Bounds [99.23098204458336]
認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。
提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
論文 参考訳（メタデータ） (2021-11-02T06:44:10Z) - Reduced-Order Neural Network Synthesis with Robustness Guarantees [0.0]
機械学習アルゴリズムは、デバイスがユーザのプライバシを改善し、レイテンシを低減し、エネルギー効率を高めるために、ローカルで実行するように適応されている。
この問題に対処するために、より大きなニューロンの入出力マッピングを近似する低次ニューラルネットワーク(ニューロンが少ない)を自動的に合成する手法を導入する。
この近似誤差に対する最悪の境界が得られ、このアプローチは幅広いニューラルネットワークアーキテクチャに適用することができる。
論文 参考訳（メタデータ） (2021-02-18T12:03:57Z) - Certifying Incremental Quadratic Constraints for Neural Networks via
Convex Optimization [2.388501293246858]
我々は,関心領域上のニューラルネットワークのマップ上で漸進的二次的制約を証明するための凸プログラムを提案する。
証明書は、(ローカル)Lipschitz連続性、片側Lipschitz連続性、反転性、および収縮などのいくつかの有用な特性をキャプチャできます。
論文 参考訳（メタデータ） (2020-12-10T21:15:00Z) - Weight Pruning via Adaptive Sparsity Loss [31.978830843036658]
近年、最先端のディープニューラルネットワークを圧縮する手段として、プルーニングニューラルネットワークが注目を集めている。
本稿では,ネットワークパラメータを最小限の計算オーバーヘッドで効率的に学習する頑健な学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-04T10:55:16Z) - Reach-SDP: Reachability Analysis of Closed-Loop Systems with Neural
Network Controllers via Semidefinite Programming [19.51345816555571]
本稿では,ニューラルネットワークを用いた線形時間変化システムの安全性検証のための新しいフォワードリーチビリティ解析手法を提案する。
半有限計画法を用いて、これらの近似到達可能な集合を計算できることが示される。
提案手法は,まずディープニューラルネットワークを用いて非線形モデル予測制御器を近似し,その解析ツールを用いて閉ループシステムの有限時間到達性と制約満足度を証明した。
論文 参考訳（メタデータ） (2020-04-16T18:48:25Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳（メタデータ） (2020-02-10T16:20:02Z) - Lossless Compression of Deep Neural Networks [17.753357839478575]
ディープニューラルネットワークは、画像や言語認識など、多くの予測モデリングタスクで成功している。
モバイルデバイスのような限られた計算資源の下でこれらのネットワークをデプロイすることは困難である。
生成した出力を変更せずに、ニューラルネットワークの単位と層を除去するアルゴリズムを導入する。
論文 参考訳（メタデータ） (2020-01-01T15:04:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。