論文の概要: Quantization-aware Interval Bound Propagation for Training Certifiably
Robust Quantized Neural Networks
- arxiv url: http://arxiv.org/abs/2211.16187v1
- Date: Tue, 29 Nov 2022 13:32:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-30 16:57:42.447885
- Title: Quantization-aware Interval Bound Propagation for Training Certifiably
Robust Quantized Neural Networks
- Title（参考訳）: 量子化・アウェア区間境界伝播による頑健な量子化ニューラルネットワークの訓練
- Authors: Mathias Lechner, {\DJ}or{\dj}e \v{Z}ikeli\'c, Krishnendu Chatterjee,
Thomas A. Henzinger, Daniela Rus
- Abstract要約: 我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。
近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。
本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
- 参考スコア（独自算出の注目度）: 58.195261590442406
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the problem of training and certifying adversarially robust
quantized neural networks (QNNs). Quantization is a technique for making neural
networks more efficient by running them using low-bit integer arithmetic and is
therefore commonly adopted in industry. Recent work has shown that
floating-point neural networks that have been verified to be robust can become
vulnerable to adversarial attacks after quantization, and certification of the
quantized representation is necessary to guarantee robustness. In this work, we
present quantization-aware interval bound propagation (QA-IBP), a novel method
for training robust QNNs. Inspired by advances in robust learning of
non-quantized networks, our training algorithm computes the gradient of an
abstract representation of the actual network. Unlike existing approaches, our
method can handle the discrete semantics of QNNs. Based on QA-IBP, we also
develop a complete verification procedure for verifying the adversarial
robustness of QNNs, which is guaranteed to terminate and produce a correct
answer. Compared to existing approaches, the key advantage of our verification
procedure is that it runs entirely on GPU or other accelerator devices. We
demonstrate experimentally that our approach significantly outperforms existing
methods and establish the new state-of-the-art for training and certifying the
robustness of QNNs.
- Abstract（参考訳）: 本稿では,逆ロバスト量子化ニューラルネットワーク(qnns)の学習と検証の問題について検討する。
量子化(quantization)は、低ビット整数演算を用いてニューラルネットワークを効率的に実行する技術であり、産業で一般的に採用されている。
近年の研究では、ロバストであることが証明された浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱になることが示されており、ロバスト性を保証するためには量子化表現の認証が必要である。
本稿では,頑健なqnnの学習法であるqa-ibp(quantization-aware interval bound propagation)を提案する。
非量子化ネットワークの堅牢な学習に触発されて、トレーニングアルゴリズムは実際のネットワークの抽象表現の勾配を計算する。
既存の手法とは異なり、本手法はQNNの個別意味論を処理できる。
また,QA-IBPに基づいて,QNNの対角ロバスト性を検証するための完全検証手法を開発した。
既存のアプローチと比較して、検証手順の重要な利点は、GPUや他のアクセラレータデバイスで完全に動作することです。
我々は,本手法が既存の手法を大幅に上回り,QNNの堅牢性をトレーニングし,証明するための新たな最先端技術を確立することを実験的に実証した。
関連論文リスト
- Learning-Based Verification of Stochastic Dynamical Systems with Neural Network Policies [7.9898826915621965]
我々は、他のニューラルネットワークをトレーニングする検証手順を使用し、ポリシーがタスクを満足することを示す証明書として機能する。
リーチ回避タスクでは、この証明ネットワークがリーチ回避スーパーマーチンゲール(RASM)であることを示すのに十分である。
論文 参考訳（メタデータ） (2024-06-02T18:19:19Z) - An Automata-Theoretic Approach to Synthesizing Binarized Neural Networks [13.271286153792058]
量子ニューラルネットワーク(QNN)が開発され、二項化ニューラルネットワーク(BNN)は特殊なケースとしてバイナリ値に制限されている。
本稿では,指定された特性を満たすBNNの自動合成手法を提案する。
論文 参考訳（メタデータ） (2023-07-29T06:27:28Z) - QVIP: An ILP-based Formal Verification Approach for Quantized Neural
Networks [14.766917269393865]
量子化は、浮動小数点数に匹敵する精度でニューラルネットワークのサイズを減らすための有望な技術として登場した。
そこで本研究では,QNNに対する新しい,効率的な形式検証手法を提案する。
特に、QNNの検証問題を整数線形制約の解法に還元する符号化を初めて提案する。
論文 参考訳（メタデータ） (2022-12-10T03:00:29Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Can pruning improve certified robustness of neural networks? [106.03070538582222]
ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。
実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。
さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
論文 参考訳（メタデータ） (2022-06-15T05:48:51Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Scalable Verification of Quantized Neural Networks (Technical Report) [14.04927063847749]
ビットベクトル仕様を持つ量子化ニューラルネットワークのビットエクササイズ実装はPSPACEハードであることを示す。
量子化されたニューラルネットワークのSMTに基づく検証をよりスケーラブルにするための3つの手法を提案する。
論文 参考訳（メタデータ） (2020-12-15T10:05:37Z) - Encoding the latent posterior of Bayesian Neural Networks for
uncertainty quantification [10.727102755903616]
我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。
可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。
我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
論文 参考訳（メタデータ） (2020-12-04T19:50:09Z) - Stochastic Markov Gradient Descent and Training Low-Bit Neural Networks [77.34726150561087]
本稿では,量子化ニューラルネットワークのトレーニングに適用可能な離散最適化手法であるGradient Markov Descent (SMGD)を紹介する。
アルゴリズム性能の理論的保証と数値的な結果の促進を提供する。
論文 参考訳（メタデータ） (2020-08-25T15:48:15Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。