論文の概要: QEBVerif: Quantization Error Bound Verification of Neural Networks
- arxiv url: http://arxiv.org/abs/2212.02781v1
- Date: Tue, 6 Dec 2022 06:34:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-07 15:57:11.707326
- Title: QEBVerif: Quantization Error Bound Verification of Neural Networks
- Title（参考訳）: QEBVerif:ニューラルネットワークの量子化誤差境界検証
- Authors: Yedi Zhang and Fu Song and Jun Sun
- Abstract要約: ディープニューラルネットワーク(DNN)のための量子化誤差境界検証法(QEBVerif)を提案する。
QEBVerifは、差分到達可能性解析(DRA)と混合整数線形プログラミング(MILP)に基づく検証方法の2つの分析から成り立っている。
我々は、QEBVerifの有効性と効率を示す広範な実験を行った。
- 参考スコア（独自算出の注目度）: 6.327780998441913
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While deep neural networks (DNNs) have demonstrated impressive performance in
solving many challenging tasks, they are limited to resource-constrained
devices owing to their demand for computation power and storage space.
Quantization is one of the most promising techniques to address this issue by
quantizing the weights and/or activation tensors of a DNN into lower bit-width
fixed-point numbers. While quantization has been empirically shown to introduce
minor accuracy loss, it lacks formal guarantees on that, especially when the
resulting quantized neural networks (QNNs) are deployed in safety-critical
applications. A majority of existing verification methods focus exclusively on
individual neural networks, either DNNs or QNNs. While promising attempts have
been made to verify the quantization error bound between DNNs and their
quantized counterparts, they are not complete and more importantly do not
support fully quantified neural networks, namely, only weights are quantized.
To fill this gap, in this work, we propose a quantization error bound
verification method (QEBVerif), where both weights and activation tensors are
quantized. QEBVerif consists of two analyses: a differential reachability
analysis (DRA) and a mixed-integer linear programming (MILP) based verification
method. DRA performs difference analysis between the DNN and its quantized
counterpart layer-by-layer to efficiently compute a tight quantization error
interval. If it fails to prove the error bound, then we encode the verification
problem into an equivalent MILP problem which can be solved by off-the-shelf
solvers. Thus, QEBVerif is sound, complete, and arguably efficient. We
implement QEBVerif in a tool and conduct extensive experiments, showing its
effectiveness and efficiency.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、多くの課題を解決する上で素晴らしいパフォーマンスを示しているが、計算能力とストレージスペースの需要のため、リソース制限されたデバイスに限定されている。
量子化は、DNNの重みやアクティベーションテンソルを低ビット幅の固定点数に量子化することでこの問題に対処する最も有望な手法の1つである。
量子化は、小さな精度の損失をもたらすことが実証的に示されているが、特にqnn(quantized neural network)が安全クリティカルなアプリケーションに配置されている場合に、それに対する正式な保証が欠けている。
既存の検証手法の大半は、個々のニューラルネットワーク(DNNまたはQNN)にのみフォーカスする。
DNN間の量子化エラーを検証するための有望な試みは行われているが、完全ではなく、さらに重要なのは、完全に量子化されたニューラルネットワークをサポートしていないことだ。
このギャップを埋めるため,本研究では,重みと活性化テンソルの両方を量子化する量子化誤差境界検証法(qebverif)を提案する。
QEBVerifは、微分到達可能性解析(DRA)と混合整数線形プログラミング(MILP)に基づく検証方法の2つの分析からなる。
DRAは、DNNとその量子化対応層間の差分解析を行い、タイトな量子化誤差間隔を効率的に計算する。
エラーバウンダリの証明に失敗した場合、検証問題をオフ・ザ・シェルフ・ソルバによって解決できる同等のmilp問題に符号化する。
したがって、QEBVerifは健全で完全で、間違いなく効率的である。
ツールにQEBVerifを実装し、その有効性と効率を示す広範な実験を行う。
関連論文リスト
- SPFQ: A Stochastic Algorithm and Its Error Analysis for Neural Network
Quantization [5.982922468400901]
ニューラルネットワークの重みの順に得られる誤差境界を達成可能であることを示す。
我々は、無限アルファベットと入力データに対する最小の仮定の下で、完全なネットワーク境界を達成できることを証明した。
論文 参考訳（メタデータ） (2023-09-20T00:35:16Z) - QVIP: An ILP-based Formal Verification Approach for Quantized Neural
Networks [14.766917269393865]
量子化は、浮動小数点数に匹敵する精度でニューラルネットワークのサイズを減らすための有望な技術として登場した。
そこで本研究では,QNNに対する新しい,効率的な形式検証手法を提案する。
特に、QNNの検証問題を整数線形制約の解法に還元する符号化を初めて提案する。
論文 参考訳（メタデータ） (2022-12-10T03:00:29Z) - Quantization-aware Interval Bound Propagation for Training Certifiably
Robust Quantized Neural Networks [58.195261590442406]
我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。
近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。
本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
論文 参考訳（メタデータ） (2022-11-29T13:32:38Z) - Post-training Quantization for Neural Networks with Provable Guarantees [9.58246628652846]
学習後ニューラルネットワーク量子化手法であるGPFQを,欲求経路追従機構に基づいて修正する。
単層ネットワークを定量化するためには、相対二乗誤差は本質的に重み数で線形に減衰する。
論文 参考訳（メタデータ） (2022-01-26T18:47:38Z) - Cluster-Promoting Quantization with Bit-Drop for Minimizing Network
Quantization Loss [61.26793005355441]
クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。
DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。
本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
論文 参考訳（メタデータ） (2021-09-05T15:15:07Z) - Filter Pre-Pruning for Improved Fine-tuning of Quantized Deep Neural
Networks [0.0]
本稿では,DNNの微調整を妨害するフィルタを除去するPruning for Quantization (PfQ)と呼ばれる新しいプルーニング手法を提案する。
良く知られたモデルとデータセットを用いた実験により,提案手法が類似したモデルサイズで高い性能を実現することを確認した。
論文 参考訳（メタデータ） (2020-11-13T04:12:54Z) - Toward Trainability of Quantum Neural Networks [87.04438831673063]
量子ニューラルネットワーク(QNN)は、量子スピードアップを達成するために古典的ニューラルネットワークの一般化として提案されている。
QNNのトレーニングには、入力キュービット数に指数関数的に勾配速度がなくなるため、非常に大きなボトルネックが存在する。
木テンソルとステップ制御された構造を持つQNNを二分分類に適用し,ランダムな構造を持つQNNと比較してより高速な収束率と精度を示す。
論文 参考訳（メタデータ） (2020-11-12T08:32:04Z) - On the learnability of quantum neural networks [132.1981461292324]
本稿では,量子ニューラルネットワーク(QNN)の学習可能性について考察する。
また,概念をQNNで効率的に学習することができれば,ゲートノイズがあってもQNNで効果的に学習できることを示す。
論文 参考訳（メタデータ） (2020-07-24T06:34:34Z) - AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。
我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
論文 参考訳（メタデータ） (2020-07-14T09:07:29Z) - AUSN: Approximately Uniform Quantization by Adaptively Superimposing
Non-uniform Distribution for Deep Neural Networks [0.7378164273177589]
既存の一様および非一様量子化法は、表現範囲と表現解像度の間に固有の矛盾を示す。
重みとアクティベーションを定量化する新しい量子化法を提案する。
鍵となる考え方は、複数の非一様量子化値、すなわち AUSN を適応的に重ね合わせることで、ユニフォーム量子化を近似することである。
論文 参考訳（メタデータ） (2020-07-08T05:10:53Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳（メタデータ） (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。