論文の概要: QEBVerif: Quantization Error Bound Verification of Neural Networks
- arxiv url: http://arxiv.org/abs/2212.02781v2
- Date: Tue, 23 May 2023 14:06:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 00:52:24.422752
- Title: QEBVerif: Quantization Error Bound Verification of Neural Networks
- Title（参考訳）: QEBVerif:ニューラルネットワークの量子化誤差境界検証
- Authors: Yedi Zhang and Fu Song and Jun Sun
- Abstract要約: 量子化は、エッジデバイスにディープニューラルネットワーク(DNN)をデプロイするための有望なテクニックとして広く見なされている。
既存の検証方法は、個々のニューラルネットワーク(DNNまたはQNN)または部分量子化のための量子化エラーにフォーカスする。
本稿では、重みとアクティベーションテンソルの両方を量子化する量子化誤差境界検証手法QEBVerifを提案する。
- 参考スコア（独自算出の注目度）: 6.327780998441913
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To alleviate the practical constraints for deploying deep neural networks
(DNNs) on edge devices, quantization is widely regarded as one promising
technique. It reduces the resource requirements for computational power and
storage space by quantizing the weights and/or activation tensors of a DNN into
lower bit-width fixed-point numbers, resulting in quantized neural networks
(QNNs). While it has been empirically shown to introduce minor accuracy loss,
critical verified properties of a DNN might become invalid once quantized.
Existing verification methods focus on either individual neural networks (DNNs
or QNNs) or quantization error bound for partial quantization. In this work, we
propose a quantization error bound verification method, named QEBVerif, where
both weights and activation tensors are quantized. QEBVerif consists of two
parts, i.e., a differential reachability analysis (DRA) and a mixed-integer
linear programming (MILP) based verification method. DRA performs difference
analysis between the DNN and its quantized counterpart layer-by-layer to
compute a tight quantization error interval efficiently. If DRA fails to prove
the error bound, then we encode the verification problem into an equivalent
MILP problem which can be solved by off-the-shelf solvers. Thus, QEBVerif is
sound, complete, and reasonably efficient. We implement QEBVerif and conduct
extensive experiments, showing its effectiveness and efficiency.
- Abstract（参考訳）: エッジデバイスにディープニューラルネットワーク(DNN)をデプロイする実践的制約を軽減するため、量子化は有望な1つのテクニックとして広く見なされている。
これは、DNNの重みと/またはアクティベーションテンソルを低いビット幅の固定点数に量子化し、量子化されたニューラルネットワーク(QNN)をもたらすことにより、計算力と記憶空間のリソース要求を低減させる。
実験により精度損失が小さいことが示されているが、DNNの臨界検証特性は一度量子化されると無効になる可能性がある。
既存の検証方法は、個々のニューラルネットワーク(DNNまたはQNN)または部分量子化のための量子化エラーにフォーカスする。
本研究では,重みと活性化テンソルの両方を量子化する量子化誤差境界検証法であるqebverifを提案する。
QEBVerif は微分到達可能性解析 (DRA) と混合整数線形計画法 (MILP) の2つの部分から構成される。
DRAは、DNNとその量子化対応層間の差分解析を行い、タイトな量子化誤差間隔を効率的に計算する。
DRAがエラー境界の証明に失敗した場合、検証問題を等価なMILP問題にエンコードし、既製の解法で解ける。
したがって、QEBVerifは健全で完全で、合理的に効率的である。
我々はQEBVerifを実装し、その有効性と効率を示す広範な実験を行う。
関連論文リスト
- SPFQ: A Stochastic Algorithm and Its Error Analysis for Neural Network
Quantization [5.982922468400901]
ニューラルネットワークの重みの順に得られる誤差境界を達成可能であることを示す。
我々は、無限アルファベットと入力データに対する最小の仮定の下で、完全なネットワーク境界を達成できることを証明した。
論文 参考訳（メタデータ） (2023-09-20T00:35:16Z) - QVIP: An ILP-based Formal Verification Approach for Quantized Neural
Networks [14.766917269393865]
量子化は、浮動小数点数に匹敵する精度でニューラルネットワークのサイズを減らすための有望な技術として登場した。
そこで本研究では,QNNに対する新しい,効率的な形式検証手法を提案する。
特に、QNNの検証問題を整数線形制約の解法に還元する符号化を初めて提案する。
論文 参考訳（メタデータ） (2022-12-10T03:00:29Z) - Quantization-aware Interval Bound Propagation for Training Certifiably
Robust Quantized Neural Networks [58.195261590442406]
我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。
近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。
本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
論文 参考訳（メタデータ） (2022-11-29T13:32:38Z) - Post-training Quantization for Neural Networks with Provable Guarantees [9.58246628652846]
学習後ニューラルネットワーク量子化手法であるGPFQを,欲求経路追従機構に基づいて修正する。
単層ネットワークを定量化するためには、相対二乗誤差は本質的に重み数で線形に減衰する。
論文 参考訳（メタデータ） (2022-01-26T18:47:38Z) - Cluster-Promoting Quantization with Bit-Drop for Minimizing Network
Quantization Loss [61.26793005355441]
クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。
DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。
本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
論文 参考訳（メタデータ） (2021-09-05T15:15:07Z) - Filter Pre-Pruning for Improved Fine-tuning of Quantized Deep Neural
Networks [0.0]
本稿では,DNNの微調整を妨害するフィルタを除去するPruning for Quantization (PfQ)と呼ばれる新しいプルーニング手法を提案する。
良く知られたモデルとデータセットを用いた実験により,提案手法が類似したモデルサイズで高い性能を実現することを確認した。
論文 参考訳（メタデータ） (2020-11-13T04:12:54Z) - Toward Trainability of Quantum Neural Networks [87.04438831673063]
量子ニューラルネットワーク(QNN)は、量子スピードアップを達成するために古典的ニューラルネットワークの一般化として提案されている。
QNNのトレーニングには、入力キュービット数に指数関数的に勾配速度がなくなるため、非常に大きなボトルネックが存在する。
木テンソルとステップ制御された構造を持つQNNを二分分類に適用し,ランダムな構造を持つQNNと比較してより高速な収束率と精度を示す。
論文 参考訳（メタデータ） (2020-11-12T08:32:04Z) - On the learnability of quantum neural networks [132.1981461292324]
本稿では,量子ニューラルネットワーク(QNN)の学習可能性について考察する。
また,概念をQNNで効率的に学習することができれば,ゲートノイズがあってもQNNで効果的に学習できることを示す。
論文 参考訳（メタデータ） (2020-07-24T06:34:34Z) - AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。
我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
論文 参考訳（メタデータ） (2020-07-14T09:07:29Z) - AUSN: Approximately Uniform Quantization by Adaptively Superimposing
Non-uniform Distribution for Deep Neural Networks [0.7378164273177589]
既存の一様および非一様量子化法は、表現範囲と表現解像度の間に固有の矛盾を示す。
重みとアクティベーションを定量化する新しい量子化法を提案する。
鍵となる考え方は、複数の非一様量子化値、すなわち AUSN を適応的に重ね合わせることで、ユニフォーム量子化を近似することである。
論文 参考訳（メタデータ） (2020-07-08T05:10:53Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳（メタデータ） (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。