Fugu-MT 論文翻訳(概要): Towards Efficient Verification of Quantized Neural Networks

論文の概要: Towards Efficient Verification of Quantized Neural Networks

arxiv url: http://arxiv.org/abs/2312.12679v1
Date: Wed, 20 Dec 2023 00:43:13 GMT
ステータス: 処理完了
システム内更新日: 2023-12-21 17:11:44.094215
Title: Towards Efficient Verification of Quantized Neural Networks
Title（参考訳）: 量子化ニューラルネットワークの有効検証に向けて
Authors: Pei Huang, Haoze Wu, Yuting Yang, Ieva Daukantas, Min Wu, Yedi Zhang and Clark Barrett
Abstract要約: 量子化は、深層ニューラルネットワークモデルにおける浮動小数点演算を整数演算に置き換える。本研究では,勾配に基づく探索手法と有界伝播手法を用いて,効率を向上できることを示す。
参考スコア（独自算出の注目度）: 9.352320240912109
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Quantization replaces floating point arithmetic with integer arithmetic in deep neural network models, providing more efficient on-device inference with less power and memory. In this work, we propose a framework for formally verifying properties of quantized neural networks. Our baseline technique is based on integer linear programming which guarantees both soundness and completeness. We then show how efficiency can be improved by utilizing gradient-based heuristic search methods and also bound-propagation techniques. We evaluate our approach on perception networks quantized with PyTorch. Our results show that we can verify quantized networks with better scalability and efficiency than the previous state of the art.
Abstract（参考訳）: 量子化は、ディープニューラルネットワークモデルの浮動小数点演算を整数演算に置き換え、より少ない電力とメモリでより効率的なオンデバイス推論を提供する。本研究では,量子化ニューラルネットワークの特性を正式に検証する枠組みを提案する。本手法は,音質と完全性の両方を保証する整数線形計画に基づいている。次に,グラデーションに基づくヒューリスティック探索法とバウンドプロパゲーション手法を用いることで,効率を向上させる方法を示す。 PyTorchで量子化された知覚ネットワークに対する我々のアプローチを評価する。その結果,従来の技術よりもスケーラビリティと効率のよい量子化ネットワークを検証できることが示唆された。

関連論文リスト

Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文参考訳（メタデータ） (2024-03-18T18:01:01Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks [58.195261590442406]
我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
論文参考訳（メタデータ） (2022-11-29T13:32:38Z)
Post-training Quantization for Neural Networks with Provable Guarantees [9.58246628652846]
学習後ニューラルネットワーク量子化手法であるGPFQを,欲求経路追従機構に基づいて修正する。単層ネットワークを定量化するためには、相対二乗誤差は本質的に重み数で線形に減衰する。
論文参考訳（メタデータ） (2022-01-26T18:47:38Z)
A Layer-wise Adversarial-aware Quantization Optimization for Improving Robustness [4.794745827538956]
逆向きに学習したニューラルネットワークは、通常のモデルよりも量子化損失に対して脆弱であることがわかった。ニューラルネットワークの最適量子化パラメータ設定を選択するために,Lipschitz定数を用いた層ワイド逆アウェア量子化法を提案する。実験結果から,本手法は,量子化逆学習ニューラルネットワークのロバスト性を効果的かつ効果的に向上できることが示された。
論文参考訳（メタデータ） (2021-10-23T22:11:30Z)
Neural Network Pruning Through Constrained Reinforcement Learning [3.2880869992413246]
本稿では,ニューラルネットワークを解析するための一般的な手法を提案する。提案手法は、事前に定義された計算予算を尊重するためにニューラルネットワークを創出することができる。標準画像分類データセットにおける最先端手法との比較により,提案手法の有効性を実証する。
論文参考訳（メタデータ） (2021-10-16T11:57:38Z)
Ps and Qs: Quantization-aware pruning for efficient low latency neural network inference [56.24109486973292]
超低遅延アプリケーションのためのニューラルネットワークのトレーニング中の分級と量子化の相互作用を研究します。量子化アウェアプルーニングは,タスクのプルーニングや量子化のみよりも計算効率のよいモデルであることが判明した。
論文参考訳（メタデータ） (2021-02-22T19:00:05Z)
Accelerating Neural Network Inference by Overflow Aware Quantization [16.673051600608535]
ディープニューラルネットワークの重計算を継承することで、その広範な応用が防げる。トレーニング可能な適応的不動点表現を設計し,オーバーフローを考慮した量子化手法を提案する。提案手法により,量子化損失を最小限に抑え,最適化された推論性能を得ることができる。
論文参考訳（メタデータ） (2020-05-27T11:56:22Z)
Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文参考訳（メタデータ） (2020-04-06T15:51:00Z)
Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文参考訳（メタデータ） (2020-02-03T04:11:13Z)
Mixed-Precision Quantized Neural Network with Progressively Decreasing Bitwidth For Image Classification and Object Detection [21.48875255723581]
ビット幅が徐々に増大する混合精度量子化ニューラルネットワークを提案し,精度と圧縮のトレードオフを改善する。典型的なネットワークアーキテクチャとベンチマークデータセットの実験は、提案手法がより良い結果または同等の結果が得られることを示した。
論文参考訳（メタデータ） (2019-12-29T14:11:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。