論文の概要: A Greedy Algorithm for Quantizing Neural Networks
- arxiv url: http://arxiv.org/abs/2010.15979v2
- Date: Sun, 15 Aug 2021 04:42:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-02 00:10:44.826635
- Title: A Greedy Algorithm for Quantizing Neural Networks
- Title（参考訳）: ニューラルネットワークの量子化のためのグレディアルゴリズム
- Authors: Eric Lybrand, Rayan Saab
- Abstract要約: 本稿では,事前学習したニューラルネットワークの重みを定量化するための計算効率のよい新しい手法を提案する。
本手法は,複雑な再学習を必要とせず,反復的に層を定量化する手法である。
- 参考スコア（独自算出の注目度）: 4.683806391173103
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a new computationally efficient method for quantizing the weights
of pre- trained neural networks that is general enough to handle both
multi-layer perceptrons and convolutional neural networks. Our method
deterministically quantizes layers in an iterative fashion with no complicated
re-training required. Specifically, we quantize each neuron, or hidden unit,
using a greedy path-following algorithm. This simple algorithm is equivalent to
running a dynamical system, which we prove is stable for quantizing a
single-layer neural network (or, alternatively, for quantizing the first layer
of a multi-layer network) when the training data are Gaussian. We show that
under these assumptions, the quantization error decays with the width of the
layer, i.e., its level of over-parametrization. We provide numerical
experiments, on multi-layer networks, to illustrate the performance of our
methods on MNIST and CIFAR10 data, as well as for quantizing the VGG16 network
using ImageNet data.
- Abstract（参考訳）: 本稿では,多層パーセプトロンと畳み込みニューラルネットワークの両方を扱うのに十分一般的である事前学習ニューラルネットワークの重みを定量化する新しい計算効率の高い手法を提案する。
本手法は,複雑な再学習を必要とせず,反復的に層を定量化する。
具体的には、欲深い経路追従アルゴリズムを用いて各ニューロンまたは隠れ単位を定量化する。
この単純なアルゴリズムは動的システムの実行と等価であり、トレーニングデータがガウス的である場合、単層ニューラルネットワーク(または、多層ネットワークの第1層を定量化する)の量子化に安定であることが証明されている。
これらの仮定の下では、量子化誤差は層幅、すなわち過パラメトリゼーションのレベルとともに崩壊する。
我々は,MNISTおよびCIFAR10データ上での手法の性能を示すため,多層ネットワーク上での数値実験を行い,ImageNetデータを用いたVGG16ネットワークの定量化を行う。
関連論文リスト
- Frame Quantization of Neural Networks [2.8720213314158234]
本稿では,フレーム理論から派生したアイデアに依拠した誤差推定を伴う学習後量子化アルゴリズムを提案する。
ステップサイズとフレーム要素数の観点から,元のニューラルネットワークと量子化ニューラルネットワークの誤差を導出する。
論文 参考訳（メタデータ） (2024-04-11T21:24:38Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - SPFQ: A Stochastic Algorithm and Its Error Analysis for Neural Network
Quantization [5.982922468400901]
ニューラルネットワークの重みの順に得られる誤差境界を達成可能であることを示す。
我々は、無限アルファベットと入力データに対する最小の仮定の下で、完全なネットワーク境界を達成できることを証明した。
論文 参考訳（メタデータ） (2023-09-20T00:35:16Z) - A simple approach for quantizing neural networks [7.056222499095849]
完全トレーニングニューラルネットワークの重みを定量化する新しい手法を提案する。
単純な決定論的事前処理のステップにより、メモリレススカラー量子化によってネットワーク層を定量化できます。
提案手法は, ディープ・ネットワークを単一層に連続的に適用することで, 容易に定量化することができる。
論文 参考訳（メタデータ） (2022-09-07T22:36:56Z) - BiTAT: Neural Network Binarization with Task-dependent Aggregated
Transformation [116.26521375592759]
量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。
コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。
本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
論文 参考訳（メタデータ） (2022-07-04T13:25:49Z) - Post-training Quantization for Neural Networks with Provable Guarantees [9.58246628652846]
学習後ニューラルネットワーク量子化手法であるGPFQを,欲求経路追従機構に基づいて修正する。
単層ネットワークを定量化するためには、相対二乗誤差は本質的に重み数で線形に減衰する。
論文 参考訳（メタデータ） (2022-01-26T18:47:38Z) - Training Quantized Deep Neural Networks via Cooperative Coevolution [27.967480639403796]
本稿では,ディープニューラルネットワーク(DNN)の定量化手法を提案する。
協調的共進化の枠組みでは,分布推定アルゴリズムを用いて低ビット重みの探索を行う。
実験の結果,Cifar-10データセット上で4ビットのResNet-20を,精度を犠牲にすることなくトレーニングできることがわかった。
論文 参考訳（メタデータ） (2021-12-23T09:13:13Z) - Cluster-Promoting Quantization with Bit-Drop for Minimizing Network
Quantization Loss [61.26793005355441]
クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。
DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。
本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
論文 参考訳（メタデータ） (2021-09-05T15:15:07Z) - A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。
MNIST画像データセットがそのような条件を満たすことを数値的に示す。
我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
論文 参考訳（メタデータ） (2021-07-19T23:41:03Z) - Direct Quantization for Training Highly Accurate Low Bit-width Deep
Neural Networks [73.29587731448345]
本稿では,低ビット幅重みとアクティベーションで深部畳み込みニューラルネットワークを訓練する2つの新しい手法を提案する。
まず、ビット幅の少ない重みを得るため、既存の方法の多くは、全精度ネットワーク重みで量子化することにより量子化重みを得る。
第二に、低ビット幅のアクティベーションを得るために、既存の作品はすべてのチャネルを等しく考慮する。
論文 参考訳（メタデータ） (2020-12-26T15:21:18Z) - ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。
本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
論文 参考訳（メタデータ） (2020-06-28T23:09:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。