Fugu-MT 論文翻訳(概要): Quantaized Winograd/Toom-Cook Convolution for DNNs: Beyond Canonical Polynomials Base

論文の概要: Quantaized Winograd/Toom-Cook Convolution for DNNs: Beyond Canonical Polynomials Base

arxiv url: http://arxiv.org/abs/2004.11077v1
Date: Thu, 23 Apr 2020 11:15:27 GMT
ステータス: 処理完了
システム内更新日: 2022-12-10 09:31:23.494977
Title: Quantaized Winograd/Toom-Cook Convolution for DNNs: Beyond Canonical Polynomials Base
Title（参考訳）: DNNのための量子化Winograd/Toom-Cook畳み込み:正準多項式ベースを超えて
Authors: Barbara Barabasz
Abstract要約: ウィノグラード畳み込みアルゴリズムは、時間消費を大幅に削減する一般的な方法である。量子化Winograd-Awareトレーニングモデルに対するベースチェンジ手法の適用について述べる。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The problem how to speed up the convolution computations in Deep Neural Networks is widely investigated in recent years. The Winograd convolution algorithm is a common used method that significantly reduces time consumption. However, it suffers from a problem with numerical accuracy particularly for lower precisions. In this paper we present the application of base change technique for quantized Winograd-aware training model. We show that we can train the $8$ bit quantized network to nearly the same accuracy (up to 0.5% loss) for tested network (Resnet18) and dataset (CIFAR10) as for quantized direct convolution with few additional operations in pre/post transformations. Keeping Hadamard product on $9$ bits allow us to obtain the same accuracy as for direct convolution.
Abstract（参考訳）: 近年,ディープニューラルネットワークにおける畳み込み計算の高速化に関する課題が広く研究されている。 Winograd畳み込みアルゴリズムは、時間消費を大幅に削減する一般的な方法である。しかし、特に低い精度では数値精度の問題に苦しむ。本稿では,量子化Winograd-Awareトレーニングモデルに対するベースチェンジ手法の適用について述べる。我々は、テストされたネットワーク(Resnet18)とデータセット(CIFAR10)と、事前/後変換の操作がほとんどない量子化された直接畳み込みについて、ほぼ同じ精度(最大0.5%の損失)で8ドルビット量子化ネットワークをトレーニングできることを示します。ハダマール製品を9ドルビットに保つことで、直接畳み込みと同じ精度を得ることができます。

関連論文リスト

Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing [50.79602839359522]
本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
論文参考訳（メタデータ） (2023-09-29T13:09:40Z)
Post-training Quantization for Neural Networks with Provable Guarantees [9.58246628652846]
学習後ニューラルネットワーク量子化手法であるGPFQを,欲求経路追従機構に基づいて修正する。単層ネットワークを定量化するためには、相対二乗誤差は本質的に重み数で線形に減衰する。
論文参考訳（メタデータ） (2022-01-26T18:47:38Z)
Winograd Convolution for Deep Neural Networks: Efficient Point Selection [0.8043754868448141]
本稿では,c に対する実数値数の全範囲を用いて,-1/c,-c,c,1/c の形の点を用いた点選択手法を提案する。 c の異なる値に対する誤差は、実値数の範囲にわたって粗い曲線を形成し、c の値のローカライズに役立ち、誤差を減少させる。小型コンボリューションの規模について検討し, 2%から約59%の誤差を1Dおよび2Dの畳み込みに対して減少させる。
論文参考訳（メタデータ） (2022-01-25T15:00:54Z)
Training Quantized Deep Neural Networks via Cooperative Coevolution [27.967480639403796]
本稿では,ディープニューラルネットワーク(DNN)の定量化手法を提案する。協調的共進化の枠組みでは,分布推定アルゴリズムを用いて低ビット重みの探索を行う。実験の結果,Cifar-10データセット上で4ビットのResNet-20を,精度を犠牲にすることなくトレーニングできることがわかった。
論文参考訳（メタデータ） (2021-12-23T09:13:13Z)
OMPQ: Orthogonal Mixed Precision Quantization [64.59700856607017]
混合精度量子化は、ハードウェアの多重ビット幅演算を利用して、ネットワーク量子化の全ポテンシャルを解き放つ。本稿では、整数プログラミングの損失と高い相関関係にあるネットワーク性の概念であるプロキシメトリックを最適化することを提案する。このアプローチは、量子化精度にほとんど妥協することなく、検索時間と必要なデータ量を桁違いに削減する。
論文参考訳（メタデータ） (2021-09-16T10:59:33Z)
Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
論文参考訳（メタデータ） (2021-09-05T15:15:07Z)
Efficient Residue Number System Based Winograd Convolution [15.210764522845416]
Winogradアルゴリズムは、浮動小数点で表現される重みとアクティベーションを持つ畳み込みニューラルネットワーク(CNN)の計算複雑性を低減することができる。我々の研究はWinogradアルゴリズムをResidue Number System (RNS)に拡張した。最小の複雑性畳み込みは、大きな変換タイル上で正確に計算される。
論文参考訳（メタデータ） (2020-07-23T19:07:06Z)
Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文参考訳（メタデータ） (2020-06-21T08:23:03Z)
LANCE: Efficient Low-Precision Quantized Winograd Convolution for Neural Networks Based on Graphics Processing Units [6.110973485878557]
我々は,高速畳み込みと量子化の利点を組み合わせた,LANCEと呼ばれる高速な低精度量子化ウィノグラード畳み込みアルゴリズムを提案する。 8ビットの量子化Winograd畳み込みは、精度の低下を伴う完全精度畳み込みよりも最大2.40倍の性能向上を示す。
論文参考訳（メタデータ） (2020-03-19T09:46:50Z)
Computational optimization of convolutional neural networks using separated filters architecture [69.73393478582027]
我々は、計算複雑性を低減し、ニューラルネットワーク処理を高速化する畳み込みニューラルネットワーク変換を考える。畳み込みニューラルネットワーク(CNN)の使用は、計算的に要求が多すぎるにもかかわらず、画像認識の標準的なアプローチである。
論文参考訳（メタデータ） (2020-02-18T17:42:13Z)
AdderNet: Do We Really Need Multiplications in Deep Learning? [159.174891462064]
我々は、深層ニューラルネットワークにおける膨大な乗算を、計算コストを削減するためにはるかに安価な加算のために取引するための加算器ネットワーク(AdderNets)を提案する。本稿では,AdderNets のバックプロパゲーション手法を提案する。その結果、提案されたAdderNetsは、ImageNetデータセット上でResNet-50を使用して、74.9%のTop-1精度91.7%のTop-5精度を達成することができる。
論文参考訳（メタデータ） (2019-12-31T06:56:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。