論文の概要: Efficient Residue Number System Based Winograd Convolution
- arxiv url: http://arxiv.org/abs/2007.12216v1
- Date: Thu, 23 Jul 2020 19:07:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-07 12:04:30.106328
- Title: Efficient Residue Number System Based Winograd Convolution
- Title（参考訳）: 効率的な剰余数系に基づくウィノグラード畳み込み
- Authors: Zhi-Gang Liu and Matthew Mattina
- Abstract要約: Winogradアルゴリズムは、浮動小数点で表現される重みとアクティベーションを持つ畳み込みニューラルネットワーク(CNN)の計算複雑性を低減することができる。
我々の研究はWinogradアルゴリズムをResidue Number System (RNS)に拡張した。
最小の複雑性畳み込みは、大きな変換タイル上で正確に計算される。
- 参考スコア（独自算出の注目度）: 15.210764522845416
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Prior research has shown that Winograd algorithm can reduce the computational
complexity of convolutional neural networks (CNN) with weights and activations
represented in floating point. However it is difficult to apply the scheme to
the inference of low-precision quantized (e.g. INT8) networks. Our work extends
the Winograd algorithm to Residue Number System (RNS). The minimal complexity
convolution is computed precisely over large transformation tile (e.g. 10 x 10
to 16 x 16) of filters and activation patches using the Winograd transformation
and low cost (e.g. 8-bit) arithmetic without degrading the prediction accuracy
of the networks during inference. The arithmetic complexity reduction is up to
7.03x while the performance improvement is up to 2.30x to 4.69x for 3 x 3 and 5
x 5 filters respectively.
- Abstract（参考訳）: 以前の研究では、ウィノグラードアルゴリズムは浮動小数点に表される重みとアクティベーションを持つ畳み込みニューラルネットワーク(cnn)の計算複雑性を低減できることが示されている。
しかし、このスキームを低精度量子化(例えばINT8)ネットワークの推測に適用することは困難である。
我々の研究はWinogradアルゴリズムをResidue Number System (RNS)に拡張した。
ネットワークの予測精度を低下させることなく、ウィノグラード変換および低コスト(8ビット演算など)演算を用いて、フィルタおよびアクティベーションパッチの大変形タイル(例えば10×10〜16×16)上で、最小複雑さ畳み込みを精度良く計算する。
演算複雑性の低減は7.03倍、性能改善は3 x 3 と 5 x 5 のフィルタでそれぞれ 2.30x から 4.69x になる。
関連論文リスト
- Going Further With Winograd Convolutions: Tap-Wise Quantization for
Efficient Inference on 4x4 Tile [7.705762754955851]
ウィノグラード畳み込みアルゴリズムは、標準アルゴリズムに比べてMACが少ない畳み込みを計算する。
本稿では,大きなタイルを使用する際の数値問題を克服する,タップワイズ量子化手法を提案する。
このようなカスタムモジュールを産業レベルのプログラム可能なDSAに統合する方法を示す。
論文 参考訳（メタデータ） (2022-09-26T19:29:51Z) - Winograd Algorithm for AdderNet [54.93995545896655]
Adder Neural Network(AdderNet)は、畳み込みにおける元の巨大な乗算を加算によって置き換える新しい種類のディープモデルである。
本稿では,コンボリューションの高速化と計算コストの削減を目的とした高速アルゴリズムであるWinogradアルゴリズムについて検討する。
論文 参考訳（メタデータ） (2021-05-12T09:13:34Z) - A Survey of Quantization Methods for Efficient Neural Network Inference [75.55159744950859]
量子化は、必要なビット数を最小限に抑えるために、固定された離散数の集合に連続実数値を分散する問題である。
近年、コンピュータビジョン、自然言語処理、関連分野でのニューラルネットワークモデルの顕著な性能のために最前線に達しています。
浮動小数点表現から4ビット以下の低精度固定整数値への移行は、メモリフットプリントとレイテンシを16倍削減する可能性を秘めている。
論文 参考訳（メタデータ） (2021-03-25T06:57:11Z) - Accelerating Large Kernel Convolutions with Nested Winograd
Transformation.pdf [2.193040410545991]
この研究は、大きなカーネルの畳み込みを小さなカーネルの畳み込みに繰り返し分解するネスト付きウィノグラードアルゴリズムを提案する。
実験により、線形分解ウィノグラード法と比較して、4x4から31x31の畳み込みを計算するために、提案アルゴリズムは乗算の総数を1.4倍から10.5倍に減らした。
論文 参考訳（メタデータ） (2021-02-26T02:42:42Z) - HAWQV3: Dyadic Neural Network Quantization [73.11579145354801]
現在の低精度量子化アルゴリズムは、浮動小数点から量子化された整数値への変換の隠れコストを持つことが多い。
HAWQV3は、新しい混合精度整数のみの量子化フレームワークである。
論文 参考訳（メタデータ） (2020-11-20T23:51:43Z) - WrapNet: Neural Net Inference with Ultra-Low-Resolution Arithmetic [57.07483440807549]
ニューラルネットワークをアキュムレータの低分解能(8ビット)加算に適応させ,32ビットのアキュムレータに匹敵する分類精度を実現する手法を提案する。
ソフトウェアプラットフォームとハードウェアプラットフォームの両方において、我々のアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2020-07-26T23:18:38Z) - Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。
我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文 参考訳（メタデータ） (2020-06-21T08:23:03Z) - Quantaized Winograd/Toom-Cook Convolution for DNNs: Beyond Canonical
Polynomials Base [0.0]
ウィノグラード畳み込みアルゴリズムは、時間消費を大幅に削減する一般的な方法である。
量子化Winograd-Awareトレーニングモデルに対するベースチェンジ手法の適用について述べる。
論文 参考訳（メタデータ） (2020-04-23T11:15:27Z) - LANCE: Efficient Low-Precision Quantized Winograd Convolution for Neural
Networks Based on Graphics Processing Units [6.110973485878557]
我々は,高速畳み込みと量子化の利点を組み合わせた,LANCEと呼ばれる高速な低精度量子化ウィノグラード畳み込みアルゴリズムを提案する。
8ビットの量子化Winograd畳み込みは、精度の低下を伴う完全精度畳み込みよりも最大2.40倍の性能向上を示す。
論文 参考訳（メタデータ） (2020-03-19T09:46:50Z) - Computational optimization of convolutional neural networks using
separated filters architecture [69.73393478582027]
我々は、計算複雑性を低減し、ニューラルネットワーク処理を高速化する畳み込みニューラルネットワーク変換を考える。
畳み込みニューラルネットワーク(CNN)の使用は、計算的に要求が多すぎるにもかかわらず、画像認識の標準的なアプローチである。
論文 参考訳（メタデータ） (2020-02-18T17:42:13Z) - DWM: A Decomposable Winograd Method for Convolution Acceleration [29.312042061351782]
Winogradの最小フィルタリングアルゴリズムは畳み込みニューラルネットワーク(CNN)において、高速な処理のための乗算数を減らすために広く使われている。
3x3より大きいカーネルサイズのFLOPと数値精度の問題に悩まされ、1より大きいストライドとの畳み込みに失敗する。
本稿では,従来のWinogradの最小フィルタリングアルゴリズムを広義かつ汎用的な畳み込みに制限することで,DWM(Decomposable Winograd Method)を提案する。
論文 参考訳（メタデータ） (2020-02-03T03:42:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。