論文の概要: DWM: A Decomposable Winograd Method for Convolution Acceleration
- arxiv url: http://arxiv.org/abs/2002.00552v1
- Date: Mon, 3 Feb 2020 03:42:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-04 08:47:06.260132
- Title: DWM: A Decomposable Winograd Method for Convolution Acceleration
- Title（参考訳）: DWM: 畳み込み高速化のための分解可能なWinograd法
- Authors: Di Huang, Xishan Zhang, Rui Zhang, Tian Zhi, Deyuan He, Jiaming Guo,
Chang Liu, Qi Guo, Zidong Du, Shaoli Liu, Tianshi Chen, Yunji Chen
- Abstract要約: Winogradの最小フィルタリングアルゴリズムは畳み込みニューラルネットワーク(CNN)において、高速な処理のための乗算数を減らすために広く使われている。
3x3より大きいカーネルサイズのFLOPと数値精度の問題に悩まされ、1より大きいストライドとの畳み込みに失敗する。
本稿では,従来のWinogradの最小フィルタリングアルゴリズムを広義かつ汎用的な畳み込みに制限することで,DWM(Decomposable Winograd Method)を提案する。
- 参考スコア（独自算出の注目度）: 29.312042061351782
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Winograd's minimal filtering algorithm has been widely used in Convolutional
Neural Networks (CNNs) to reduce the number of multiplications for faster
processing. However, it is only effective on convolutions with kernel size as
3x3 and stride as 1, because it suffers from significantly increased FLOPs and
numerical accuracy problem for kernel size larger than 3x3 and fails on
convolution with stride larger than 1. In this paper, we propose a novel
Decomposable Winograd Method (DWM), which breaks through the limitation of
original Winograd's minimal filtering algorithm to a wide and general
convolutions. DWM decomposes kernels with large size or large stride to several
small kernels with stride as 1 for further applying Winograd method, so that
DWM can reduce the number of multiplications while keeping the numerical
accuracy. It enables the fast exploring of larger kernel size and larger stride
value in CNNs for high performance and accuracy and even the potential for new
CNNs. Comparing against the original Winograd, the proposed DWM is able to
support all kinds of convolutions with a speedup of ~2, without affecting the
numerical accuracy.
- Abstract（参考訳）: Winogradの最小フィルタリングアルゴリズムは畳み込みニューラルネットワーク(CNN)において、高速な処理のための乗算数を減らすために広く使われている。
しかし、カーネルサイズが3x3、ストライドが1の畳み込みにのみ有効であり、フロップが著しく増加し、カーネルサイズが3x3より大きい場合の精度問題や、ストライドが1よりも大きい場合の畳み込みに失敗するためである。
本稿では,従来のWinogradの最小フィルタリングアルゴリズムを広義かつ一般的な畳み込みに制限する,Decomposable Winograd Method (DWM)を提案する。
DWMは、さらにWinograd法を適用するためにストライドを1として複数の小さなカーネルに大小または大小のストライドを分解し、数値精度を維持しながら乗算数を削減できる。
これにより、CNNのカーネルサイズとストライド値の高速探索が可能となり、パフォーマンスと精度が向上し、新たなCNNの可能性がもたらされる。
元のWinogradと比較して、提案したDWMは数値精度に影響を与えることなく、 ~2のスピードアップで全ての種類の畳み込みをサポートすることができる。
関連論文リスト
- Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。
我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。
RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文 参考訳（メタデータ） (2022-10-21T15:56:13Z) - Going Further With Winograd Convolutions: Tap-Wise Quantization for
Efficient Inference on 4x4 Tile [7.705762754955851]
ウィノグラード畳み込みアルゴリズムは、標準アルゴリズムに比べてMACが少ない畳み込みを計算する。
本稿では,大きなタイルを使用する際の数値問題を克服する,タップワイズ量子化手法を提案する。
このようなカスタムモジュールを産業レベルのプログラム可能なDSAに統合する方法を示す。
論文 参考訳（メタデータ） (2022-09-26T19:29:51Z) - Instant Neural Graphics Primitives with a Multiresolution Hash Encoding [67.33850633281803]
品質を犠牲にすることなく、より小さなネットワークを使用できる汎用的な新しい入力符号化を提案する。
小さなニューラルネットワークは、勾配降下によって値が最適化された訓練可能な特徴ベクトルの多分解能ハッシュテーブルによって拡張される。
数桁の高速化を実現し、高品質なニューラルネットワークプリミティブを数秒でトレーニングすることができる。
論文 参考訳（メタデータ） (2022-01-16T07:22:47Z) - Fast Convolution based on Winograd Minimum Filtering: Introduction and
Development [5.192451499848539]
畳み込み演算子は畳み込みニューラルネットワークの基本的な構成要素である。
近年、FFTやWinogradなどの高速な畳み込みアルゴリズムが提案されている。
本稿では,アルゴリズム拡張,アルゴリズム最適化,実装,アプリケーションという3つの側面から,Winograd畳み込みの開発を要約する。
論文 参考訳（メタデータ） (2021-11-01T14:39:56Z) - Content-Aware Convolutional Neural Networks [98.97634685964819]
畳み込みニューラルネットワーク(CNN)は、畳み込み層の強力な特徴学習能力によって大きな成功を収めている。
本研究では,スムーズなウィンドウを自動的に検出し,元の大規模カーネルを置き換えるために1x1畳み込みカーネルを適用するContent-aware Convolution (CAC)を提案する。
論文 参考訳（メタデータ） (2021-06-30T03:54:35Z) - Winograd Algorithm for AdderNet [54.93995545896655]
Adder Neural Network(AdderNet)は、畳み込みにおける元の巨大な乗算を加算によって置き換える新しい種類のディープモデルである。
本稿では,コンボリューションの高速化と計算コストの削減を目的とした高速アルゴリズムであるWinogradアルゴリズムについて検討する。
論文 参考訳（メタデータ） (2021-05-12T09:13:34Z) - Decoupled Dynamic Filter Networks [85.38058820176047]
これらの欠点を同時に解決できるDDF(Decoupled Dynamic Filter)を提案します。
最近の注目の高まりに触発されて、DDFは深度ワイドなダイナミックフィルタを空間的およびチャネル的ダイナミックフィルタに分離する。
分類ネットワークにおける標準畳み込みをDFFに置き換える際の性能向上を観察する。
論文 参考訳（メタデータ） (2021-04-29T04:55:33Z) - Accelerating Large Kernel Convolutions with Nested Winograd
Transformation.pdf [2.193040410545991]
この研究は、大きなカーネルの畳み込みを小さなカーネルの畳み込みに繰り返し分解するネスト付きウィノグラードアルゴリズムを提案する。
実験により、線形分解ウィノグラード法と比較して、4x4から31x31の畳み込みを計算するために、提案アルゴリズムは乗算の総数を1.4倍から10.5倍に減らした。
論文 参考訳（メタデータ） (2021-02-26T02:42:42Z) - Efficient Residue Number System Based Winograd Convolution [15.210764522845416]
Winogradアルゴリズムは、浮動小数点で表現される重みとアクティベーションを持つ畳み込みニューラルネットワーク(CNN)の計算複雑性を低減することができる。
我々の研究はWinogradアルゴリズムをResidue Number System (RNS)に拡張した。
最小の複雑性畳み込みは、大きな変換タイル上で正確に計算される。
論文 参考訳（メタデータ） (2020-07-23T19:07:06Z) - Quantaized Winograd/Toom-Cook Convolution for DNNs: Beyond Canonical
Polynomials Base [0.0]
ウィノグラード畳み込みアルゴリズムは、時間消費を大幅に削減する一般的な方法である。
量子化Winograd-Awareトレーニングモデルに対するベースチェンジ手法の適用について述べる。
論文 参考訳（メタデータ） (2020-04-23T11:15:27Z) - XSepConv: Extremely Separated Convolution [60.90871656244126]
極めて分離された畳み込みブロック(XSepConv)を提案する。
空間的に分離可能な畳み込みを奥行きの畳み込みに融合させ、大きなカーネルの計算コストとパラメータサイズの両方を削減する。
XSepConvは、大規模なカーネルサイズを持つバニラ奥行きの畳み込みの効率的な代替として設計されている。
論文 参考訳（メタデータ） (2020-02-27T11:46:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。