論文の概要: Winograd Algorithm for AdderNet

• arxiv url: http://arxiv.org/abs/2105.05530v1
• Date: Wed, 12 May 2021 09:13:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-13 12:28:42.183817
• Title: Winograd Algorithm for AdderNet
• Title（参考訳）: AdderNetのためのWinogradアルゴリズム
• Authors: Wenshuo Li, Hanting Chen, Mingqiang Huang, Xinghao Chen, Chunjing Xu, Yunhe Wang
• Abstract要約: Adder Neural Network(AdderNet)は、畳み込みにおける元の巨大な乗算を加算によって置き換える新しい種類のディープモデルである。 本稿では,コンボリューションの高速化と計算コストの削減を目的とした高速アルゴリズムであるWinogradアルゴリズムについて検討する。
• 参考スコア（独自算出の注目度）: 54.93995545896655
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adder neural network (AdderNet) is a new kind of deep model that replaces the original massive multiplications in convolutions by additions while preserving the high performance. Since the hardware complexity of additions is much lower than that of multiplications, the overall energy consumption is thus reduced significantly. To further optimize the hardware overhead of using AdderNet, this paper studies the winograd algorithm, which is a widely used fast algorithm for accelerating convolution and saving the computational costs. Unfortunately, the conventional Winograd algorithm cannot be directly applied to AdderNets since the distributive law in multiplication is not valid for the l1-norm. Therefore, we replace the element-wise multiplication in the Winograd equation by additions and then develop a new set of transform matrixes that can enhance the representation ability of output features to maintain the performance. Moreover, we propose the l2-to-l1 training strategy to mitigate the negative impacts caused by formal inconsistency. Experimental results on both FPGA and benchmarks show that the new method can further reduce the energy consumption without affecting the accuracy of the original AdderNet.
• Abstract（参考訳）: adder neural network (addernet) は、オリジナルの大規模な乗算を畳み込みで置き換え、ハイパフォーマンスを維持した新しいディープモデルである。 加算のハードウェアの複雑さは乗算の複雑さよりもはるかに低いので、全体のエネルギー消費は大幅に減少する。 本稿では,AdderNetのハードウェアオーバーヘッドをさらに最適化するために,コンボリューションの高速化と計算コスト削減のための高速アルゴリズムであるWinogradアルゴリズムについて検討する。 残念ながら、従来のWinogradアルゴリズムは、乗算における分配法則が l1-ノルムに対して有効でないため、AdderNetsに直接適用することはできない。 そこで我々は、ウィノグラード方程式の要素次乗法を加算で置き換え、出力特徴の表現能力を向上して性能を維持できる変換行列を新たに開発する。 また,形式的矛盾による負の影響を軽減するため,l2-to-l1トレーニング戦略を提案する。 FPGAとベンチマークの両方の実験結果から,従来のAdderNetの精度に影響を与えることなく,新たな手法によりエネルギー消費をさらに削減できることが示された。

関連論文リスト

• ShiftAddAug: Augment Multiplication-Free Tiny Neural Network with Hybrid Computation [7.143509813507735]
  ShiftAddAugは費用のかかる乗算を使い、効率は良いが非力な乗算演算子を拡張し、推論オーバーヘッドなしでパフォーマンスを向上させる。 CIFAR100の精度は、直接訓練されたNNよりも最大4.95%向上する。
  論文  参考訳（メタデータ） (2024-07-03T07:56:51Z)
• Adder Neural Networks [75.54239599016535]
  我々は、ディープニューラルネットワークにおける大規模な乗算を交換するために、加算器ネットワーク(AdderNets)を提案する。 AdderNetsでは、フィルタと入力特徴の間の$ell_p$-norm距離を出力応答として取ります。 提案したAdderNetsは,ImageNetデータセット上でResNet-50を用いて,75.7%のTop-1精度92.3%のTop-5精度を達成可能であることを示す。
  論文  参考訳（メタデータ） (2021-05-29T04:02:51Z)
• AdderNet and its Minimalist Hardware Design for Energy-Efficient Artificial Intelligence [111.09105910265154]
  アドラー畳み込みニューラルネットワーク(AdderNet)を用いた新しいミニマリストハードウェアアーキテクチャを提案する。 AdderNet全体の16%の高速化を実現している。 我々は、AdderNetが他の競争相手を追い越せると結論付けている。
  論文  参考訳（メタデータ） (2021-01-25T11:31:52Z)
• ShiftAddNet: A Hardware-Inspired Deep Network [87.18216601210763]
  ShiftAddNetはエネルギー効率のよい乗算レスディープニューラルネットワークである。 エネルギー効率のよい推論とトレーニングの両方につながるが、表現能力は損なわれない。 ShiftAddNetは、DNNのトレーニングと推論において、80%以上のハードウェア量子化されたエネルギーコストを積極的に削減し、同等またはより良い精度を提供する。
  論文  参考訳（メタデータ） (2020-10-24T05:09:14Z)
• AdderSR: Towards Energy Efficient Image Super-Resolution [127.61437479490047]
  本稿では,加算器ニューラルネットワーク(AdderNet)を用いた単一画像超解問題について検討する。 畳み込みニューラルネットワークと比較して、AdderNetは加算を利用して出力特性を計算し、従来の乗算の膨大なエネルギー消費を回避する。
  論文  参考訳（メタデータ） (2020-09-18T15:29:13Z)
• LANCE: Efficient Low-Precision Quantized Winograd Convolution for Neural Networks Based on Graphics Processing Units [6.110973485878557]
  我々は,高速畳み込みと量子化の利点を組み合わせた,LANCEと呼ばれる高速な低精度量子化ウィノグラード畳み込みアルゴリズムを提案する。 8ビットの量子化Winograd畳み込みは、精度の低下を伴う完全精度畳み込みよりも最大2.40倍の性能向上を示す。
  論文  参考訳（メタデータ） (2020-03-19T09:46:50Z)
• AdderNet: Do We Really Need Multiplications in Deep Learning? [159.174891462064]
  我々は、深層ニューラルネットワークにおける膨大な乗算を、計算コストを削減するためにはるかに安価な加算のために取引するための加算器ネットワーク(AdderNets)を提案する。 本稿では,AdderNets のバックプロパゲーション手法を提案する。 その結果、提案されたAdderNetsは、ImageNetデータセット上でResNet-50を使用して、74.9%のTop-1精度91.7%のTop-5精度を達成することができる。
  論文  参考訳（メタデータ） (2019-12-31T06:56:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。