論文の概要: AdderNet and its Minimalist Hardware Design for Energy-Efficient Artificial Intelligence

• arxiv url: http://arxiv.org/abs/2101.10015v2
• Date: Wed, 3 Feb 2021 06:48:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-14 19:12:49.309113
• Title: AdderNet and its Minimalist Hardware Design for Energy-Efficient Artificial Intelligence
• Title（参考訳）: エネルギー効率の高い人工知能のためのAdderNetとそのミニマリストハードウェア設計
• Authors: Yunhe Wang, Mingqiang Huang, Kai Han, Hanting Chen, Wei Zhang, Chunjing Xu, Dacheng Tao
• Abstract要約: アドラー畳み込みニューラルネットワーク(AdderNet)を用いた新しいミニマリストハードウェアアーキテクチャを提案する。 AdderNet全体の16%の高速化を実現している。 我々は、AdderNetが他の競争相手を追い越せると結論付けている。
• 参考スコア（独自算出の注目度）: 111.09105910265154
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional neural networks (CNN) have been widely used for boosting the performance of many machine intelligence tasks. However, the CNN models are usually computationally intensive and energy consuming, since they are often designed with numerous multiply-operations and considerable parameters for the accuracy reason. Thus, it is difficult to directly apply them in the resource-constrained environments such as 'Internet of Things' (IoT) devices and smart phones. To reduce the computational complexity and energy burden, here we present a novel minimalist hardware architecture using adder convolutional neural network (AdderNet), in which the original convolution is replaced by adder kernel using only additions. To maximally excavate the potential energy consumption, we explore the low-bit quantization algorithm for AdderNet with shared-scaling-factor method, and we design both specific and general-purpose hardware accelerators for AdderNet. Experimental results show that the adder kernel with int8/int16 quantization also exhibits high performance, meanwhile consuming much less resources (theoretically ~81% off). In addition, we deploy the quantized AdderNet on FPGA (Field Programmable Gate Array) platform. The whole AdderNet can practically achieve 16% enhancement in speed, 67.6%-71.4% decrease in logic resource utilization and 47.85%-77.9% decrease in power consumption compared to CNN under the same circuit architecture. With a comprehensive comparison on the performance, power consumption, hardware resource consumption and network generalization capability, we conclude the AdderNet is able to surpass all the other competitors including the classical CNN, novel memristor-network, XNOR-Net and the shift-kernel based network, indicating its great potential in future high performance and energy-efficient artificial intelligence applications.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、多くのマシンインテリジェンスタスクのパフォーマンス向上に広く利用されている。 しかし、cnnモデルは通常計算集約的かつエネルギー消費的であり、その正確性のために多くの乗算演算とかなりのパラメータで設計される。 そのため、IoT(Internet of Things)デバイスやスマートフォンなど、リソース制約のある環境に直接適用することは困難である。 本稿では,計算の複雑さとエネルギー負担を軽減するために,加算のみを用いて元の畳み込みを加算核に置き換える加算畳み込みニューラルネットワーク(addernet)を用いた,新しいミニマリストハードウェアアーキテクチャを提案する。 潜在的なエネルギー消費を最大化するために、共有スケーリングファクタ法によるAdderNetの低ビット量子化アルゴリズムを探索し、AderNetの特定および汎用ハードウェアアクセラレータの両方を設計します。 実験の結果、int8/int16量子化を持つ加算カーネルも高性能を示し、リソースをはるかに少なくする(理論的には約81%オフ)。 さらに、FPGA(Field Programmable Gate Array)プラットフォームに量子化されたAdderNetをデプロイします。 アダネット全体の速度は16%向上し、67.6%-71.4%の論理資源利用が減少し、47.85%-77.9%の消費電力が同じ回路アーキテクチャのcnnより減少した。 性能,消費電力,ハードウェアリソース消費,ネットワークの一般化能力について総合的に比較した結果,AdderNetは従来のCNN,新しいmemristor-network,XNOR-Net,シフトカーネルベースのネットワークなど,他のすべての競合を抜いて,将来的な高性能でエネルギー効率の高い人工知能アプリケーションにおいて大きな可能性を示唆している。

関連論文リスト

• Energy Efficient Hardware Acceleration of Neural Networks with Power-of-Two Quantisation [0.0]
  我々は、Zynq UltraScale + MPSoC ZCU104 FPGA上に実装されたPoT重みを持つハードウェアニューラルネットワークアクセラレーターが、均一量子化バージョンよりも少なくとも1.4x$のエネルギー効率を持つことを示す。
  論文  参考訳（メタデータ） (2022-09-30T06:33:40Z)
• ShiftAddNAS: Hardware-Inspired Search for More Accurate and Efficient Neural Networks [42.28659737268829]
  ShiftAddNASは、より正確で効率的なNNを自動的に検索できる。 ShiftAddNASは、乗算ベースと乗算自由演算子の両方を組み込んだ最初のハイブリッド検索空間を統合する。 ShiftAddNASの有効性は実験とアブレーション研究で一貫して検証されている。
  論文  参考訳（メタデータ） (2022-05-17T06:40:13Z)
• Weightless Neural Networks for Efficient Edge Inference [1.7882696915798877]
  ウェイトレスニューラルネットワーク(WNN)は、テーブルルックアップを使用して推論を行う機械学習モデルのクラスである。 本稿では,WNN アーキテクチャ BTHOWeN を提案する。 BTHOWeNは、より優れたレイテンシとエネルギー効率を提供することで、大規模で成長するエッジコンピューティングセクターをターゲットにしている。
  論文  参考訳（メタデータ） (2022-03-03T01:46:05Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• An Empirical Study of Adder Neural Networks for Object Detection [67.64041181937624]
  加算ニューラルネットワーク(AdderNets)は、追加操作のみを伴う画像分類において、優れたパフォーマンスを示している。 本稿では,オブジェクト検出のためのAdderNetsを実証研究する。
  論文  参考訳（メタデータ） (2021-12-27T11:03:13Z)
• Adder Neural Networks [75.54239599016535]
  我々は、ディープニューラルネットワークにおける大規模な乗算を交換するために、加算器ネットワーク(AdderNets)を提案する。 AdderNetsでは、フィルタと入力特徴の間の$ell_p$-norm距離を出力応答として取ります。 提案したAdderNetsは,ImageNetデータセット上でResNet-50を用いて,75.7%のTop-1精度92.3%のTop-5精度を達成可能であることを示す。
  論文  参考訳（メタデータ） (2021-05-29T04:02:51Z)
• ShiftAddNet: A Hardware-Inspired Deep Network [87.18216601210763]
  ShiftAddNetはエネルギー効率のよい乗算レスディープニューラルネットワークである。 エネルギー効率のよい推論とトレーニングの両方につながるが、表現能力は損なわれない。 ShiftAddNetは、DNNのトレーニングと推論において、80%以上のハードウェア量子化されたエネルギーコストを積極的に削減し、同等またはより良い精度を提供する。
  論文  参考訳（メタデータ） (2020-10-24T05:09:14Z)
• AdderNet: Do We Really Need Multiplications in Deep Learning? [159.174891462064]
  我々は、深層ニューラルネットワークにおける膨大な乗算を、計算コストを削減するためにはるかに安価な加算のために取引するための加算器ネットワーク(AdderNets)を提案する。 本稿では,AdderNets のバックプロパゲーション手法を提案する。 その結果、提案されたAdderNetsは、ImageNetデータセット上でResNet-50を使用して、74.9%のTop-1精度91.7%のTop-5精度を達成することができる。
  論文  参考訳（メタデータ） (2019-12-31T06:56:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。