論文の概要: Logic Design of Neural Networks for High-Throughput and Low-Power
Applications
- arxiv url: http://arxiv.org/abs/2309.10510v1
- Date: Tue, 19 Sep 2023 10:45:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-20 15:04:47.820071
- Title: Logic Design of Neural Networks for High-Throughput and Low-Power
Applications
- Title（参考訳）: 高スループット・低消費電力用ニューラルネットワークの論理設計
- Authors: Kangwei Xu, Grace Li Zhang, Ulf Schlichtmann, Bing Li
- Abstract要約: 本稿では,ニューロンにおけるすべての操作,例えばMACやReLUを,対応する論理回路を備えたニューラルネットワークでフラット化し,実装することを提案する。
重み値をMACユニットに埋め込んで論理を単純化することにより、MACユニットの遅延と重み移動による消費電力を低減することができる。
さらに,ニューラルネットワークの論理設計の領域を削減するためのハードウェア・アウェア・トレーニング手法を提案する。
- 参考スコア（独自算出の注目度）: 4.964773661192363
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Neural networks (NNs) have been successfully deployed in various fields. In
NNs, a large number of multiplyaccumulate (MAC) operations need to be
performed. Most existing digital hardware platforms rely on parallel MAC units
to accelerate these MAC operations. However, under a given area constraint, the
number of MAC units in such platforms is limited, so MAC units have to be
reused to perform MAC operations in a neural network. Accordingly, the
throughput in generating classification results is not high, which prevents the
application of traditional hardware platforms in extreme-throughput scenarios.
Besides, the power consumption of such platforms is also high, mainly due to
data movement. To overcome this challenge, in this paper, we propose to flatten
and implement all the operations at neurons, e.g., MAC and ReLU, in a neural
network with their corresponding logic circuits. To improve the throughput and
reduce the power consumption of such logic designs, the weight values are
embedded into the MAC units to simplify the logic, which can reduce the delay
of the MAC units and the power consumption incurred by weight movement. The
retiming technique is further used to improve the throughput of the logic
circuits for neural networks. In addition, we propose a hardware-aware training
method to reduce the area of logic designs of neural networks. Experimental
results demonstrate that the proposed logic designs can achieve high throughput
and low power consumption for several high-throughput applications.
- Abstract（参考訳）: ニューラルネットワーク(NN)は様々な分野に展開されている。
NNでは、多数のmultiplyaccumulate (MAC)操作を行う必要がある。
既存のデジタルハードウェアプラットフォームの多くは、MAC操作を高速化するために並列MACユニットに依存している。
しかし、与えられた領域制約の下では、そのようなプラットフォーム内のMACユニット数は制限されているため、MACユニットはニューラルネットワークでMAC操作を実行するために再利用されなければならない。
したがって、分類結果を生成するスループットは高くないため、極端にスループットの高いシナリオにおける従来のハードウェアプラットフォームの適用を防げる。
また,データ移動による電力消費も高い。
この課題を克服するために,本論文では,対応する論理回路を持つニューラルネットワークにおいて,macやreluなどのニューロンにおける全ての操作をフラットにし実装することを提案する。
このような論理設計のスループットの向上と消費電力削減のために、重み値をMACユニットに埋め込んで論理を単純化することにより、MACユニットの遅延と重み移動による消費電力を低減することができる。
さらに、ニューラルネットワークの論理回路のスループットを向上させるために、再見積技術が用いられる。
さらに,ニューラルネットワークの論理設計の領域を削減するためのハードウェア・アウェア・トレーニング手法を提案する。
実験の結果,複数の高スループットアプリケーションにおいて高スループットと低消費電力を実現することができた。
関連論文リスト
- Energy-Aware FPGA Implementation of Spiking Neural Network with LIF Neurons [0.5243460995467893]
スパイキングニューラルネットワーク(SNN)は、TinyMLの最先端ソリューションとして際立っている。
本稿では,第1次Leaky Integrate-and-Fire(LIF)ニューロンモデルに基づく新しいSNNアーキテクチャを提案する。
ハードウェアフレンドリーなLIF設計も提案され、Xilinx Artix-7 FPGA上で実装されている。
論文 参考訳（メタデータ） (2024-11-03T16:42:10Z) - Efficient and accurate neural field reconstruction using resistive memory [52.68088466453264]
デジタルコンピュータにおける従来の信号再構成手法は、ソフトウェアとハードウェアの両方の課題に直面している。
本稿では,スパース入力からの信号再構成のためのソフトウェア・ハードウェア協調最適化を用いた体系的アプローチを提案する。
この研究は、AI駆動の信号復元技術を進歩させ、将来の効率的で堅牢な医療AIと3Dビジョンアプリケーションへの道を開く。
論文 参考訳（メタデータ） (2024-04-15T09:33:09Z) - EncodingNet: A Novel Encoding-based MAC Design for Efficient Neural Network Acceleration [7.694043781601237]
符号化に基づく新しいディジタル乗算累積(MAC)設計を提案する。
この新しい設計では、乗算器は単純な論理ゲートで置き換えられ、その結果を広いビット表現で表現する。
乗算関数は単純な論理表現に置き換えられるため、回路の臨界経路はより短くなる。
論文 参考訳（メタデータ） (2024-02-25T09:35:30Z) - NEON: Enabling Efficient Support for Nonlinear Operations in Resistive
RAM-based Neural Network Accelerators [12.045126404373868]
Resistive Random-Access Memory(RRAM)は、ニューラルネットワーク(NN)ワークロードの高速化に適している。
NEONは、RRAMにおけるNNワークロードのエンドツーエンド実行を可能にする、新しいコンパイラ最適化である。
論文 参考訳（メタデータ） (2022-11-10T17:57:35Z) - Signal Detection in MIMO Systems with Hardware Imperfections: Message
Passing on Neural Networks [101.59367762974371]
本稿では,Multi-Input-multiple-output (MIMO)通信システムにおける信号検出について検討する。
パイロット信号が限られているディープニューラルネットワーク(DNN)のトレーニングは困難であり、実用化を妨げている。
我々は、ユニタリ近似メッセージパッシング(UAMP)アルゴリズムを利用して、効率的なメッセージパッシングに基づくベイズ信号検出器を設計する。
論文 参考訳（メタデータ） (2022-10-08T04:32:58Z) - Energy Efficient Hardware Acceleration of Neural Networks with
Power-of-Two Quantisation [0.0]
我々は、Zynq UltraScale + MPSoC ZCU104 FPGA上に実装されたPoT重みを持つハードウェアニューラルネットワークアクセラレーターが、均一量子化バージョンよりも少なくとも1.4x$のエネルギー効率を持つことを示す。
論文 参考訳（メタデータ） (2022-09-30T06:33:40Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳（メタデータ） (2022-01-18T13:59:22Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2021-06-18T03:11:15Z) - Ps and Qs: Quantization-aware pruning for efficient low latency neural
network inference [56.24109486973292]
超低遅延アプリケーションのためのニューラルネットワークのトレーニング中の分級と量子化の相互作用を研究します。
量子化アウェアプルーニングは,タスクのプルーニングや量子化のみよりも計算効率のよいモデルであることが判明した。
論文 参考訳（メタデータ） (2021-02-22T19:00:05Z) - AM-DCGAN: Analog Memristive Hardware Accelerator for Deep Convolutional
Generative Adversarial Networks [3.4806267677524896]
我々は180nm CMOS技術を用いてシミュレーションしたCMOS-memristive convolutional and deconvolutional networkに基づくDeep Convolutional GAN(DCGAN)の完全なアナログハードウェア設計を提案する。
論文 参考訳（メタデータ） (2020-06-20T15:37:29Z) - Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。
数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。
我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
論文 参考訳（メタデータ） (2020-06-02T23:38:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。