論文の概要: NullaNet Tiny: Ultra-low-latency DNN Inference Through Fixed-function
Combinational Logic
- arxiv url: http://arxiv.org/abs/2104.05421v1
- Date: Wed, 7 Apr 2021 00:16:39 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-04 08:57:01.687827
- Title: NullaNet Tiny: Ultra-low-latency DNN Inference Through Fixed-function
Combinational Logic
- Title(参考訳): NullaNet Tiny:固定関数結合論理による超低レイテンシDNN推論
- Authors: Mahdi Nazemi, Arash Fayyazi, Amirhossein Esmaili, Atharva Khare,
Soheil Nazar Shahsavani, and Massoud Pedram
- Abstract要約: フィールドプログラマブルゲートアレイ(FPGA)ベースのアクセラレータは、グラフィックス処理ユニット/中央処理ユニットベースのプラットフォームを置き換える深刻な競争相手として注目を集めています。
本稿では,資源とエネルギー効率,超低遅延FPGAベースニューラルネットワークアクセラレータ構築のためのフレームワークであるNullaNet Tinyを提案する。
- 参考スコア(独自算出の注目度): 4.119948826527649
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While there is a large body of research on efficient processing of deep
neural networks (DNNs), ultra-low-latency realization of these models for
applications with stringent, sub-microsecond latency requirements continues to
be an unresolved, challenging problem. Field-programmable gate array
(FPGA)-based DNN accelerators are gaining traction as a serious contender to
replace graphics processing unit/central processing unit-based platforms
considering their performance, flexibility, and energy efficiency. This paper
presents NullaNet Tiny, an across-the-stack design and optimization framework
for constructing resource and energy-efficient, ultra-low-latency FPGA-based
neural network accelerators. The key idea is to replace expensive operations
required to compute various filter/neuron functions in a DNN with Boolean logic
expressions that are mapped to the native look-up tables (LUTs) of the FPGA
device (examples of such operations are multiply-and-accumulate and batch
normalization). At about the same level of classification accuracy, compared to
Xilinx's LogicNets, our design achieves 2.36$\times$ lower latency and
24.42$\times$ lower LUT utilization.
- Abstract(参考訳): ディープニューラルネットワーク(DNN)の効率的な処理に関する多くの研究があるが、厳密なサブマイクロ秒レイテンシ要件を持つアプリケーションに対するこれらのモデルの超低レイテンシの実現は、未解決で困難な問題であり続けている。
フィールドプログラマブルゲートアレイ(FPGA)ベースのDNNアクセラレータは、その性能、柔軟性、エネルギー効率を考慮して、グラフィクス処理ユニット/中央処理ユニットベースのプラットフォームを置き換える重要な競合相手として、注目を集めている。
本稿では,資源と省エネ,超低遅延FPGAベースのニューラルネットワークアクセラレータを構築するためのマルチスタック設計および最適化フレームワークであるNullaNet Tinyを提案する。
鍵となる考え方は、DNNの様々なフィルタ/ニューロン関数をFPGAデバイスのネイティブルックアップテーブル(LUT)にマップされるブール論理式に置き換えることである(そのような操作の例は、乗算および累積およびバッチ正規化である)。
XilinxのLogicNetsとほぼ同じレベルの分類精度で、2.36$\times$低レイテンシ、24.42$\times$低LUT利用を実現しています。
関連論文リスト
- Energy-Aware FPGA Implementation of Spiking Neural Network with LIF Neurons [0.5243460995467893]
スパイキングニューラルネットワーク(SNN)は、TinyMLの最先端ソリューションとして際立っている。
本稿では,第1次Leaky Integrate-and-Fire(LIF)ニューロンモデルに基づく新しいSNNアーキテクチャを提案する。
ハードウェアフレンドリーなLIF設計も提案され、Xilinx Artix-7 FPGA上で実装されている。
論文 参考訳(メタデータ) (2024-11-03T16:42:10Z) - NeuraLUT: Hiding Neural Network Density in Boolean Synthesizable Functions [2.7086888205833968]
Field-Programmable Gate Array (FPGA)アクセラレータは、レイテンシとリソースクリティカルなDeep Neural Network (DNN)推論タスクの処理に成功している。
本稿では、ニューロンの境界を緩和し、サブネットワーク全体を単一のLUTにマッピングすることを提案する。
提案手法は,既知の遅延クリティカルタスク,ジェットサブストラクチャタグ,古典的コンピュータビジョンタスク,MNISTを用いた桁分類で検証する。
論文 参考訳(メタデータ) (2024-02-29T16:10:21Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳(メタデータ) (2022-01-18T13:59:22Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳(メタデータ) (2022-01-09T09:31:50Z) - Logic Shrinkage: Learned FPGA Netlist Sparsity for Efficient Neural
Network Inference [3.2296078260106174]
本稿では,LUTに基づくトポロジの学習最適化を提案する。
既存のアーキテクチャの実装では、LUT, Kあたりの入力数を手動で指定する必要がある。
本稿では,FPGA推論を対象とするニューラルネットワークにおいて,各LUTに対してKを自動的に学習することのできる,詳細なネットリスト解析手法である論理縮小手法を提案する。
論文 参考訳(メタデータ) (2021-12-04T14:23:24Z) - E3NE: An End-to-End Framework for Accelerating Spiking Neural Networks
with Emerging Neural Encoding on FPGAs [6.047137174639418]
エンドツーエンドフレームワークのE3NEはFPGAのための効率的なSNN推論ロジックを生成する。
E3NEはハードウェアリソースの50%未満を消費し、20%の電力を消費する一方で、レイテンシを桁違いに低減する。
論文 参考訳(メタデータ) (2021-11-19T04:01:19Z) - Sub-bit Neural Networks: Learning to Compress and Accelerate Binary
Neural Networks [72.81092567651395]
Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。
SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。
ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
論文 参考訳(メタデータ) (2021-10-18T11:30:29Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳(メタデータ) (2021-06-18T03:11:15Z) - Learning to Solve the AC-OPF using Sensitivity-Informed Deep Neural
Networks [52.32646357164739]
最適な電力フロー(ACOPF)のソリューションを解決するために、ディープニューラルネットワーク(DNN)を提案します。
提案されたSIDNNは、幅広いOPFスキームと互換性がある。
他のLearning-to-OPFスキームとシームレスに統合できる。
論文 参考訳(メタデータ) (2021-03-27T00:45:23Z) - LogicNets: Co-Designed Neural Networks and Circuits for
Extreme-Throughput Applications [6.9276012494882835]
本稿では,高効率FPGA実装に直接マップするニューラルネットワークトポロジを設計する新しい手法を提案する。
その結果,低ビット化と疎結合化の両立により,論理深度が小さく,LUTコストが低い高速回路が実現された。
論文 参考訳(メタデータ) (2020-04-06T22:15:41Z) - PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with
Pattern-based Weight Pruning [57.20262984116752]
粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。
きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
論文 参考訳(メタデータ) (2020-01-01T04:52:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。