論文の概要: A Novel Approximate Hamming Weight Computing for Spiking Neural Networks: an FPGA Friendly Architecture

• arxiv url: http://arxiv.org/abs/2104.14594v1
• Date: Thu, 29 Apr 2021 18:27:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-02 01:51:00.430590
• Title: A Novel Approximate Hamming Weight Computing for Spiking Neural Networks: an FPGA Friendly Architecture
• Title（参考訳）: スパイクニューラルネットワークのための新しい近似ハミング重み計算:FPGAフレンドリーアーキテクチャ
• Authors: Kaveh Akbarzadeh-Sherbaf, Mikaeel Bahmani, Danial Ghiaseddin, Saeed Safari, Abdol-Hossein Vahabie
• Abstract要約: FPGAのルックアップテーブルを利用して長い入力ベクトルを圧縮する手法を提案する。 圧縮機を最大2段階のルックアップテーブルと2段階以上のディープテーブルに分類する。 シミュレーションの結果, 深部圧縮機のみを用いることで, スパイクニューラルネットワークの1024ビットベクトルのハミング重量を計算することにより, ネットワークのカオス的挙動を保っていることがわかった。
• 参考スコア（独自算出の注目度）: 0.47248250311484113
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hamming weights of sparse and long binary vectors are important modules in many scientific applications, particularly in spiking neural networks that are of our interest. To improve both area and latency of their FPGA implementations, we propose a method inspired from synaptic transmission failure for exploiting FPGA lookup tables to compress long input vectors. To evaluate the effectiveness of this approach, we count the number of `1's of the compressed vector using a simple linear adder. We classify the compressors into shallow ones with up to two levels of lookup tables and deep ones with more than two levels. The architecture generated by this approach shows up to 82% and 35% reductions for different configurations of shallow compressors in area and latency respectively. Moreover, our simulation results show that calculating the Hamming weight of a 1024-bit vector of a spiking neural network by the use of only deep compressors preserves the chaotic behavior of the network while slightly impacts on the learning performance.
• Abstract（参考訳）: ばらばらで長いバイナリベクトルの重み付けは、多くの科学応用、特に我々の興味をそそるニューラルネットワークにおいて重要なモジュールである。 FPGA実装の面積とレイテンシを両立させるため,FPGAルックアップテーブルを利用して長い入力ベクトルを圧縮する方式を提案する。 この手法の有効性を評価するために、単純な線形加算器を用いて圧縮ベクトルの `1' の数を数える。 圧縮機を最大2段階のルックアップテーブルと2段階以上の深いテーブルに分類する。 このアプローチによって生成されたアーキテクチャは,各領域で浅い圧縮機の構成が異なる場合,最大82%と35%の削減率を示す。 さらに,深層圧縮機のみを用いて,スパイクニューラルネットワークの1024ビットベクトルのハミング重みを計算することで,ネットワークのカオス的挙動を保ちながら,学習性能に多少の影響を与えていることを示す。

関連論文リスト

• LUTMUL: Exceed Conventional FPGA Roofline Limit by LUT-based Efficient Multiplication for Neural Network Inference [25.342107763021147]
  本稿では、LUTMULを導入し、LUT(ルックアップテーブル)のポテンシャルを利用して乗算を行う。 LUTのこの利点を生かして,FPGAベースのニューラルネットワークアクセラレータの性能向上の可能性を実証する。
  論文  参考訳（メタデータ） (2024-11-01T02:54:11Z)
• MST-compression: Compressing and Accelerating Binary Neural Networks with Minimum Spanning Tree [21.15961593182111]
  エッジコンピューティングデバイスにおける計算コストとメモリストレージを削減するために、バイナリニューラルネットワーク(BNN)が広く採用されている。 しかしながら、ニューラルネットワークが精度を向上し、実用的な要件を満たすためにより広く、より深くなるにつれて、計算の負担はバイナリバージョンにおいても大きな課題である。 本稿では,BNNの圧縮と高速化を学習する,最小スパンニングツリー(MST)圧縮法を提案する。
  論文  参考訳（メタデータ） (2023-08-26T02:42:12Z)
• Reconfigurable Distributed FPGA Cluster Design for Deep Learning Accelerators [59.11160990637615]
  エッジコンピューティングアプリケーション用に設計された低消費電力組み込みFPGAに基づく分散システムを提案する。 提案システムは,様々なニューラルネットワーク(NN)モデルを同時に実行し,パイプライン構造にグラフを配置し,NNグラフの最も計算集約的な層により大きなリソースを手動で割り当てる。
  論文  参考訳（メタデータ） (2023-05-24T16:08:55Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• Lightweight Compression of Intermediate Neural Network Features for Collaborative Intelligence [32.03465747357384]
  協調インテリジェンスアプリケーションでは、ディープニューラルネットワーク(DNN)の一部が携帯電話やエッジデバイスなどの軽量デバイスにデプロイされます。 本稿では,分割DNNの中間層によって出力される特徴を量子化し圧縮する,新しい軽量圧縮技術を提案する。
  論文  参考訳（メタデータ） (2021-05-15T00:10:12Z)
• Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
  ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。 本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
  論文  参考訳（メタデータ） (2021-02-08T05:55:47Z)
• An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems [77.88178159830905]
  Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。 SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
  論文  参考訳（メタデータ） (2021-01-26T13:06:00Z)
• Distance-Weighted Graph Neural Networks on FPGAs for Real-Time Particle Reconstruction in High Energy Physics [11.125632758828266]
  FPGA上で1$mumathrms未満のレイテンシで実行できる距離重み付きグラフネットワークの設計方法について論じる。 本研究では,粒子衝突型加速器で動作する次世代熱量計における粒子の再構成と同定に関連する代表的課題について考察する。 我々は、圧縮されたモデルをファームウェアに変換し、FPGA上で実装する。
  論文  参考訳（メタデータ） (2020-08-08T21:26:31Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。