論文の概要: Memory Organization for Energy-Efficient Learning and Inference in
Digital Neuromorphic Accelerators
- arxiv url: http://arxiv.org/abs/2003.11639v1
- Date: Thu, 5 Mar 2020 19:19:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-26 06:16:29.551188
- Title: Memory Organization for Energy-Efficient Learning and Inference in
Digital Neuromorphic Accelerators
- Title（参考訳）: デジタルニューロモルフィック加速器におけるエネルギー効率の高い学習と推論のための記憶機構
- Authors: Clemens JS Schaefer, Patrick Faley, Emre O Neftci, Siddharth Joshi
- Abstract要約: ニューロモルフィックハードウェアのエネルギー効率は、エネルギー貯蔵、アクセス、およびシナプスパラメータの更新によって大きく影響を受ける。
畳み込み層における接続性などの構造接続のための機能符号化を導入する。
時間的パターンを維持するために訓練された2層スパイクニューラルネットワークでは、ビットマップ(PB-BMP)ベースの組織がスパースネットワークをより効率的にエンコードすることができる。
- 参考スコア（独自算出の注目度）: 0.4030910640265943
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The energy efficiency of neuromorphic hardware is greatly affected by the
energy of storing, accessing, and updating synaptic parameters. Various methods
of memory organisation targeting energy-efficient digital accelerators have
been investigated in the past, however, they do not completely encapsulate the
energy costs at a system level. To address this shortcoming and to account for
various overheads, we synthesize the controller and memory for different
encoding schemes and extract the energy costs from these synthesized blocks.
Additionally, we introduce functional encoding for structured connectivity such
as the connectivity in convolutional layers. Functional encoding offers a 58%
reduction in the energy to implement a backward pass and weight update in such
layers compared to existing index-based solutions. We show that for a 2 layer
spiking neural network trained to retain a spatio-temporal pattern, bitmap
(PB-BMP) based organization can encode the sparser networks more efficiently.
This form of encoding delivers a 1.37x improvement in energy efficiency coming
at the cost of a 4% degradation in network retention accuracy as measured by
the van Rossum distance.
- Abstract（参考訳）: ニューロモルフィックハードウェアのエネルギー効率は、記憶、アクセス、およびシナプスパラメータの更新のエネルギーに大きく影響を受ける。
エネルギー効率の高いデジタル加速器を対象とする様々なメモリ組織を過去に研究してきたが、システムレベルでのエネルギーコストを完全にカプセル化していない。
この欠点に対処し、様々なオーバーヘッドを考慮し、異なる符号化方式のためのコントローラとメモリを合成し、これらの合成ブロックからエネルギーコストを抽出する。
さらに,畳み込み層への接続など,構造化接続のための関数エンコーディングを導入する。
関数エンコーディングは、既存のインデックスベースのソリューションと比較して、後方パスと重み更新を実装するためのエネルギーを58%削減する。
時空間パターンを保持するように訓練された2層スパイキングニューラルネットワークでは、ビットマップ(pb-bmp)ベースの組織により、スパルサーネットワークをより効率的にエンコードできることを示す。
この方式の符号化は、ファン・ロッシャム距離によって測定されたネットワーク保持精度の4%低下によるエネルギー効率の1.37倍の改善をもたらす。
関連論文リスト
- Over-the-Air Multi-Sensor Inference with Neural Networks Using Memristor-Based Analog Computing [13.5346836945515]
本研究では,メムリスタ型アナログ計算を用いたマルチセンサ無線推論システムを提案する。
センサーの計算能力が限られているため、ネットワークのフロントエンドの機能は中央のデバイスに送信される。
また,$L_p$-normにインスパイアされた合成関数をベースとした,トレーニング可能なオーバー・ザ・エアセンサ融合手法を提案する。
論文 参考訳（メタデータ） (2025-01-17T15:14:58Z) - COMPASS: A Compiler Framework for Resource-Constrained Crossbar-Array Based In-Memory Deep Learning Accelerators [6.172271429579593]
本稿では、資源制約付きクロスバーベース処理インメモリ(PIM)ディープニューラルネットワーク(DNN)アクセラレーターのためのコンパイラフレームワークを提案する。
本稿では,各パーティションをチップ上で高速化するために,各レイヤを分割する最適なパーティショニングを決定するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-01-12T11:31:25Z) - A Fully Hardware Implemented Accelerator Design in ReRAM Analog Computing without ADCs [5.6496088684920345]
ReRAMベースのアクセラレータは、アナログ・コンピューティング・イン・メモリ(CiM)を介してニューラルネットワークを処理し、超高エネルギー効率を実現する。
本研究では、交叉二項化ニューロンを持つニューラルネットワークのSigmoidおよびSoftMaxアクティベーション機能のハードウェア実装について検討する。
本稿では、推論二項化ニューロンを活用することにより、ニューラルネットワークの計算を高速化する完全なReRAMベースのアナログコンピューティング加速器(RACA)を提案する。
論文 参考訳（メタデータ） (2024-12-27T09:38:19Z) - SpiDR: A Reconfigurable Digital Compute-in-Memory Spiking Neural Network Accelerator for Event-based Perception [8.968583287058959]
スパイキングニューラルネットワーク(SNN)は、ダイナミックビジョンセンサー(DVS)によって生成された非同期時間データを効率的に処理する方法を提供する。
既存のSNNアクセラレータは、多様なニューロンモデル、ビット精度、ネットワークサイズへの適応性の制限に悩まされている。
本稿では,CIM (Citical Compute-in-Memory) SNNアクセラレーターを,拡張性および再構成性を備えたチップ名として提案する。
論文 参考訳（メタデータ） (2024-11-05T06:59:02Z) - Accelerating Error Correction Code Transformers [56.75773430667148]
本稿では,トランスを用いたデコーダの高速化手法を提案する。
最新のハードウェアでは、90%の圧縮比を実現し、算術演算エネルギー消費を少なくとも224倍削減する。
論文 参考訳（メタデータ） (2024-10-08T11:07:55Z) - Efficient and accurate neural field reconstruction using resistive memory [52.68088466453264]
デジタルコンピュータにおける従来の信号再構成手法は、ソフトウェアとハードウェアの両方の課題に直面している。
本稿では,スパース入力からの信号再構成のためのソフトウェア・ハードウェア協調最適化を用いた体系的アプローチを提案する。
この研究は、AI駆動の信号復元技術を進歩させ、将来の効率的で堅牢な医療AIと3Dビジョンアプリケーションへの道を開く。
論文 参考訳（メタデータ） (2024-04-15T09:33:09Z) - Resistive Memory-based Neural Differential Equation Solver for Score-based Diffusion Model [55.116403765330084]
スコアベースの拡散のような現在のAIGC法は、迅速性と効率性の点で依然として不足している。
スコアベース拡散のための時間連続型およびアナログ型インメモリ型ニューラル微分方程式解法を提案する。
我々は180nmの抵抗型メモリインメモリ・コンピューティング・マクロを用いて,我々の解を実験的に検証した。
論文 参考訳（メタデータ） (2024-04-08T16:34:35Z) - Pruning random resistive memory for optimizing analogue AI [54.21621702814583]
AIモデルは、エネルギー消費と環境持続可能性に前例のない課題を提示する。
有望な解決策の1つは、アナログコンピューティングを再考することである。
ここでは、構造的塑性に着想を得たエッジプルーニングを用いたユニバーサルソリューション、ソフトウェア・ハードウエアの共設計について報告する。
論文 参考訳（メタデータ） (2023-11-13T08:59:01Z) - Deep Reinforcement Learning Based Multidimensional Resource Management
for Energy Harvesting Cognitive NOMA Communications [64.1076645382049]
エネルギー収穫(EH)、認知無線(CR)、非直交多重アクセス(NOMA)の組み合わせはエネルギー効率を向上させるための有望な解決策である。
本稿では,決定論的CR-NOMA IoTシステムにおけるスペクトル,エネルギー,時間資源管理について検討する。
論文 参考訳（メタデータ） (2021-09-17T08:55:48Z) - SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and
Training [82.35376405568975]
ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。
We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。
SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
論文 参考訳（メタデータ） (2021-01-04T18:54:07Z) - Improving Memory Utilization in Convolutional Neural Network
Accelerators [16.340620299847384]
本稿では,アクティベーション層を重複させ,メモリをより効率的に利用するためのマッピング手法を提案する。
様々な実世界のオブジェクト検出器ネットワークによる実験により、提案されたマッピング技術により、メモリのアクティベーションを最大32.9%削減できることが示された。
より高解像度のノイズ除去ネットワークでは、活性化メモリの48.8%の節約を実現している。
論文 参考訳（メタデータ） (2020-07-20T09:34:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。