Fugu-MT 論文翻訳(概要): Memory Organization for Energy-Efficient Learning and Inference in Digital Neuromorphic Accelerators

論文の概要: Memory Organization for Energy-Efficient Learning and Inference in Digital Neuromorphic Accelerators

arxiv url: http://arxiv.org/abs/2003.11639v1
Date: Thu, 5 Mar 2020 19:19:09 GMT
ステータス: 処理完了
システム内更新日: 2022-12-26 06:16:29.551188
Title: Memory Organization for Energy-Efficient Learning and Inference in Digital Neuromorphic Accelerators
Title（参考訳）: デジタルニューロモルフィック加速器におけるエネルギー効率の高い学習と推論のための記憶機構
Authors: Clemens JS Schaefer, Patrick Faley, Emre O Neftci, Siddharth Joshi
Abstract要約: ニューロモルフィックハードウェアのエネルギー効率は、エネルギー貯蔵、アクセス、およびシナプスパラメータの更新によって大きく影響を受ける。畳み込み層における接続性などの構造接続のための機能符号化を導入する。時間的パターンを維持するために訓練された2層スパイクニューラルネットワークでは、ビットマップ(PB-BMP)ベースの組織がスパースネットワークをより効率的にエンコードすることができる。
参考スコア（独自算出の注目度）: 0.4030910640265943
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The energy efficiency of neuromorphic hardware is greatly affected by the energy of storing, accessing, and updating synaptic parameters. Various methods of memory organisation targeting energy-efficient digital accelerators have been investigated in the past, however, they do not completely encapsulate the energy costs at a system level. To address this shortcoming and to account for various overheads, we synthesize the controller and memory for different encoding schemes and extract the energy costs from these synthesized blocks. Additionally, we introduce functional encoding for structured connectivity such as the connectivity in convolutional layers. Functional encoding offers a 58% reduction in the energy to implement a backward pass and weight update in such layers compared to existing index-based solutions. We show that for a 2 layer spiking neural network trained to retain a spatio-temporal pattern, bitmap (PB-BMP) based organization can encode the sparser networks more efficiently. This form of encoding delivers a 1.37x improvement in energy efficiency coming at the cost of a 4% degradation in network retention accuracy as measured by the van Rossum distance.
Abstract（参考訳）: ニューロモルフィックハードウェアのエネルギー効率は、記憶、アクセス、およびシナプスパラメータの更新のエネルギーに大きく影響を受ける。エネルギー効率の高いデジタル加速器を対象とする様々なメモリ組織を過去に研究してきたが、システムレベルでのエネルギーコストを完全にカプセル化していない。この欠点に対処し、様々なオーバーヘッドを考慮し、異なる符号化方式のためのコントローラとメモリを合成し、これらの合成ブロックからエネルギーコストを抽出する。さらに,畳み込み層への接続など,構造化接続のための関数エンコーディングを導入する。関数エンコーディングは、既存のインデックスベースのソリューションと比較して、後方パスと重み更新を実装するためのエネルギーを58%削減する。時空間パターンを保持するように訓練された2層スパイキングニューラルネットワークでは、ビットマップ(pb-bmp)ベースの組織により、スパルサーネットワークをより効率的にエンコードできることを示す。この方式の符号化は、ファン・ロッシャム距離によって測定されたネットワーク保持精度の4%低下によるエネルギー効率の1.37倍の改善をもたらす。

関連論文リスト

SpiDR: A Reconfigurable Digital Compute-in-Memory Spiking Neural Network Accelerator for Event-based Perception [8.968583287058959]
スパイキングニューラルネットワーク(SNN)は、ダイナミックビジョンセンサー(DVS)によって生成された非同期時間データを効率的に処理する方法を提供する。既存のSNNアクセラレータは、多様なニューロンモデル、ビット精度、ネットワークサイズへの適応性の制限に悩まされている。本稿では,CIM (Citical Compute-in-Memory) SNNアクセラレーターを,拡張性および再構成性を備えたチップ名として提案する。
論文参考訳（メタデータ） (2024-11-05T06:59:02Z)
Accelerating Error Correction Code Transformers [56.75773430667148]
本稿では,トランスを用いたデコーダの高速化手法を提案する。最新のハードウェアでは、90%の圧縮比を実現し、算術演算エネルギー消費を少なくとも224倍削減する。
論文参考訳（メタデータ） (2024-10-08T11:07:55Z)
Accelerating Depthwise Separable Convolutions on Ultra-Low-Power Devices [10.733902200950872]
分離可能な畳み込みブロックを構成する深さと点の異なるカーネルを融合させる方法を模索する。我々のアプローチは、異なるデータレイアウトを組み合わせることで、メモリ転送に要する時間を最小化することを目的としている。
論文参考訳（メタデータ） (2024-06-18T10:32:40Z)
Efficient and accurate neural field reconstruction using resistive memory [52.68088466453264]
デジタルコンピュータにおける従来の信号再構成手法は、ソフトウェアとハードウェアの両方の課題に直面している。本稿では,スパース入力からの信号再構成のためのソフトウェア・ハードウェア協調最適化を用いた体系的アプローチを提案する。この研究は、AI駆動の信号復元技術を進歩させ、将来の効率的で堅牢な医療AIと3Dビジョンアプリケーションへの道を開く。
論文参考訳（メタデータ） (2024-04-15T09:33:09Z)
Resistive Memory-based Neural Differential Equation Solver for Score-based Diffusion Model [55.116403765330084]
スコアベースの拡散のような現在のAIGC法は、迅速性と効率性の点で依然として不足している。スコアベース拡散のための時間連続型およびアナログ型インメモリ型ニューラル微分方程式解法を提案する。我々は180nmの抵抗型メモリインメモリ・コンピューティング・マクロを用いて,我々の解を実験的に検証した。
論文参考訳（メタデータ） (2024-04-08T16:34:35Z)
Pruning random resistive memory for optimizing analogue AI [54.21621702814583]
AIモデルは、エネルギー消費と環境持続可能性に前例のない課題を提示する。有望な解決策の1つは、アナログコンピューティングを再考することである。ここでは、構造的塑性に着想を得たエッジプルーニングを用いたユニバーサルソリューション、ソフトウェア・ハードウエアの共設計について報告する。
論文参考訳（メタデータ） (2023-11-13T08:59:01Z)
Energy Efficient Hardware Acceleration of Neural Networks with Power-of-Two Quantisation [0.0]
我々は、Zynq UltraScale + MPSoC ZCU104 FPGA上に実装されたPoT重みを持つハードウェアニューラルネットワークアクセラレーターが、均一量子化バージョンよりも少なくとも1.4x$のエネルギー効率を持つことを示す。
論文参考訳（メタデータ） (2022-09-30T06:33:40Z)
Deep Reinforcement Learning Based Multidimensional Resource Management for Energy Harvesting Cognitive NOMA Communications [64.1076645382049]
エネルギー収穫(EH)、認知無線(CR)、非直交多重アクセス(NOMA)の組み合わせはエネルギー効率を向上させるための有望な解決策である。本稿では,決定論的CR-NOMA IoTシステムにおけるスペクトル,エネルギー,時間資源管理について検討する。
論文参考訳（メタデータ） (2021-09-17T08:55:48Z)
SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and Training [82.35376405568975]
ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。 We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。 SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
論文参考訳（メタデータ） (2021-01-04T18:54:07Z)
DESCNet: Developing Efficient Scratchpad Memories for Capsule Network Hardware [12.26801463167931]
Capsule Networks(CapsNets)は、Deep Neural Networks(DNNs)と比較して、一般化能力を改善した。 CapsNetは計算とメモリの要求がかなり高く、そのエネルギー効率のよい推論は難しい課題である。本稿では,ハードウェアアクセラレーターが高速なCapsNets推論を実行する際の(オンチップ)メモリの設計と管理に関する課題を,初めて詳細に分析する。
論文参考訳（メタデータ） (2020-10-12T14:50:59Z)
Improving Memory Utilization in Convolutional Neural Network Accelerators [16.340620299847384]
本稿では,アクティベーション層を重複させ,メモリをより効率的に利用するためのマッピング手法を提案する。様々な実世界のオブジェクト検出器ネットワークによる実験により、提案されたマッピング技術により、メモリのアクティベーションを最大32.9%削減できることが示された。より高解像度のノイズ除去ネットワークでは、活性化メモリの48.8%の節約を実現している。
論文参考訳（メタデータ） (2020-07-20T09:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。