Fugu-MT 論文翻訳(概要): SparkXD: A Framework for Resilient and Energy-Efficient Spiking Neural Network Inference using Approximate DRAM

論文の概要: SparkXD: A Framework for Resilient and Energy-Efficient Spiking Neural Network Inference using Approximate DRAM

arxiv url: http://arxiv.org/abs/2103.00421v1
Date: Sun, 28 Feb 2021 08:12:26 GMT
ステータス: 処理完了
システム内更新日: 2023-04-09 16:42:41.697022
Title: SparkXD: A Framework for Resilient and Energy-Efficient Spiking Neural Network Inference using Approximate DRAM
Title（参考訳）: SparkXD: 近似DRAMを用いたレジリエントでエネルギー効率の良いスパイクニューラルネットワーク推論のためのフレームワーク
Authors: Rachmad Vidya Wicaksana Putra, Muhammad Abdullah Hanif, Muhammad Shafique
Abstract要約: スパイキングニューラルネットワーク(SNN)は、生物学的に疎い計算のために低エネルギー消費を達成する可能性がある。いくつかの研究により、オフチップメモリ(DRAM)アクセスがSNN処理において最もエネルギー消費が大きいことが示されている。我々は、回復力とエネルギー効率のよいSNN推論のための包括的コンジョイントソリューションを提供する新しいフレームワークSparkXDを提案する。
参考スコア（独自算出の注目度）: 15.115813664357436
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Spiking Neural Networks (SNNs) have the potential for achieving low energy consumption due to their biologically sparse computation. Several studies have shown that the off-chip memory (DRAM) accesses are the most energy-consuming operations in SNN processing. However, state-of-the-art in SNN systems do not optimize the DRAM energy-per-access, thereby hindering achieving high energy-efficiency. To substantially minimize the DRAM energy-per-access, a key knob is to reduce the DRAM supply voltage but this may lead to DRAM errors (i.e., the so-called approximate DRAM). Towards this, we propose SparkXD, a novel framework that provides a comprehensive conjoint solution for resilient and energy-efficient SNN inference using low-power DRAMs subjected to voltage-induced errors. The key mechanisms of SparkXD are: (1) improving the SNN error tolerance through fault-aware training that considers bit errors from approximate DRAM, (2) analyzing the error tolerance of the improved SNN model to find the maximum tolerable bit error rate (BER) that meets the targeted accuracy constraint, and (3) energy-efficient DRAM data mapping for the resilient SNN model that maps the weights in the appropriate DRAM location to minimize the DRAM access energy. Through these mechanisms, SparkXD mitigates the negative impact of DRAM (approximation) errors, and provides the required accuracy. The experimental results show that, for a target accuracy within 1% of the baseline design (i.e., SNN without DRAM errors), SparkXD reduces the DRAM energy by ca. 40% on average across different network sizes.
Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、生物学的に疎い計算のために低エネルギー消費を達成する可能性がある。いくつかの研究により、オフチップメモリ(DRAM)アクセスがSNN処理において最もエネルギー消費が大きいことが示されている。しかし、SNNシステムにおける最先端技術は、アクセス当たりのDRAMエネルギーを最適化しないため、高いエネルギー効率を達成するのを妨げている。アクセス当たりのDRAMエネルギーを実質的に最小化するために、キーノブはDRAMの供給電圧を減らすが、これはDRAMエラー(いわゆる近似DRAM)を引き起こす可能性がある。そこで本稿では,低消費電力DRAMを用いた高効率SNN推論に対して,電圧誘起誤差を考慮した包括的コンジョイントソリューションであるSparkXDを提案する。 SparkXDの主なメカニズムは,(1)近似DRAMからビットエラーを考慮した故障認識トレーニングによるSNNエラー耐性の向上,(2)目標の精度制約を満たす最大許容ビット誤り率(BER)を求めるための改良されたSNNモデルのエラー耐性の解析,(3)DRAMアクセスエネルギーを最小化するために適切なDRAM位置の重みをマッピングするレジリエントSNNモデルに対するエネルギー効率のよいDRAMデータマッピングである。これらのメカニズムを通じて、SparkXDはDRAM(近似)エラーの負の影響を緩和し、必要な精度を提供する。実験の結果,ベースライン設計の1%以内の目標精度(DRAMエラーのないSNN)において,SparkXDはDRAMエネルギーをcaで低減することがわかった。 40%がネットワークサイズによって異なる。

関連論文リスト

Enabling Efficient and Scalable DRAM Read Disturbance Mitigation via New Experimental Insights into Modern DRAM Chips [0.0]
ストレージ密度は、システムレベルの攻撃によって悪用される回路レベルの脆弱性であるDRAM読み取り障害を悪化させる。既存の防御は効果がないか、違法に高価である。 1)DRAMベースのシステムの保護は、技術スケーリングが読み取り障害の脆弱性を増大させるにつれてコストが高くなり、2)既存のソリューションの多くはDRAM内部の独自知識に依存している。
論文参考訳（メタデータ） (2024-08-27T13:12:03Z)
PENDRAM: Enabling High-Performance and Energy-Efficient Processing of Deep Neural Networks through a Generalized DRAM Data Mapping Policy [6.85785397160228]
畳み込みニューラルネットワーク(CNN)は、機械学習タスクを解決する最先端のソリューションとして登場した。 CNNアクセラレータは、高オフチップメモリ(DRAM)アクセスレイテンシとエネルギのために、パフォーマンスとエネルギー効率の課題に直面している。本稿では,高性能でエネルギー効率の良いCNN加速を実現する新しい設計空間探索手法であるPENDRAMを提案する。
論文参考訳（メタデータ） (2024-08-05T12:11:09Z)
NeuralFuse: Learning to Recover the Accuracy of Access-Limited Neural Network Inference in Low-Voltage Regimes [52.51014498593644]
ディープラーニング(Deep Neural Network, DNN)は、機械学習においてユビキタスになったが、そのエネルギー消費は依然として注目すべき問題である。我々は、低電圧状態における精度とエネルギーのトレードオフに対処する新しいアドオンモジュールであるNeuralFuseを紹介する。 1%のビットエラー率で、NeuralFuseはメモリアクセスエネルギーを最大24%削減し、精度を最大57%向上させることができる。
論文参考訳（メタデータ） (2023-06-29T11:38:22Z)
EnforceSNN: Enabling Resilient and Energy-Efficient Spiking Neural Network Inference considering Approximate DRAMs for Embedded Systems [15.115813664357436]
スパイキングニューラルネットワーク(SNN)は、教師なし設定下で高い精度と低い運用電力/エネルギーを達成する能力を示している。本稿では、低電圧DRAMを用いたレジリエンスおよびエネルギー効率の高いSNN推論のためのソリューションを提供する新しい設計フレームワークであるEnforceSNNを提案する。
論文参考訳（メタデータ） (2023-04-08T15:15:11Z)
Distribution-sensitive Information Retention for Accurate Binary Neural Network [49.971345958676196]
本稿では、前向きのアクティベーションと後向きの勾配の情報を保持するために、新しいDIR-Net(Distribution-sensitive Information Retention Network)を提案する。我々のDIR-Netは、主流かつコンパクトなアーキテクチャの下で、SOTAバイナライゼーションアプローチよりも一貫して優れています。我々は、実世界のリソース制限されたデバイス上でDIR-Netを行い、ストレージの11.1倍の節約と5.4倍のスピードアップを実現した。
論文参考訳（メタデータ） (2021-09-25T10:59:39Z)
Random and Adversarial Bit Error Robustness: Energy-Efficient and Secure DNN Accelerators [105.60654479548356]
固定点量子化と重み切り、およびランダムビット誤り訓練(RandBET)の組み合わせにより、量子化DNN重みにおけるランダムビット誤りや逆ビット誤りに対するロバスト性を著しく向上することを示す。これは低電圧運転のための高省エネと低精度量子化をもたらすが、DNN加速器の安全性も向上する。
論文参考訳（メタデータ） (2021-04-16T19:11:14Z)
SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and Training [82.35376405568975]
ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。 We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。 SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
論文参考訳（メタデータ） (2021-01-04T18:54:07Z)
Bit Error Robustness for Energy-Efficient DNN Accelerators [93.58572811484022]
本稿では、ロバストな固定点量子化、重み切り、ランダムビット誤り訓練(RandBET)の組み合わせにより、ランダムビット誤りに対するロバスト性を向上することを示す。これは低電圧動作と低精度量子化の両方から高エネルギーの節約につながる。
論文参考訳（メタデータ） (2020-06-24T18:23:10Z)
SmartExchange: Trading Higher-cost Memory Storage/Access for Lower-cost Computation [97.78417228445883]
We present SmartExchange, a algorithm- hardware co-design framework for energy- efficient inference of Deep Neural Network (DNNs)。そこで我々は,非零要素がすべてパワー・オブ・ツーである小さな基底行列と大きなスパース係数行列の積として,各重み行列を格納できる,特別に好ましいDNN重み構造を強制する新しいアルゴリズムを開発した。さらに、SmartExchange強化重量をフル活用し、エネルギー効率と遅延性能の両方を改善するための専用のアクセラレータを設計する。
論文参考訳（メタデータ） (2020-05-07T12:12:49Z)
DRMap: A Generic DRAM Data Mapping Policy for Energy-Efficient Processing of Convolutional Neural Networks [15.115813664357436]
異なるDRAMアーキテクチャ上で異なるマッピングポリシーのレイテンシとエネルギについて検討する。その結果, 行バッファヒット, バンクレベル, サブアレイレベルの並列化を最優先するマッピングポリシにより, エネルギー効率の高いDRAMアクセスを実現することができた。
論文参考訳（メタデータ） (2020-04-21T23:26:23Z)
Data-Driven Neuromorphic DRAM-based CNN and RNN Accelerators [13.47462920292399]
ハードウェアアクセラレーター上で大きなディープニューラルネットワーク(DNN)を実行することで消費されるエネルギーは、状態と重みの両方を保存するために大量の高速メモリを必要としている。 DRAMは高価で低コストなメモリ(DRAMより20倍安い)であるが、長いランダムアクセスレイテンシはスパイキングニューラルネットワーク(SNN)の予測不可能なアクセスパターンにとって悪い。本稿では,SNNと同様の空間的あるいは時間的間隔を生かしながら,SOAスループット,電力効率,レイテンシを実現する深層ニューラルネットワークハードウェアアクセラレータの過去5年間の展開について報告する。
論文参考訳（メタデータ） (2020-03-29T11:45:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。