論文の概要: Comparative Evaluation of Memory Technologies for Synaptic Crossbar Arrays- Part 2: Design Knobs and DNN Accuracy Trends
- arxiv url: http://arxiv.org/abs/2408.05857v1
- Date: Sun, 11 Aug 2024 20:02:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-13 15:05:59.047188
- Title: Comparative Evaluation of Memory Technologies for Synaptic Crossbar Arrays- Part 2: Design Knobs and DNN Accuracy Trends
- Title（参考訳）: シナプスクロスバーアレイのメモリ技術の比較評価 -第2報:設計ノブとDNN精度の動向-
- Authors: Jeffry Victor, Chunguang Wang, Sumeet K. Gupta,
- Abstract要約: クロスバーメモリアレイは、ディープニューラルネットワーク(DNN)のインメモリコンピューティング(IMC)ベースのアクセラレーションの成果として評価されている。
本稿では,PWA (Partial Wordline Activation) などの回路設計ソリューションと,ハードウェアの非理想性を低減するカスタム参照レベルの効果について検討する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Crossbar memory arrays have been touted as the workhorse of in-memory computing (IMC)-based acceleration of Deep Neural Networks (DNNs), but the associated hardware non-idealities limit their efficacy. To address this, cross-layer design solutions that reduce the impact of hardware non-idealities on DNN accuracy are needed. In Part 1 of this paper, we established the co-optimization strategies for various memory technologies and their crossbar arrays, and conducted a comparative technology evaluation in the context of IMC robustness. In this part, we analyze various design knobs such as array size and bit-slice (number of bits per device) and their impact on the performance of 8T SRAM, ferroelectric transistor (FeFET), Resistive RAM (ReRAM) and spin-orbit-torque magnetic RAM (SOT-MRAM) in the context of inference accuracy at 7nm technology node. Further, we study the effect of circuit design solutions such as Partial Wordline Activation (PWA) and custom ADC reference levels that reduce the hardware non-idealities and comparatively analyze the response of each technology to such accuracy enhancing techniques. Our results on ResNet-20 (with CIFAR-10) show that PWA increases accuracy by up to 32.56% while custom ADC reference levels yield up to 31.62% accuracy enhancement. We observe that compared to the other technologies, FeFET, by virtue of its small layout height and high distinguishability of its memory states, is best suited for large arrays. For higher bit-slices and a more complex dataset (ResNet-50 with Cifar-100) we found that ReRAM matches the performance of FeFET.
- Abstract（参考訳）: クロスバーメモリアレイは、ディープニューラルネットワーク(DNN)のインメモリ・コンピューティング(IMC)ベースのアクセラレーションの成果と評価されているが、関連するハードウェアの非理想性は、その有効性を制限している。
これを解決するには、ハードウェア非イデアルがDNN精度に与える影響を低減するための層間設計ソリューションが必要である。
本論文のパート1では,様々なメモリ技術とそのクロスバーアレイの協調最適化戦略を確立し,IMCロバスト性の観点から比較技術評価を行った。
本稿では, アレイサイズやビットスライス(デバイス当たりのビット数)などの様々な設計ノブと, 8T SRAM, 強誘電体トランジスタ(FeFET), Resistive RAM(ReRAM), スピン軌道トルク磁気RAM(SOT-MRAM)の性能への影響を, 7nm技術ノードにおける推論精度の文脈で解析する。
さらに,PWA(Partial Wordline Activation)や,ハードウェアの非理想性を低下させるカスタムADC参照レベルなどの回路設計ソリューションの効果を検討した。
CIFAR-10を用いたResNet-20の結果,PWAの精度は最大32.56%向上し,ADC参照レベルは最大31.62%向上した。
FeFETは他の技術と比較して、レイアウトの高さが小さく、メモリ状態の識別性が高いため、大規模な配列に最適である。
より高いビットスライスとより複雑なデータセット(ResNet-50とCifar-100)に対して、ReRAMはFeFETのパフォーマンスにマッチすることがわかった。
関連論文リスト
- Quasar-ViT: Hardware-Oriented Quantization-Aware Architecture Search for Vision Transformers [56.37495946212932]
視覚変換器(ViT)は、畳み込みニューラルネットワーク(CNN)と比較して、コンピュータビジョンタスクにおいて優れた精度を示す。
ハードウェア指向の量子化対応アーキテクチャ検索フレームワークであるQuasar-ViTを提案する。
論文 参考訳（メタデータ） (2024-07-25T16:35:46Z) - Pruning random resistive memory for optimizing analogue AI [54.21621702814583]
AIモデルは、エネルギー消費と環境持続可能性に前例のない課題を提示する。
有望な解決策の1つは、アナログコンピューティングを再考することである。
ここでは、構造的塑性に着想を得たエッジプルーニングを用いたユニバーサルソリューション、ソフトウェア・ハードウエアの共設計について報告する。
論文 参考訳（メタデータ） (2023-11-13T08:59:01Z) - Containing Analog Data Deluge at Edge through Frequency-Domain
Compression in Collaborative Compute-in-Memory Networks [0.0]
本稿では,ディープラーニング推論タスクにおける領域効率向上のための新しい手法を提案する。
アナログデータをより効率的に処理することにより、センサからの貴重なデータを選択的に保持し、アナログデータデルージュによる課題を軽減することができる。
論文 参考訳（メタデータ） (2023-09-20T03:52:04Z) - Seizure Detection and Prediction by Parallel Memristive Convolutional
Neural Networks [2.0738462952016232]
本稿では,低レイテンシ並列畳み込みニューラルネットワーク(CNN)アーキテクチャを提案する。
本ネットワークは,てんかん発作検出では99.84%,てんかん発作予測では97.54%のクロスバリデーション精度を達成している。
CNNは22nm FDSOI CMOSプロセスで31.255mm$2$の面積を占有しながら約2.791Wの電力を消費すると推定されている。
論文 参考訳（メタデータ） (2022-06-20T18:16:35Z) - Implementation of a Binary Neural Network on a Passive Array of Magnetic
Tunnel Junctions [2.917306244908168]
我々は、MTJの受動配列に基づくニューラルネットワークハードウェア推論を実証するために、MTJの低消費電力と本質的に二元的動作を利用する。
デバイスサイズが広い15 x 15 MTJアレイにおいて,ネットワークパラメータを適切に調整することで,ソフトウェア等価精度を最大95.3 %まで向上する。
論文 参考訳（メタデータ） (2021-12-16T19:11:29Z) - Efficient Micro-Structured Weight Unification and Pruning for Neural
Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。
既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。
ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文 参考訳（メタデータ） (2021-06-15T17:22:59Z) - Efficiency-driven Hardware Optimization for Adversarially Robust Neural
Networks [3.125321230840342]
効率性の高いハードウェア最適化を通じて、Deep Neural Networks(DNN)の対比ロバスト性に対処する方法に焦点を当てます。
そのようなアプローチの1つは、低電力運転をもたらす供給スケーリング(Vdd)を可能にするハイブリッド6T-8TセルによるおよそのデジタルCMOSメモリです。
別のメモリ最適化アプローチは、低エネルギーと面積の要件でマトリックス乗算(MVM)を効率的に実行する記念的なクロスバーの作成を含む。
論文 参考訳（メタデータ） (2021-05-09T19:26:25Z) - FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。
現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。
提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
論文 参考訳（メタデータ） (2021-03-08T03:09:37Z) - Hybrid In-memory Computing Architecture for the Training of Deep Neural
Networks [5.050213408539571]
ハードウェアアクセラレータ上でのディープニューラルネットワーク(DNN)のトレーニングのためのハイブリッドインメモリコンピューティングアーキテクチャを提案する。
HICをベースとしたトレーニングでは,ベースラインに匹敵する精度を達成するために,推論モデルのサイズが約50%小さくなることを示す。
シミュレーションの結果,HICをベースとしたトレーニングにより,PCMの耐久限界のごく一部に,デバイスによる書き込みサイクルの回数を自然に確保できることがわかった。
論文 参考訳（メタデータ） (2021-02-10T05:26:27Z) - SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and
Training [82.35376405568975]
ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。
We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。
SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
論文 参考訳（メタデータ） (2021-01-04T18:54:07Z) - PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with
Pattern-based Weight Pruning [57.20262984116752]
粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。
きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
論文 参考訳（メタデータ） (2020-01-01T04:52:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。