論文の概要: A New MRAM-based Process In-Memory Accelerator for Efficient Neural
Network Training with Floating Point Precision
- arxiv url: http://arxiv.org/abs/2003.01551v2
- Date: Tue, 12 May 2020 16:49:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-27 06:06:27.054042
- Title: A New MRAM-based Process In-Memory Accelerator for Efficient Neural
Network Training with Floating Point Precision
- Title（参考訳）: 浮動小数点精度を用いたニューラルネットワーク学習のための新しいMRAMベースのプロセスインメモリ加速器
- Authors: Hongjie Wang, Yang Zhao, Chaojian Li, Yue Wang, Yingyan Lin
- Abstract要約: 本研究では、浮動小数点精度をサポートしたスピン軌道トルク磁気ランダムアクセスメモリ(SOT-MRAM)を用いたデジタルPIM加速器を提案する。
実験の結果,提案したSOT-MRAM PIMベースのDNNトレーニングアクセラレータは3.3$times$,1.8$times$,2.5$times$をエネルギー,遅延,面積の面で改善できることがわかった。
- 参考スコア（独自算出の注目度）: 28.458719513745812
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The excellent performance of modern deep neural networks (DNNs) comes at an
often prohibitive training cost, limiting the rapid development of DNN
innovations and raising various environmental concerns. To reduce the dominant
data movement cost of training, process in-memory (PIM) has emerged as a
promising solution as it alleviates the need to access DNN weights. However,
state-of-the-art PIM DNN training accelerators employ either analog/mixed
signal computing which has limited precision or digital computing based on a
memory technology that supports limited logic functions and thus requires
complicated procedure to realize floating point computation. In this paper, we
propose a spin orbit torque magnetic random access memory (SOT-MRAM) based
digital PIM accelerator that supports floating point precision. Specifically,
this new accelerator features an innovative (1) SOT-MRAM cell, (2) full
addition design, and (3) floating point computation. Experiment results show
that the proposed SOT-MRAM PIM based DNN training accelerator can achieve
3.3$\times$, 1.8$\times$, and 2.5$\times$ improvement in terms of energy,
latency, and area, respectively, compared with a state-of-the-art PIM based DNN
training accelerator.
- Abstract（参考訳）: 現代のディープニューラルネットワーク(DNN)の優れたパフォーマンスは、しばしば禁止的なトレーニングコストを伴い、DNNイノベーションの急速な発展を制限し、様々な環境問題を引き起こす。
トレーニングの主流となるデータ移動コストを削減するため、プロセスインメモリ(PIM)がDNNウェイトへのアクセスを緩和する有望なソリューションとして登場した。
しかし、最先端のPIM DNNトレーニングアクセラレータは、限られた論理機能をサポートするメモリ技術に基づいて、限られた精度のアナログ/混合信号計算またはデジタルコンピューティングを使用するため、浮動小数点演算を実現するために複雑な手順を必要とする。
本稿では、浮動小数点精度をサポートしたスピン軌道トルク磁気ランダムアクセスメモリ(SOT-MRAM)を用いたデジタルPIM加速器を提案する。
具体的には,(1)SOT-MRAMセル,(2)完全付加設計,(3)浮動小数点演算などが特徴である。
実験の結果,提案したSOT-MRAM PIMベースのDNNトレーニングアクセラレータは3.3$\times$,1.8$\times$,2.5$\times$を,最先端のPIMベースのDNNトレーニングアクセラレータと比較してそれぞれエネルギー,レイテンシ,面積の面で改善できることがわかった。
関連論文リスト
- EPIM: Efficient Processing-In-Memory Accelerators based on Epitome [78.79382890789607]
畳み込みのような機能を提供する軽量神経オペレータであるEpitomeを紹介する。
ソフトウェア側では,PIMアクセラレータ上でのエピトームのレイテンシとエネルギを評価する。
ハードウェア効率を向上させるため,PIM対応層設計手法を提案する。
論文 参考訳（メタデータ） (2023-11-12T17:56:39Z) - Efficient N:M Sparse DNN Training Using Algorithm, Architecture, and
Dataflow Co-Design [15.47240906902083]
本稿では,アルゴリズム,アーキテクチャ,データフロー共設計を用いたN:MスパースDNNの計算効率向上学習手法を提案する。
アルゴリズムレベルでは、重みのN:M空間を利用するために、BDWPと呼ばれる双方向の重み決定法が提案されている。
アーキテクチャレベルでは、通常の高密度演算と計算効率のN:Mスパース演算の両方をサポートするために、DNNトレーニング用のスパースアクセラレータSATが開発された。
論文 参考訳（メタデータ） (2023-09-22T17:26:19Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳（メタデータ） (2023-09-02T11:01:16Z) - Evaluation of STT-MRAM as a Scratchpad for Training in ML Accelerators [9.877596714655096]
深層ニューラルネットワーク(DNN)のトレーニングは非常にメモリ集約的なプロセスである。
Spin-Transfer-Torque MRAM (STT-MRAM) は、加速器の訓練に望ましいいくつかの特性を提供する。
MRAMはシステムレベルのエネルギーを最大15-22倍改善することを示す。
論文 参考訳（メタデータ） (2023-08-03T20:36:48Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - DNN Training Acceleration via Exploring GPGPU Friendly Sparsity [16.406482603838157]
本稿では、従来のランダムなニューロンやシナプスのドロップアウトを、通常のオンラインの行ベースもしくはタイルベースのドロップアウトパターンに置き換える近似ランダムドロップアウトを提案する。
次に,SGDに基づく探索アルゴリズムを開発し,行ベースあるいはタイルベースのドロップアウトパターンの分布を生成し,潜在的な精度損失を補う。
また,入力特徴図をその感度に基づいて動的にドロップアウトし,前向きおよび後向きのトレーニングアクセラレーションを実現するための感度対応ドロップアウト手法を提案する。
論文 参考訳（メタデータ） (2022-03-11T01:32:03Z) - Neural-PIM: Efficient Processing-In-Memory with Neural Approximation of
Peripherals [11.31429464715989]
本稿では,ディープラーニングタスクを効率的に高速化する新しいPIMアーキテクチャを提案する。
アナログ集積回路とニューラル近似周辺回路で必要となるA/D変換を最小化する。
異なるベンチマークによる評価では、Neural-PIMはエネルギー効率を5.36x (1.73x)向上し、スループットを3.43x (1.59x)向上する。
論文 参考訳（メタデータ） (2022-01-30T16:14:49Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳（メタデータ） (2022-01-18T13:59:22Z) - FracTrain: Fractionally Squeezing Bit Savings Both Temporally and
Spatially for Efficient DNN Training [81.85361544720885]
アクティベーション、ウェイト、グラデーションの精度を徐々に高めるプログレッシブ分数量子化を統合したFracTrainを提案します。
FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
論文 参考訳（メタデータ） (2020-12-24T05:24:10Z) - TaxoNN: A Light-Weight Accelerator for Deep Neural Network Training [2.5025363034899732]
本稿では,SGDアルゴリズムを単純な計算要素に分割することで,ベースラインDNNアクセラレータ(推論のみ)にトレーニング能力を付加する手法を提案する。
DNNトレーニングのための軽量加速器であるTaxoNNを提案する。
実験の結果,TaxoNNは実精度よりも平均0.97%,誤分類率が高いことがわかった。
論文 参考訳（メタデータ） (2020-10-11T09:04:19Z) - SmartExchange: Trading Higher-cost Memory Storage/Access for Lower-cost
Computation [97.78417228445883]
We present SmartExchange, a algorithm- hardware co-design framework for energy- efficient inference of Deep Neural Network (DNNs)。
そこで我々は,非零要素がすべてパワー・オブ・ツーである小さな基底行列と大きなスパース係数行列の積として,各重み行列を格納できる,特別に好ましいDNN重み構造を強制する新しいアルゴリズムを開発した。
さらに、SmartExchange強化重量をフル活用し、エネルギー効率と遅延性能の両方を改善するための専用のアクセラレータを設計する。
論文 参考訳（メタデータ） (2020-05-07T12:12:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。