論文の概要: BasisN: Reprogramming-Free RRAM-Based In-Memory-Computing by Basis Combination for Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2407.03738v1
- Date: Thu, 4 Jul 2024 08:47:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-08 18:52:18.214756
- Title: BasisN: Reprogramming-Free RRAM-Based In-Memory-Computing by Basis Combination for Deep Neural Networks
- Title（参考訳）: BasisN: ディープニューラルネットワークのためのBasisコンビネーションによるRRAMベースのインメモリ計算
- Authors: Amro Eldebiky, Grace Li Zhang, Xunzhao Yin, Cheng Zhuo, Ing-Chao Lin, Ulf Schlichtmann, Bing Li,
- Abstract要約: 本研究では,任意のクロスバー上のディープニューラルネットワーク(DNN)をリプログラミングせずに高速化するBasisNフレームワークを提案する。
その結果, クロスバーに再プログラミングを適用する場合と比較して, 推論毎のサイクルとエネルギー遅延生成物は1%以下に削減された。
- 参考スコア（独自算出の注目度）: 9.170451418330696
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Deep neural networks (DNNs) have made breakthroughs in various fields including image recognition and language processing. DNNs execute hundreds of millions of multiply-and-accumulate (MAC) operations. To efficiently accelerate such computations, analog in-memory-computing platforms have emerged leveraging emerging devices such as resistive RAM (RRAM). However, such accelerators face the hurdle of being required to have sufficient on-chip crossbars to hold all the weights of a DNN. Otherwise, RRAM cells in the crossbars need to be reprogramed to process further layers, which causes huge time/energy overhead due to the extremely slow writing and verification of the RRAM cells. As a result, it is still not possible to deploy such accelerators to process large-scale DNNs in industry. To address this problem, we propose the BasisN framework to accelerate DNNs on any number of available crossbars without reprogramming. BasisN introduces a novel representation of the kernels in DNN layers as combinations of global basis vectors shared between all layers with quantized coefficients. These basis vectors are written to crossbars only once and used for the computations of all layers with marginal hardware modification. BasisN also provides a novel training approach to enhance computation parallelization with the global basis vectors and optimize the coefficients to construct the kernels. Experimental results demonstrate that cycles per inference and energy-delay product were reduced to below 1% compared with applying reprogramming on crossbars in processing large-scale DNNs such as DenseNet and ResNet on ImageNet and CIFAR100 datasets, while the training and hardware costs are negligible.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、画像認識や言語処理など、さまざまな分野でブレークスルーを遂げている。
DNNは数億の乗算および累積(MAC)処理を実行する。
このような計算を効率的に高速化するために、アナログメモリ計算プラットフォームは抵抗RAM(RRAM)のような新しいデバイスを活用するようになった。
しかし、これらの加速器は、DNNの全重量を保持するのに十分なチップのクロスバーを持つ必要があるというハードルに直面している。
さもなくば、クロスバーのRRAMセルは、さらなるレイヤを処理するために再プログラムする必要があるため、非常に遅い書き込みとRRAMセルの検証のために、大きな時間/エネルギーオーバーヘッドを引き起こす。
結果として、そのようなアクセラレーターを産業で大規模DNNを処理するために展開することは依然として不可能である。
この問題に対処するため,再プログラミングせずに利用可能なクロスバーのDNNを高速化するBasisNフレームワークを提案する。
BasisNは、すべての層間で共有される大域基底ベクトルと量子化係数の組合せとして、DNN層におけるカーネルの斬新な表現を導入している。
これらの基底ベクトルは、クロスバーに1回だけ書き込まれ、ハードウェアを極端に修正した全ての層の計算に使用される。
BasisNはまた、グローバル基底ベクトルによる計算並列化を強化し、カーネルを構築するための係数を最適化するための新しいトレーニングアプローチも提供する。
実験の結果,DenseNetやResNetなどの大規模DNNをImageNetやCIFAR100のデータセットで処理する際,クロスバーに再プログラミングを適用する場合と比較して,推論とエネルギ遅延製品あたりのサイクルが1%以下に削減され,トレーニングとハードウェアコストは無視できることがわかった。
関連論文リスト
- RNC: Efficient RRAM-aware NAS and Compilation for DNNs on Resource-Constrained Edge Devices [0.30458577208819987]
我々は抵抗性ランダムアクセスメモリ(RRAM)に基づく加速器のためのエッジフレンドリーなディープニューラルネットワーク(DNN)の開発を目指している。
本稿では,特定のハードウェア制約を満たす最適化ニューラルネットワークを探索するための,エッジコンパイルとリソース制約付きRRAM対応ニューラルネットワーク探索(NAS)フレームワークを提案する。
NASが速度に最適化した結果のモデルは5x-30倍のスピードアップを達成した。
論文 参考訳（メタデータ） (2024-09-27T15:35:36Z) - ReActXGB: A Hybrid Binary Convolutional Neural Network Architecture for Improved Performance and Computational Efficiency [0.0]
我々はReActXGBというハイブリッドモデルを提案し、ReActNet-Aの完全な畳み込み層をXGBoostに置き換える。
この修正の目的は、より低い計算コストを維持しながら、BCNNと実数値ネットワークのパフォーマンスギャップを狭めることである。
論文 参考訳（メタデータ） (2024-05-11T16:38:50Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Instant Neural Graphics Primitives with a Multiresolution Hash Encoding [67.33850633281803]
品質を犠牲にすることなく、より小さなネットワークを使用できる汎用的な新しい入力符号化を提案する。
小さなニューラルネットワークは、勾配降下によって値が最適化された訓練可能な特徴ベクトルの多分解能ハッシュテーブルによって拡張される。
数桁の高速化を実現し、高品質なニューラルネットワークプリミティブを数秒でトレーニングすることができる。
論文 参考訳（メタデータ） (2022-01-16T07:22:47Z) - Efficient and Robust Mixed-Integer Optimization Methods for Training
Binarized Deep Neural Networks [0.07614628596146598]
二元活性化関数と連続または整数重み付きディープニューラルネットワーク(BDNN)について検討する。
BDNNは、古典的な混合整数計画解法により、大域的最適性に解けるような、有界な重み付き混合整数線形プログラムとして再構成可能であることを示す。
トレーニング中にBDNNの堅牢性を強制するロバストモデルが初めて提示される。
論文 参考訳（メタデータ） (2021-10-21T18:02:58Z) - Sub-bit Neural Networks: Learning to Compress and Accelerate Binary
Neural Networks [72.81092567651395]
Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。
SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。
ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
論文 参考訳（メタデータ） (2021-10-18T11:30:29Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2021-06-18T03:11:15Z) - MARS: Multi-macro Architecture SRAM CIM-Based Accelerator with
Co-designed Compressed Neural Networks [0.6817102408452476]
畳み込みニューラルネットワーク(CNN)は、ディープラーニングアプリケーションにおいて重要な役割を果たす。
CIMアーキテクチャは大規模行列ベクトル乗算を効果的に計算する大きな可能性を示している。
計算コストを削減するため、ネットワークプルーニングと量子化は、モデルサイズを縮小する2つの広く研究されている圧縮手法である。
論文 参考訳（メタデータ） (2020-10-24T10:31:49Z) - BLK-REW: A Unified Block-based DNN Pruning Framework using Reweighted
Regularization Method [69.49386965992464]
本稿では, 汎用的かつ柔軟な構造化プルーニング次元と, 強力かつ効率的な再加重正規化手法を組み合わせたブロック型プルーニングフレームワークを提案する。
我々のフレームワークは普遍的であり、CNNとRNNの両方に適用できる。
リアルタイムモバイルアクセラレーションと精度の妥協のないCNNとRNNの共通カバレッジを実現するのはこれが初めてである。
論文 参考訳（メタデータ） (2020-01-23T03:30:56Z) - PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with
Pattern-based Weight Pruning [57.20262984116752]
粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。
きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
論文 参考訳（メタデータ） (2020-01-01T04:52:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。