論文の概要: PR-CIM: a Variation-Aware Binary-Neural-Network Framework for
Process-Resilient Computation-in-memory
- arxiv url: http://arxiv.org/abs/2110.09962v1
- Date: Tue, 19 Oct 2021 13:21:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-20 14:43:59.613841
- Title: PR-CIM: a Variation-Aware Binary-Neural-Network Framework for
Process-Resilient Computation-in-memory
- Title（参考訳）: PR-CIM:プロセス耐性計算インメモリのための変分対応バイナリニューラルネットワークフレームワーク
- Authors: Minh-Son Le, Thi-Nhan Pham, Thanh-Dat Nguyen and Ik-Joon Chang
- Abstract要約: 1ビットの重みとアクティベーションを使用するバイナリニューラルネットワーク(BNN)は、極端量子化によって低消費電力となるため、関心を集めている。
BNNをCIM(Computer-in-Memory)として実装することで、ニューラルネットワーク処理のエネルギー効率をさらに向上することができる。
アナログCIMは、BNNの精度を劣化させる潜在的な問題に悩まされる。
この問題を克服するための変分対応BNNを提案する。
- 参考スコア（独自算出の注目度）: 2.3704813250344436
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Binary neural networks (BNNs) that use 1-bit weights and activations have
garnered interest as extreme quantization provides low power dissipation. By
implementing BNNs as computing-in-memory (CIM), which computes multiplication
and accumulations on memory arrays in an analog fashion, namely analog CIM, we
can further improve the energy efficiency to process neural networks. However,
analog CIMs suffer from the potential problem that process variation degrades
the accuracy of BNNs. Our Monte-Carlo simulations show that in an SRAM-based
analog CIM of VGG-9, the classification accuracy of CIFAR-10 is degraded even
below 20% under process variations of 65nm CMOS. To overcome this problem, we
present a variation-aware BNN framework. The proposed framework is developed
for SRAM-based BNN CIMs since SRAM is most widely used as on-chip memory,
however easily extensible to BNN CIMs based on other memories. Our extensive
experimental results show that under process variation of 65nm CMOS, our
framework significantly improves the CIFAR-10 accuracies of SRAM-based BNN
CIMs, from 10% and 10.1% to 87.76% and 77.74% for VGG-9 and RESNET-18
respectively.
- Abstract（参考訳）: 1ビットの重みとアクティベーションを使用するバイナリニューラルネットワーク(BNN)は、極端量子化によって低消費電力となるため、関心を集めている。
CIM(Computer-in-Memory)としてBNNを実装し,メモリアレイ上の乗算と累積をアナログ的に計算することで,ニューラルネットワーク処理のエネルギー効率をさらに向上させることができる。
しかし、アナログcimはプロセス変動がbnnの精度を低下させる潜在的な問題に苦しむ。
モンテカルロシミュレーションにより,SRAMを用いたVGG-9のアナログCIMにおいて,CIFAR-10の分類精度は65nmCMOSのプロセス変動下でも20%以下に低下した。
この問題を克服するために,変動を考慮したBNNフレームワークを提案する。
提案するフレームワークは,SRAMがオンチップメモリとして広く使用されているため,他のメモリをベースとしたBNN CIMに容易に拡張可能であるため,SRAMベースのBNN CIM向けに開発された。
我々は,65nmCMOSのプロセス変動により,SRAMベースのBNN CIMのCIFAR-10精度を10%,10.1%から87.76%,77.74%に改善した。
関連論文リスト
- Scalable Mechanistic Neural Networks [52.28945097811129]
長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。
元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。
大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
論文 参考訳（メタデータ） (2024-10-08T14:27:28Z) - Pruning random resistive memory for optimizing analogue AI [54.21621702814583]
AIモデルは、エネルギー消費と環境持続可能性に前例のない課題を提示する。
有望な解決策の1つは、アナログコンピューティングを再考することである。
ここでは、構造的塑性に着想を得たエッジプルーニングを用いたユニバーサルソリューション、ソフトウェア・ハードウエアの共設計について報告する。
論文 参考訳（メタデータ） (2023-11-13T08:59:01Z) - EPIM: Efficient Processing-In-Memory Accelerators based on Epitome [78.79382890789607]
畳み込みのような機能を提供する軽量神経オペレータであるEpitomeを紹介する。
ソフトウェア側では,PIMアクセラレータ上でのエピトームのレイテンシとエネルギを評価する。
ハードウェア効率を向上させるため,PIM対応層設計手法を提案する。
論文 参考訳（メタデータ） (2023-11-12T17:56:39Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - SpikeSim: An end-to-end Compute-in-Memory Hardware Evaluation Tool for
Benchmarking Spiking Neural Networks [4.0300632886917]
SpikeSimは、IMCマップされたSNNの現実的なパフォーマンス、エネルギ、レイテンシ、領域評価を実現するツールである。
神経モジュールの面積の1.24倍と10倍に減少するSNNトポロジカルな変化と全エネルギー・遅延生成値を提案する。
論文 参考訳（メタデータ） (2022-10-24T01:07:17Z) - PSCNN: A 885.86 TOPS/W Programmable SRAM-based Computing-In-Memory
Processor for Keyword Spotting [0.10547353841674209]
本稿では,複数のより小さなCIMマクロではなく,1つの大きなCIMマクロを持つプログラマブルCIMプロセッサを提案する。
提案アーキテクチャでは,解凍あるいは独立な畳み込み/プーリング操作をサポートするために,プール書き込み方式を採用し,35.9%のレイテンシ削減を実現している。
TSMC 28nm技術で作製された設計は、150.8 GOPSスループットと885.86 TOPS/W電力効率を10MHzで達成する。
論文 参考訳（メタデータ） (2022-05-02T09:58:18Z) - Elastic-Link for Binarized Neural Network [9.83865304744923]
ELモジュールは、その後の畳み込み出力特徴に実値入力特徴を適応的に付加することにより、BNN内の情報フローを豊かにする。
ELは、大規模なImageNetデータセットに挑戦する上で、大幅に改善されている。
ReActNetの統合により、71.9%の精度で新しい最先端結果が得られる。
論文 参考訳（メタデータ） (2021-12-19T13:49:29Z) - Variability-Aware Training and Self-Tuning of Highly Quantized DNNs for
Analog PIM [0.15229257192293197]
我々は高量子化アナログPIMモデルのための新しい共同変数と量子化対応DNNトレーニングアルゴリズムを開発した。
低ビット幅モデルと高変動モデルでは、ResNet-18の精度は35.7%まで向上する。
論文 参考訳（メタデータ） (2021-11-11T20:55:02Z) - Sub-bit Neural Networks: Learning to Compress and Accelerate Binary
Neural Networks [72.81092567651395]
Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。
SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。
ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
論文 参考訳（メタデータ） (2021-10-18T11:30:29Z) - Dynamic Binary Neural Network by learning channel-wise thresholds [9.432747511001246]
信号関数の動的学習可能なチャンネルワイドしきい値とPRELUのシフトパラメータを組み込んだ動的BNN(DyBNN)を提案する。
DyBNNはReActNetの2つのバックボーン(MobileNetV1とResNet18)に基づいており、ImageNetデータセット上で71.2%と67.4%のトップ1精度を達成した。
論文 参考訳（メタデータ） (2021-10-08T17:41:36Z) - ActNN: Reducing Training Memory Footprint via 2-Bit Activation
Compressed Training [68.63354877166756]
ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。
ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
論文 参考訳（メタデータ） (2021-04-29T05:50:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。