論文の概要: NEON: Enabling Efficient Support for Nonlinear Operations in Resistive
RAM-based Neural Network Accelerators
- arxiv url: http://arxiv.org/abs/2211.05730v1
- Date: Thu, 10 Nov 2022 17:57:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-11 14:01:54.153781
- Title: NEON: Enabling Efficient Support for Nonlinear Operations in Resistive
RAM-based Neural Network Accelerators
- Title（参考訳）: NEON: 抵抗型RAMベースニューラルネットワーク加速器における非線形動作の効率的な支援
- Authors: Aditya Manglik, Minesh Patel, Haiyu Mao, Behzad Salami, Jisung Park,
Lois Orosa, Onur Mutlu
- Abstract要約: Resistive Random-Access Memory(RRAM)は、ニューラルネットワーク(NN)ワークロードの高速化に適している。
NEONは、RRAMにおけるNNワークロードのエンドツーエンド実行を可能にする、新しいコンパイラ最適化である。
- 参考スコア（独自算出の注目度）: 12.045126404373868
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Resistive Random-Access Memory (RRAM) is well-suited to accelerate neural
network (NN) workloads as RRAM-based Processing-in-Memory (PIM) architectures
natively support highly-parallel multiply-accumulate (MAC) operations that form
the backbone of most NN workloads. Unfortunately, NN workloads such as
transformers require support for non-MAC operations (e.g., softmax) that RRAM
cannot provide natively. Consequently, state-of-the-art works either integrate
additional digital logic circuits to support the non-MAC operations or offload
the non-MAC operations to CPU/GPU, resulting in significant performance and
energy efficiency overheads due to data movement.
In this work, we propose NEON, a novel compiler optimization to enable the
end-to-end execution of the NN workload in RRAM. The key idea of NEON is to
transform each non-MAC operation into a lightweight yet highly-accurate neural
network. Utilizing neural networks to approximate the non-MAC operations
provides two advantages: 1) We can exploit the key strength of RRAM, i.e.,
highly-parallel MAC operation, to flexibly and efficiently execute non-MAC
operations in memory. 2) We can simplify RRAM's microarchitecture by
eliminating the additional digital logic circuits while reducing the data
movement overheads. Acceleration of the non-MAC operations in memory enables
NEON to achieve a 2.28x speedup compared to an idealized digital logic-based
RRAM. We analyze the trade-offs associated with the transformation and
demonstrate feasible use cases for NEON across different substrates.
- Abstract（参考訳）: Resistive Random-Access Memory(RRAM)は、ほとんどのNNワークロードのバックボーンを形成するMAC操作をネイティブにサポートするRRAMベースのProcessing-in-Memory(PIM)アーキテクチャとして、ニューラルネットワーク(NN)ワークロードの高速化に適している。
残念ながら、トランスフォーマーのようなNNワークロードは、RRAMがネイティブに提供できない非MAC操作(ソフトマックスなど)をサポートする必要がある。
その結果、最先端技術は、MAC以外の操作をサポートするために追加のデジタル論理回路を統合するか、またはMAC以外の操作をCPU/GPUにオフロードする。
本稿では,NNワークロードをRRAMでエンドツーエンドに実行可能にする新しいコンパイラであるNEONを提案する。
NEONの鍵となる考え方は、各非MAC操作を軽量で高精度なニューラルネットワークに変換することである。
非MAC操作を近似するためにニューラルネットワークを利用すると、2つの利点がある。
1)RRAM,すなわち高並列MAC演算の鍵となる強度を利用して,メモリ内の非MAC演算を柔軟かつ効率的に実行することができる。
2) RRAMのマイクロアーキテクチャは,データ移動オーバーヘッドを低減しつつ,追加のディジタル論理回路を不要にすることで単純化することができる。
メモリ内の非MAC操作の高速化により、NEONは理想化されたデジタル論理ベースのRRAMに比べて2.28倍のスピードアップを達成することができる。
トランスフォーメーションに伴うトレードオフを分析し,異なる基板間におけるネオンの利用可能性を示す。
関連論文リスト
- BasisN: Reprogramming-Free RRAM-Based In-Memory-Computing by Basis Combination for Deep Neural Networks [9.170451418330696]
本研究では,任意のクロスバー上のディープニューラルネットワーク(DNN)をリプログラミングせずに高速化するBasisNフレームワークを提案する。
その結果, クロスバーに再プログラミングを適用する場合と比較して, 推論毎のサイクルとエネルギー遅延生成物は1%以下に削減された。
論文 参考訳（メタデータ） (2024-07-04T08:47:05Z) - Efficient and accurate neural field reconstruction using resistive memory [52.68088466453264]
デジタルコンピュータにおける従来の信号再構成手法は、ソフトウェアとハードウェアの両方の課題に直面している。
本稿では,スパース入力からの信号再構成のためのソフトウェア・ハードウェア協調最適化を用いた体系的アプローチを提案する。
この研究は、AI駆動の信号復元技術を進歩させ、将来の効率的で堅牢な医療AIと3Dビジョンアプリケーションへの道を開く。
論文 参考訳（メタデータ） (2024-04-15T09:33:09Z) - Logic Design of Neural Networks for High-Throughput and Low-Power
Applications [4.964773661192363]
本稿では,ニューロンにおけるすべての操作,例えばMACやReLUを,対応する論理回路を備えたニューラルネットワークでフラット化し,実装することを提案する。
重み値をMACユニットに埋め込んで論理を単純化することにより、MACユニットの遅延と重み移動による消費電力を低減することができる。
さらに,ニューラルネットワークの論理設計の領域を削減するためのハードウェア・アウェア・トレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-09-19T10:45:46Z) - INR-Arch: A Dataflow Architecture and Compiler for Arbitrary-Order
Gradient Computations in Implicit Neural Representation Processing [66.00729477511219]
計算グラフとして表される関数を考えると、従来のアーキテクチャはn階勾配を効率的に計算する上で困難に直面している。
InR-Archは,n階勾配の計算グラフをハードウェア最適化データフローアーキテクチャに変換するフレームワークである。
1.8-4.8x と 1.5-3.6x の高速化を CPU と GPU のベースラインと比較した結果を示す。
論文 参考訳（メタデータ） (2023-08-11T04:24:39Z) - DAISM: Digital Approximate In-SRAM Multiplier-based Accelerator for DNN
Training and Inference [4.718504401468233]
PIMソリューションは、まだ成熟していない新しいメモリ技術か、パフォーマンス上のオーバーヘッドとスケーラビリティの問題のあるビットシリアル計算に依存している。
本稿では,従来のメモリを用いてビット並列計算を行い,複数のワードラインのアクティベーションを利用する,SRAM内デジタル乗算器を提案する。
次に、この乗算器を利用したアーキテクチャであるDAISMを導入し、SOTAと比較して最大2桁高い面積効率を実現し、競争エネルギー効率を向上する。
論文 参考訳（メタデータ） (2023-05-12T10:58:21Z) - A 65nm 8b-Activation 8b-Weight SRAM-Based Charge-Domain Computing-in-Memory Macro Using A Fully-Parallel Analog Adder Network and A Single-ADC Interface [16.228299091691873]
コンピューティング・イン・メモリ(Computer-in-Memory, CiM)は、メモリ内の多重累積演算を可能にする、有望な緩和手法である。
この研究は、CIFAR-10データセットで88.6%の精度を示しながら、51.2GOPSのスループットと10.3TOPS/Wエネルギー効率を達成する。
論文 参考訳（メタデータ） (2022-11-23T07:52:10Z) - Adaptable Butterfly Accelerator for Attention-based NNs via Hardware and
Algorithm Co-design [66.39546326221176]
多くのAIタスクにおいて、注意に基づくニューラルネットワークが普及している。
注意機構とフィードフォワードネットワーク(FFN)の使用は、過剰な計算とメモリ資源を必要とする。
本稿では,注目機構とFFNの両方を近似するために,バタフライの分散パターンを統一したハードウェアフレンドリーな変種を提案する。
論文 参考訳（メタデータ） (2022-09-20T09:28:26Z) - MAC-DO: An Efficient Output-Stationary GEMM Accelerator for CNNs Using
DRAM Technology [2.918940961856197]
本稿では,DRAMを用いた高速かつ低消費電力なインサイトアクセラレータMAC-DOを提案する。
マルチビット乗算(MAC)操作を1サイクルでサポートする。
MAC-DOアレイは、出力定常マッピングに基づいて行列乗算を効率的に加速することができ、ディープニューラルネットワーク(DNN)で実行される計算の大部分をサポートする。
論文 参考訳（メタデータ） (2022-07-16T07:33:20Z) - GPU-Accelerated Machine Learning in Non-Orthogonal Multiple Access [71.58925117604039]
非直交多重アクセス(Noma)は、将来の5Gおよび6Gネットワークに必要な大規模な接続を可能にする興味深い技術である。
線形処理と非線形処理の両方の利点を組み合わせたニューラルネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-06-13T09:38:23Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2021-06-18T03:11:15Z) - SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and
Training [82.35376405568975]
ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。
We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。
SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
論文 参考訳（メタデータ） (2021-01-04T18:54:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。