論文の概要: Pruning random resistive memory for optimizing analogue AI
- arxiv url: http://arxiv.org/abs/2311.07164v1
- Date: Mon, 13 Nov 2023 08:59:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-14 14:59:32.858276
- Title: Pruning random resistive memory for optimizing analogue AI
- Title(参考訳): アナログai最適化のためのプルーニングランダム抵抗メモリ
- Authors: Yi Li, Songqi Wang, Yaping Zhao, Shaocong Wang, Woyu Zhang, Yangu He,
Ning Lin, Binbin Cui, Xi Chen, Shiming Zhang, Hao Jiang, Peng Lin, Xumeng
Zhang, Xiaojuan Qi, Zhongrui Wang, Xiaoxin Xu, Dashan Shang, Qi Liu,
Kwang-Ting Cheng, Ming Liu
- Abstract要約: AIモデルは、エネルギー消費と環境持続可能性に前例のない課題を提示する。
有望な解決策の1つは、アナログコンピューティングを再考することである。
ここでは、構造的塑性に着想を得たエッジプルーニングを用いたユニバーサルソリューション、ソフトウェア・ハードウエアの共設計について報告する。
- 参考スコア(独自算出の注目度): 54.21621702814583
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The rapid advancement of artificial intelligence (AI) has been marked by the
large language models exhibiting human-like intelligence. However, these models
also present unprecedented challenges to energy consumption and environmental
sustainability. One promising solution is to revisit analogue computing, a
technique that predates digital computing and exploits emerging analogue
electronic devices, such as resistive memory, which features in-memory
computing, high scalability, and nonvolatility. However, analogue computing
still faces the same challenges as before: programming nonidealities and
expensive programming due to the underlying devices physics. Here, we report a
universal solution, software-hardware co-design using structural
plasticity-inspired edge pruning to optimize the topology of a randomly
weighted analogue resistive memory neural network. Software-wise, the topology
of a randomly weighted neural network is optimized by pruning connections
rather than precisely tuning resistive memory weights. Hardware-wise, we reveal
the physical origin of the programming stochasticity using transmission
electron microscopy, which is leveraged for large-scale and low-cost
implementation of an overparameterized random neural network containing
high-performance sub-networks. We implemented the co-design on a 40nm 256K
resistive memory macro, observing 17.3% and 19.9% accuracy improvements in
image and audio classification on FashionMNIST and Spoken digits datasets, as
well as 9.8% (2%) improvement in PR (ROC) in image segmentation on DRIVE
datasets, respectively. This is accompanied by 82.1%, 51.2%, and 99.8%
improvement in energy efficiency thanks to analogue in-memory computing. By
embracing the intrinsic stochasticity and in-memory computing, this work may
solve the biggest obstacle of analogue computing systems and thus unleash their
immense potential for next-generation AI hardware.
- Abstract(参考訳): 人工知能(AI)の急速な進歩は、人間のような知性を示す大きな言語モデルによって特徴づけられている。
しかし、これらのモデルはまた、エネルギー消費と環境持続可能性に前例のない課題を呈している。
1つの有望な解決策はアナログコンピューティングを再検討することであり、これはデジタルコンピューティングよりも早く、抵抗性メモリのような、インメモリコンピューティング、高いスケーラビリティ、非揮発性を備えた新しいアナログ電子デバイスを利用する技術である。
しかし、アナログコンピューティングは以前と同じ課題に直面している。 プログラミングの非理想性と高価なプログラミングは、基礎となるデバイス物理学のためである。
本稿では,ランダム重み付けされたアナログ抵抗型メモリニューラルネットワークのトポロジーを最適化するために,構造可塑性に触発されたエッジプルーニングを用いたソフトウェアハードウェア共同設計について報告する。
ソフトウェア面では、ランダム重み付けされたニューラルネットワークのトポロジーは、抵抗メモリ重みを正確にチューニングするのではなく、接続をプルーニングすることで最適化される。
ハードウェア面では、高性能サブネットワークを含む過パラメータランダムニューラルネットワークの大規模かつ低コスト実装に利用される透過型電子顕微鏡を用いて、プログラミング確率性の物理的起源を明らかにする。
我々は,40nm 256K 抵抗型メモリマクロに共設計を実装し,FashionMNIST と Spoken を用いた画像分類では17.3%,音声分類では19.9%,DRIVE を用いた画像分割では9.8% (2%) の精度向上を実現した。
これには82.1%、51.2%、99.8%のエネルギー効率向上が伴う。
内在的な確率性とインメモリコンピューティングを取り入れることで、この研究はアナログコンピューティングシステムの最大の障害を解決し、次世代aiハードウェアの膨大な可能性を解き放ちます。
関連論文リスト
- Random resistive memory-based deep extreme point learning machine for
unified visual processing [67.51600474104171]
ハードウェア・ソフトウェア共同設計型, ランダム抵抗型メモリベース深部極点学習マシン(DEPLM)を提案する。
我々の共同設計システムは,従来のシステムと比較して,エネルギー効率の大幅な向上とトレーニングコストの削減を実現している。
論文 参考訳(メタデータ) (2023-12-14T09:46:16Z) - AnalogNAS: A Neural Network Design Framework for Accurate Inference with
Analog In-Memory Computing [7.596833322764203]
エッジでの推論は低レイテンシ、コンパクト、電力効率のモデルを必要とする。
アナログ/混合信号インメモリコンピューティングハードウェアアクセラレータは、フォン・ノイマンアーキテクチャのメモリ壁を簡単に超越することができる。
本稿では,アナログインメモリコンピューティング(IMC)推論アクセラレータをターゲットとした,DNN(Deep Neural Network)自動設計のためのフレームワークであるAnalogNASを提案する。
論文 参考訳(メタデータ) (2023-05-17T07:39:14Z) - Biologically Plausible Learning on Neuromorphic Hardware Architectures [27.138481022472]
ニューロモルフィックコンピューティング(Neuromorphic Computing)は、アナログメモリの計算によってこの不均衡に直面している新興パラダイムである。
この研究は、異なる学習アルゴリズムがCompute-In-Memoryベースのハードウェアに与える影響を初めて比較し、その逆も行った。
論文 参考訳(メタデータ) (2022-12-29T15:10:59Z) - A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive
Coding Networks [65.34977803841007]
予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。
シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
論文 参考訳(メタデータ) (2022-11-16T00:11:04Z) - Binary Single-dimensional Convolutional Neural Network for Seizure
Prediction [4.42106872060105]
てんかん発作予測のための2次元畳み込みニューラルネットワーク(BSDCNN)を提案する。
BSDCNNは1D畳み込みカーネルを使用して予測性能を向上させる。
曲線、感度、誤予測率は0.915、89.26%、0.117/h、0.970、94.69%、0.095/hに達する。
論文 参考訳(メタデータ) (2022-06-08T09:27:37Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳(メタデータ) (2022-01-18T13:59:22Z) - Edge AI without Compromise: Efficient, Versatile and Accurate
Neurocomputing in Resistive Random-Access Memory [0.0]
我々は,RRAM CIMを用いた最初のマルチモーダルエッジAIチップであるNeuRRAMを提案する。
計算ビット精度の異なる先行技術よりも, 5 倍のエネルギー効率を 5 倍から 8 倍に向上することを示す。
この作業は、高度に効率的で再構成可能なエッジAIハードウェアプラットフォームを構築するための道を開くものだ。
論文 参考訳(メタデータ) (2021-08-17T21:08:51Z) - Optimizing Memory Placement using Evolutionary Graph Reinforcement
Learning [56.83172249278467]
大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。
我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。
また,NNP-Iコンパイラと比較して28~78%の高速化を実現している。
論文 参考訳(メタデータ) (2020-07-14T18:50:12Z) - One-step regression and classification with crosspoint resistive memory
arrays [62.997667081978825]
高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。
ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。
結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
論文 参考訳(メタデータ) (2020-05-05T08:00:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。