論文の概要: Pruning random resistive memory for optimizing analogue AI

• arxiv url: http://arxiv.org/abs/2311.07164v1
• Date: Mon, 13 Nov 2023 08:59:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 14:59:32.858276
• Title: Pruning random resistive memory for optimizing analogue AI
• Title（参考訳）: アナログai最適化のためのプルーニングランダム抵抗メモリ
• Authors: Yi Li, Songqi Wang, Yaping Zhao, Shaocong Wang, Woyu Zhang, Yangu He, Ning Lin, Binbin Cui, Xi Chen, Shiming Zhang, Hao Jiang, Peng Lin, Xumeng Zhang, Xiaojuan Qi, Zhongrui Wang, Xiaoxin Xu, Dashan Shang, Qi Liu, Kwang-Ting Cheng, Ming Liu
• Abstract要約: AIモデルは、エネルギー消費と環境持続可能性に前例のない課題を提示する。 有望な解決策の1つは、アナログコンピューティングを再考することである。 ここでは、構造的塑性に着想を得たエッジプルーニングを用いたユニバーサルソリューション、ソフトウェア・ハードウエアの共設計について報告する。
• 参考スコア（独自算出の注目度）: 54.21621702814583
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The rapid advancement of artificial intelligence (AI) has been marked by the large language models exhibiting human-like intelligence. However, these models also present unprecedented challenges to energy consumption and environmental sustainability. One promising solution is to revisit analogue computing, a technique that predates digital computing and exploits emerging analogue electronic devices, such as resistive memory, which features in-memory computing, high scalability, and nonvolatility. However, analogue computing still faces the same challenges as before: programming nonidealities and expensive programming due to the underlying devices physics. Here, we report a universal solution, software-hardware co-design using structural plasticity-inspired edge pruning to optimize the topology of a randomly weighted analogue resistive memory neural network. Software-wise, the topology of a randomly weighted neural network is optimized by pruning connections rather than precisely tuning resistive memory weights. Hardware-wise, we reveal the physical origin of the programming stochasticity using transmission electron microscopy, which is leveraged for large-scale and low-cost implementation of an overparameterized random neural network containing high-performance sub-networks. We implemented the co-design on a 40nm 256K resistive memory macro, observing 17.3% and 19.9% accuracy improvements in image and audio classification on FashionMNIST and Spoken digits datasets, as well as 9.8% (2%) improvement in PR (ROC) in image segmentation on DRIVE datasets, respectively. This is accompanied by 82.1%, 51.2%, and 99.8% improvement in energy efficiency thanks to analogue in-memory computing. By embracing the intrinsic stochasticity and in-memory computing, this work may solve the biggest obstacle of analogue computing systems and thus unleash their immense potential for next-generation AI hardware.
• Abstract（参考訳）: 人工知能(AI)の急速な進歩は、人間のような知性を示す大きな言語モデルによって特徴づけられている。 しかし、これらのモデルはまた、エネルギー消費と環境持続可能性に前例のない課題を呈している。 1つの有望な解決策はアナログコンピューティングを再検討することであり、これはデジタルコンピューティングよりも早く、抵抗性メモリのような、インメモリコンピューティング、高いスケーラビリティ、非揮発性を備えた新しいアナログ電子デバイスを利用する技術である。 しかし、アナログコンピューティングは以前と同じ課題に直面している。 プログラミングの非理想性と高価なプログラミングは、基礎となるデバイス物理学のためである。 本稿では,ランダム重み付けされたアナログ抵抗型メモリニューラルネットワークのトポロジーを最適化するために,構造可塑性に触発されたエッジプルーニングを用いたソフトウェアハードウェア共同設計について報告する。 ソフトウェア面では、ランダム重み付けされたニューラルネットワークのトポロジーは、抵抗メモリ重みを正確にチューニングするのではなく、接続をプルーニングすることで最適化される。 ハードウェア面では、高性能サブネットワークを含む過パラメータランダムニューラルネットワークの大規模かつ低コスト実装に利用される透過型電子顕微鏡を用いて、プログラミング確率性の物理的起源を明らかにする。 我々は,40nm 256K 抵抗型メモリマクロに共設計を実装し,FashionMNIST と Spoken を用いた画像分類では17.3%,音声分類では19.9%,DRIVE を用いた画像分割では9.8% (2%) の精度向上を実現した。 これには82.1%、51.2%、99.8%のエネルギー効率向上が伴う。 内在的な確率性とインメモリコンピューティングを取り入れることで、この研究はアナログコンピューティングシステムの最大の障害を解決し、次世代aiハードウェアの膨大な可能性を解き放ちます。

関連論文リスト

• Topology Optimization of Random Memristors for Input-Aware Dynamic SNN [44.38472635536787]
  入力対応動的旋回型スパイクニューラルネットワーク(PRIME)のプルーニング最適化について紹介する。 信号表現の面では、PRIMEは脳固有のスパイキング機構をエミュレートするために、漏れやすい統合と発火のニューロンを使用する。 計算深度の動的調整にインスパイアされた再構成性のために、PRIMEは入力対応の動的早期停止ポリシーを採用している。
  論文  参考訳（メタデータ） (2024-07-26T09:35:02Z)
• Dynamic neural network with memristive CIM and CAM for 2D and 3D vision [57.6208980140268]
  本稿では,memristor を用いた意味記憶に基づく動的ニューラルネットワーク (DNN) を提案する。 ネットワークは、受信したデータとセマンティックベクターとして格納された過去の経験を関連付ける。 MNISTとModelNetのデータセットから画像と3Dポイントを分類するために、ResNetとPointNet++の40nmのmemristorマクロを用いて、我々の共同設計を検証する。
  論文  参考訳（メタデータ） (2024-07-12T04:55:57Z)
• Efficient and accurate neural field reconstruction using resistive memory [52.68088466453264]
  デジタルコンピュータにおける従来の信号再構成手法は、ソフトウェアとハードウェアの両方の課題に直面している。 本稿では,スパース入力からの信号再構成のためのソフトウェア・ハードウェア協調最適化を用いた体系的アプローチを提案する。 この研究は、AI駆動の信号復元技術を進歩させ、将来の効率的で堅牢な医療AIと3Dビジョンアプリケーションへの道を開く。
  論文  参考訳（メタデータ） (2024-04-15T09:33:09Z)
• Resistive Memory-based Neural Differential Equation Solver for Score-based Diffusion Model [55.116403765330084]
  スコアベースの拡散のような現在のAIGC法は、迅速性と効率性の点で依然として不足している。 スコアベース拡散のための時間連続型およびアナログ型インメモリ型ニューラル微分方程式解法を提案する。 我々は180nmの抵抗型メモリインメモリ・コンピューティング・マクロを用いて,我々の解を実験的に検証した。
  論文  参考訳（メタデータ） (2024-04-08T16:34:35Z)
• Biologically Plausible Learning on Neuromorphic Hardware Architectures [27.138481022472]
  ニューロモルフィックコンピューティング(Neuromorphic Computing)は、アナログメモリの計算によってこの不均衡に直面している新興パラダイムである。 この研究は、異なる学習アルゴリズムがCompute-In-Memoryベースのハードウェアに与える影響を初めて比較し、その逆も行った。
  論文  参考訳（メタデータ） (2022-12-29T15:10:59Z)
• Edge AI without Compromise: Efficient, Versatile and Accurate Neurocomputing in Resistive Random-Access Memory [0.0]
  我々は,RRAM CIMを用いた最初のマルチモーダルエッジAIチップであるNeuRRAMを提案する。 計算ビット精度の異なる先行技術よりも, 5 倍のエネルギー効率を 5 倍から 8 倍に向上することを示す。 この作業は、高度に効率的で再構成可能なエッジAIハードウェアプラットフォームを構築するための道を開くものだ。
  論文  参考訳（メタデータ） (2021-08-17T21:08:51Z)
• One-step regression and classification with crosspoint resistive memory arrays [62.997667081978825]
  高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。 ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。 結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
  論文  参考訳（メタデータ） (2020-05-05T08:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。