論文の概要: Improving Inference Lifetime of Neuromorphic Systems via Intelligent Synapse Mapping

• arxiv url: http://arxiv.org/abs/2106.09104v1
• Date: Wed, 16 Jun 2021 20:12:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-26 13:01:20.229060
• Title: Improving Inference Lifetime of Neuromorphic Systems via Intelligent Synapse Mapping
• Title（参考訳）: 知的シナプスマッピングによるニューロモルフィックシステムの推論寿命の改善
• Authors: Shihao Song, Twisha Titirsha, Anup Das
• Abstract要約: RRAMセルは、コンテンツを一定回数読み込んだ後に状態を切り替えることができる。 本稿では,RRAMに基づくニューロモルフィックシステムの可読性向上のためのアーキテクチャ手法を提案する。
• 参考スコア（独自算出の注目度）: 0.2578242050187029
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Non-Volatile Memories (NVMs) such as Resistive RAM (RRAM) are used in neuromorphic systems to implement high-density and low-power analog synaptic weights. Unfortunately, an RRAM cell can switch its state after reading its content a certain number of times. Such behavior challenges the integrity and program-once-read-many-times philosophy of implementing machine learning inference on neuromorphic systems, impacting the Quality-of-Service (QoS). Elevated temperatures and frequent usage can significantly shorten the number of times an RRAM cell can be reliably read before it becomes absolutely necessary to reprogram. We propose an architectural solution to extend the read endurance of RRAM-based neuromorphic systems. We make two key contributions. First, we formulate the read endurance of an RRAM cell as a function of the programmed synaptic weight and its activation within a machine learning workload. Second, we propose an intelligent workload mapping strategy incorporating the endurance formulation to place the synapses of a machine learning model onto the RRAM cells of the hardware. The objective is to extend the inference lifetime, defined as the number of times the model can be used to generate output (inference) before the trained weights need to be reprogrammed on the RRAM cells of the system. We evaluate our architectural solution with machine learning workloads on a cycle-accurate simulator of an RRAM-based neuromorphic system. Our results demonstrate a significant increase in inference lifetime with only a minimal performance impact.
• Abstract（参考訳）: 抵抗性RAM(RRAM)のような非揮発性記憶(NVM)は、高密度および低出力アナログシナプス重みを実装するためにニューロモルフィックシステムで使用される。 残念なことに、RRAMセルはコンテンツを一定回数読んだ後に状態を切り替えることができる。 このような行動は、ニューロモルフィックシステムに機械学習推論を実装し、QoS(Quality-of-Service)に影響を与えるという、完全性とプログラムオンス・リード・タイムの哲学に挑戦する。 高い温度と頻繁な使用により、RRAMセルの再プログラムが絶対必要になる前に確実に読み取ることができる回数を大幅に短縮することができる。 本稿では,RRAMに基づくニューロモルフィックシステムの可読性向上のためのアーキテクチャ手法を提案する。 2つの重要な貢献をします まず、プログラムされたシナプス重みの関数としてRRAMセルの読み取り長と、機械学習のワークロード内での活性化を定式化する。 次に,ハードウェアのrramセルに機械学習モデルのシナプスを配置するためのエンデュアランス定式化を組み込んだインテリジェントなワークロードマッピング戦略を提案する。 目的は、トレーニングされた重量がシステムのRRAMセルで再プログラムされる前に、モデルが出力(推論)を生成するために使える回数として定義される推論寿命を拡張することである。 我々は,RRAMに基づくニューロモルフィックシステムのサイクル精度シミュレータ上で,機械学習ワークロードを用いたアーキテクチャソリューションの評価を行った。 結果から推測寿命が大幅に向上し,性能への影響は最小限に抑えられた。

関連論文リスト

• DeeR-VLA: Dynamic Inference of Multimodal Large Language Models for Efficient Robot Execution [114.61347672265076]
  実世界のロボットのためのMLLMの開発は、ロボットプラットフォームで利用可能な計算能力とメモリ容量が典型的に限られているため、難しい。 活性化MLLMのサイズを自動的に調整するロボットビジョンランゲージ・アクション・モデル(DeeR)の動的早期実行フレームワークを提案する。 DeeR は LLM の計算コストを 5.2-6.5x に削減し、GPU のメモリを 2-6x に削減した。
  論文  参考訳（メタデータ） (2024-11-04T18:26:08Z)
• A Realistic Simulation Framework for Analog/Digital Neuromorphic Architectures [73.65190161312555]
  ARCANAは、混合信号ニューロモルフィック回路の特性を考慮に入れたスパイクニューラルネットワークシミュレータである。 その結果,ソフトウェアでトレーニングしたスパイクニューラルネットワークの挙動を,信頼性の高い推定結果として提示した。
  論文  参考訳（メタデータ） (2024-09-23T11:16:46Z)
• Resistive Memory-based Neural Differential Equation Solver for Score-based Diffusion Model [55.116403765330084]
  スコアベースの拡散のような現在のAIGC法は、迅速性と効率性の点で依然として不足している。 スコアベース拡散のための時間連続型およびアナログ型インメモリ型ニューラル微分方程式解法を提案する。 我々は180nmの抵抗型メモリインメモリ・コンピューティング・マクロを用いて,我々の解を実験的に検証した。
  論文  参考訳（メタデータ） (2024-04-08T16:34:35Z)
• Multi-level, Forming Free, Bulk Switching Trilayer RRAM for Neuromorphic Computing at the Edge [0.0]
  我々は三層金属酸化物スタックをベースとした成形・バルク切替RRAM技術を開発した。 我々は三層バルクRRAMクロスバーに基づくニューロモルフィック・コンピューティング・イン・メモリプラットフォームを開発した。 我々の研究は、厳格なサイズ、重み、パワー制約の下で、エッジでのニューロモルフィックコンピューティングの道を開いた。
  論文  参考訳（メタデータ） (2023-10-20T22:37:46Z)
• Evaluation of STT-MRAM as a Scratchpad for Training in ML Accelerators [9.877596714655096]
  深層ニューラルネットワーク(DNN)のトレーニングは非常にメモリ集約的なプロセスである。 Spin-Transfer-Torque MRAM (STT-MRAM) は、加速器の訓練に望ましいいくつかの特性を提供する。 MRAMはシステムレベルのエネルギーを最大15-22倍改善することを示す。
  論文  参考訳（メタデータ） (2023-08-03T20:36:48Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Hardware calibrated learning to compensate heterogeneity in analog RRAM-based Spiking Neural Networks [0.0]
  スパイキングニューラルネットワーク(SNN)は、RRAM(Resistive Random Access Memories)の完全なパワーを解放することができる その本質的にの計算空間は自然にエネルギー効率の恩恵をもたらす。 堅牢なSNNを実装する主な課題は、アナログCMOS回路とRRAM技術の固有の可変性(異種性)である。
  論文  参考訳（メタデータ） (2022-02-10T15:33:03Z)
• On the Mitigation of Read Disturbances in Neuromorphic Inference Hardware [0.22940141855172028]
  非揮発性メモリ(NVM)セルはニューロモルフィックハードウェアでモデルパラメータを格納するために使用される。 NVM細胞は、推論中に繰り返しセルにアクセスすると、プログラムされた抵抗状態がドリフトする読み取り乱れ問題に悩まされる。 ニューロモルフィックハードウェアのNVMセル上のプログラミングモデルパラメータにそのような依存関係を組み込むシステムソフトウェアフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-01-27T14:02:54Z)
• Mapping and Validating a Point Neuron Model on Intel's Neuromorphic Hardware Loihi [77.34726150561087]
  インテルの第5世代ニューロモルフィックチップ「Loihi」の可能性について検討する。 Loihiは、脳内のニューロンをエミュレートするスパイキングニューラルネットワーク(SNN)という新しいアイデアに基づいている。 Loihiは従来のシミュレーションを非常に効率的に再現し、ネットワークが大きくなるにつれて、時間とエネルギーの両方のパフォーマンスにおいて顕著にスケールする。
  論文  参考訳（メタデータ） (2021-09-22T16:52:51Z)
• Model of the Weak Reset Process in HfOx Resistive Memory for Deep Learning Frameworks [0.6745502291821955]
  酸化ハフニウムRRAMにおける弱いRESET過程のモデルを提案する。 私たちはこのモデルをPyTorchディープラーニングフレームワークに統合します。 我々はこのツールを用いて、MNIST手書き文字認識タスクのためのバイナリニューラルネットワークを訓練する。
  論文  参考訳（メタデータ） (2021-07-02T08:50:35Z)
• One-step regression and classification with crosspoint resistive memory arrays [62.997667081978825]
  高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。 ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。 結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
  論文  参考訳（メタデータ） (2020-05-05T08:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。