論文の概要: Endurance-Aware Mapping of Spiking Neural Networks to Neuromorphic Hardware

• arxiv url: http://arxiv.org/abs/2103.05707v1
• Date: Tue, 9 Mar 2021 20:43:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-08 15:42:23.583227
• Title: Endurance-Aware Mapping of Spiking Neural Networks to Neuromorphic Hardware
• Title（参考訳）: スパイキングニューラルネットワークのニューロモルフィックハードウェアへの耐久対応マッピング
• Authors: Twisha Titirsha, Shihao Song, Anup Das, Jeffrey Krichmar, Nikil Dutt, Nagarajan Kandasamy, Francky Catthoor
• Abstract要約: ニューロモルフィックコンピューティングシステムは、ハードウェアのクロスバーアレイとして高密度で低消費電力のシナプスストレージを実装するために、メムリスタを取り入れている。 縦断クロスバーの長いビット線とワードラインは寄生電圧降下の主な原因であり、電流非対称性を生み出す。 機械学習ワークロードのマッピングにおいて,各クロスバーに持続時間変動を組み込むことで,寿命を改善する手法であるeSpineを提案する。
• 参考スコア（独自算出の注目度）: 4.234079120512533
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neuromorphic computing systems are embracing memristors to implement high density and low power synaptic storage as crossbar arrays in hardware. These systems are energy efficient in executing Spiking Neural Networks (SNNs). We observe that long bitlines and wordlines in a memristive crossbar are a major source of parasitic voltage drops, which create current asymmetry. Through circuit simulations, we show the significant endurance variation that results from this asymmetry. Therefore, if the critical memristors (ones with lower endurance) are overutilized, they may lead to a reduction of the crossbar's lifetime. We propose eSpine, a novel technique to improve lifetime by incorporating the endurance variation within each crossbar in mapping machine learning workloads, ensuring that synapses with higher activation are always implemented on memristors with higher endurance, and vice versa. eSpine works in two steps. First, it uses the Kernighan-Lin Graph Partitioning algorithm to partition a workload into clusters of neurons and synapses, where each cluster can fit in a crossbar. Second, it uses an instance of Particle Swarm Optimization (PSO) to map clusters to tiles, where the placement of synapses of a cluster to memristors of a crossbar is performed by analyzing their activation within the workload. We evaluate eSpine for a state-of-the-art neuromorphic hardware model with phase-change memory (PCM)-based memristors. Using 10 SNN workloads, we demonstrate a significant improvement in the effective lifetime.
• Abstract（参考訳）: ニューロモーフィックコンピューティングシステムは、ハードウェアのクロスバーアレイとして高密度かつ低消費電力のシナプスストレージを実装するために、memristorsを採用している。 これらのシステムはスパイキングニューラルネットワーク(SNN)の実行においてエネルギー効率が高い。 縦断クロスバーの長いビット線とワード線が寄生電圧降下の主な原因であり、これは電流非対称性を生じさせる。 回路シミュレーションにより、この非対称性から生じる有意なエンデュアランス変動を示す。 したがって、クリティカルなmemristor(持久力の低いもの)が過剰に利用されると、クロスバーの寿命が減少する可能性がある。 本稿では,機械学習ワークロードのマッピングにおいて,各クロスバーのエンデュアランス変動を取り入れ,高いアクティベーションを持つシナプスが常に高いエンデュアランスを持つmemristorに実装されていることを保証する新しい手法であるespinを提案する。 eSpineは2つのステップで機能します。 まず、Kernighan-Lin Graph Partitioningアルゴリズムを使用して、ワークロードをニューロンとシナプスのクラスタに分割する。 次に、クラスタをタイルにマッピングするためにParticle Swarm Optimization(PSO)のインスタンスを使用し、ワークロード内でのアクティベーションを分析することで、クラスタのシナプスをクロスバーのmemristorに配置する。 位相変化メモリ(PCM)を用いた最新型ニューロモルフィックハードウェアモデルにおけるeSpineの評価を行った。 10のSNNワークロードを使用して、有効寿命を大幅に改善する。

関連論文リスト

• Single Neuromorphic Memristor closely Emulates Multiple Synaptic Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
  我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。 これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
  論文  参考訳（メタデータ） (2024-02-26T15:01:54Z)
• Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning [51.386945803485084]
  エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。 既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。 浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
  論文  参考訳（メタデータ） (2024-01-09T07:31:34Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Gradient-based Neuromorphic Learning on Dynamical RRAM Arrays [3.5969667977870796]
  我々は,完全分裂型スパイクニューラルネットワーク(MSNN)を学習するための勾配学習(MEMprop)を提案する。 本手法では, 自然に発生する電圧スパイクを発生させるために, 固有デバイスダイナミクスを利用する。 いくつかのベンチマークにおいて、以前報告した軽量高密度完全MSNN間の高い競争精度を得る。
  論文  参考訳（メタデータ） (2022-06-26T23:13:34Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Efficient Hardware Acceleration of Sparsely Active Convolutional Spiking Neural Networks [0.0]
  スパイキングニューラルネットワーク(SNN)は、標準のニューラルネットワークよりも効率的な計算を実現するために、イベントベースで計算する。 本稿では,高いアクティベーション間隔を有する畳み込みSNNの処理に最適化された新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-03-23T14:18:58Z)
• Compiling Spiking Neural Networks to Mitigate Neuromorphic Hardware Constraints [0.30458514384586394]
  スパイキングニューラルネットワーク(SNN)は、資源制約と電力制約のあるプラットフォーム上での計算制約付きパターン認識を効率的に行う。 ニューロモルフィックハードウェア上で実行されるSNNは、これらのプラットフォームのエネルギー消費をさらに削減することができる。
  論文  参考訳（メタデータ） (2020-11-27T19:10:23Z)
• Thermal-Aware Compilation of Spiking Neural Networks to Neuromorphic Hardware [0.30458514384586394]
  本稿では、SNNベースの機械学習ワークロードのニューロンとシナプスをニューロモルフィックハードウェアにマッピングする手法を提案する。 ハードウェアの各クロスバーの平均温度は平均11.4低下し, リーク電力消費量は52%減少した。
  論文  参考訳（メタデータ） (2020-10-09T19:29:14Z)
• Reliability-Performance Trade-offs in Neuromorphic Computing [0.30458514384586394]
  非揮発性メモリ(NVM)で構築されたニューロモルフィックアーキテクチャは、スパイキングニューラルネットワーク(SNN)で設計された機械学習タスクのエネルギー効率を大幅に改善する。 寄生電圧低下は, クロスバー内のNVMセルのプログラミング速度と信頼性において, 顕著な非対称性を生じさせる。 ニューロモルフィックアーキテクチャにおけるこの非対称性は信頼性と性能のトレードオフを生み出し、SNNマッピング技術を用いて効率的に利用することができる。
  論文  参考訳（メタデータ） (2020-09-26T19:38:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。