論文の概要: Enabling Resource-Aware Mapping of Spiking Neural Networks via Spatial Decomposition

• arxiv url: http://arxiv.org/abs/2009.09298v1
• Date: Sat, 19 Sep 2020 21:04:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-16 21:29:58.919553
• Title: Enabling Resource-Aware Mapping of Spiking Neural Networks via Spatial Decomposition
• Title（参考訳）: 空間分解によるスパイキングニューラルネットワークの資源認識マッピング
• Authors: Adarsha Balaji, Shihao Song, Anup Das, Jeffrey Krichmar, Nikil Dutt, James Shackleford, Nagarajan Kandasamy, Francky Catthoor
• Abstract要約: タイルベースのニューロモーフィックハードウェアへのスパイクニューラルネットワーク(SNN)ベースの応用は、ますます困難になりつつある。 ニューロン毎に多くのシナプス前接続を持つ複雑なSNNモデルでは、タイルリソースに適合するようにトレーニング後にいくつかの接続を切断する必要がある。 本稿では,多くのシナプス前結合を持つニューロン機能を,同種神経ユニットの配列に分解する新しいアンローリング手法を提案する。
• 参考スコア（独自算出の注目度）: 4.059246535401608
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With growing model complexity, mapping Spiking Neural Network (SNN)-based applications to tile-based neuromorphic hardware is becoming increasingly challenging. This is because the synaptic storage resources on a tile, viz. a crossbar, can accommodate only a fixed number of pre-synaptic connections per post-synaptic neuron. For complex SNN models that have many pre-synaptic connections per neuron, some connections may need to be pruned after training to fit onto the tile resources, leading to a loss in model quality, e.g., accuracy. In this work, we propose a novel unrolling technique that decomposes a neuron function with many pre-synaptic connections into a sequence of homogeneous neural units, where each neural unit is a function computation node, with two pre-synaptic connections. This spatial decomposition technique significantly improves crossbar utilization and retains all pre-synaptic connections, resulting in no loss of the model quality derived from connection pruning. We integrate the proposed technique within an existing SNN mapping framework and evaluate it using machine learning applications on the DYNAP-SE state-of-the-art neuromorphic hardware. Our results demonstrate an average 60% lower crossbar requirement, 9x higher synapse utilization, 62% lower wasted energy on the hardware, and between 0.8% and 4.6% increase in model quality.
• Abstract（参考訳）: モデル複雑性の増大に伴い、スパイキングニューラルネットワーク(SNN)ベースのアプリケーションをタイルベースのニューロモーフィックハードウェアにマッピングすることはますます困難になっている。 これは、タイル(クロスバー)上のシナプス貯蔵資源はシナプス後ニューロンごとに一定の数のシナプス前接続しか収容できないためである。 ニューロンごとに多くのシナプス前接続を持つ複雑なsnモデルの場合、トレーニング後、タイルリソースに適合するためにいくつかの接続を刈り取る必要があり、モデル品質(例えば精度)が失われる。 本研究では,多くのシナプス前結合を持つニューロン関数を,各ニューラルネットワークユニットが関数計算ノードであり,2つのシナプス前結合を持つ同種ニューラルネットワークユニットに分解する新しいアンローリング手法を提案する。 この空間分解技術はクロスバー利用を著しく改善し、すべてのシナプス前接続を維持し、接続切断によるモデル品質の損失を生じさせない。 提案手法を既存のSNNマッピングフレームワークに統合し,DYNAP-SEの最先端のニューロモルフィックハードウェア上での機械学習アプリケーションを用いて評価する。 その結果,平均で60%のクロスバー,9倍のシナプス利用,62%のハードウェアの無駄エネルギー,0.8%から4.6%のモデル品質向上が得られた。

関連論文リスト

• Quantized Context Based LIF Neurons for Recurrent Spiking Neural Networks in 45nm [0.3332435791857516]
  本研究では,コンテキストベースリカレントスパイクニューラルネットワーク(RSNN)の最初のハードウェア実装を提案する。 本稿では,RSNNのスパース活動を利用したハードウェア・ソフトウェア・コード署名手法により開発されたCLIFニューロン(qCLIF)の量子化バージョンについて述べる。 我々の分析は10から200qCLIFニューロンのネットワーク構成にまたがっており、最大82kのシナプスを1.86mm2のフットプリントでサポートし、スケーラビリティと効率性を実証している。
  論文  参考訳（メタデータ） (2024-04-28T04:32:44Z)
• Learning in Convolutional Neural Networks Accelerated by Transfer Entropy [0.0]
  フィードフォワードネットワークでは、トランスファーエントロピー(TE)を使用して、異なる層に位置するニューロン出力ペア間の関係を定量化することができる。 TEフィードバック接続を統合したCNNアーキテクチャのための新しいトレーニング機構を提案する。
  論文  参考訳（メタデータ） (2024-04-03T13:31:49Z)
• Low Precision Quantization-aware Training in Spiking Neural Networks with Differentiable Quantization Function [0.5046831208137847]
  この研究は、量子化されたニューラルネットワークの最近の進歩とスパイクニューラルネットワークのギャップを埋めることを目的としている。 これは、シグモイド関数の線形結合として表される量子化関数の性能に関する広範な研究を示す。 提案した量子化関数は、4つの人気のあるベンチマーク上での最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-05-30T09:42:05Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Hessian Aware Quantization of Spiking Neural Networks [1.90365714903665]
  ニューロモルフィックアーキテクチャは、可変ビット精度と局所ビット精度の大規模並列計算を可能にする。 SNNトレーニングの現在の勾配に基づく方法は、複数の状態変数を持つ複雑なニューロンモデルを使用する。 我々は、勾配に基づくトレーニングと互換性を保ちつつ、状態変数の数を4倍に削減する単純化されたニューロンモデルを提案する。
  論文  参考訳（メタデータ） (2021-04-29T05:27:34Z)
• Compiling Spiking Neural Networks to Mitigate Neuromorphic Hardware Constraints [0.30458514384586394]
  スパイキングニューラルネットワーク(SNN)は、資源制約と電力制約のあるプラットフォーム上での計算制約付きパターン認識を効率的に行う。 ニューロモルフィックハードウェア上で実行されるSNNは、これらのプラットフォームのエネルギー消費をさらに削減することができる。
  論文  参考訳（メタデータ） (2020-11-27T19:10:23Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。