論文の概要: Sharing Leaky-Integrate-and-Fire Neurons for Memory-Efficient Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2305.18360v1
• Date: Fri, 26 May 2023 22:55:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 22:10:56.975840
• Title: Sharing Leaky-Integrate-and-Fire Neurons for Memory-Efficient Spiking Neural Networks
• Title（参考訳）: メモリ効率のよいスパイクニューラルネットワークのための漏れ・侵入・発火ニューロンの共有
• Authors: Youngeun Kim, Yuhang Li, Abhishek Moitra, Ruokai Yin, Priyadarshini Panda
• Abstract要約: Leaky-Integrate-and-Fire(LIF)ニューロンの非線形活性化は、スパイクの時間的ダイナミクスを捉えるために膜電圧を保持するために追加のメモリを必要とする。 本稿では,LIFニューロンを異なる層とチャネルで共有する,シンプルで効果的なLIF-Netを提案する。 EfficientLIF-Netは、標準的なSNNと同等の精度を実現し、LIFニューロンの4.3倍の前方メモリ効率と21.9倍の後方メモリ効率を実現した。
• 参考スコア（独自算出の注目度）: 9.585985556876537
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking Neural Networks (SNNs) have gained increasing attention as energy-efficient neural networks owing to their binary and asynchronous computation. However, their non-linear activation, that is Leaky-Integrate-and-Fire (LIF) neuron, requires additional memory to store a membrane voltage to capture the temporal dynamics of spikes. Although the required memory cost for LIF neurons significantly increases as the input dimension goes larger, a technique to reduce memory for LIF neurons has not been explored so far. To address this, we propose a simple and effective solution, EfficientLIF-Net, which shares the LIF neurons across different layers and channels. Our EfficientLIF-Net achieves comparable accuracy with the standard SNNs while bringing up to ~4.3X forward memory efficiency and ~21.9X backward memory efficiency for LIF neurons. We conduct experiments on various datasets including CIFAR10, CIFAR100, TinyImageNet, ImageNet-100, and N-Caltech101. Furthermore, we show that our approach also offers advantages on Human Activity Recognition (HAR) datasets, which heavily rely on temporal information.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、そのバイナリと非同期計算によるエネルギー効率の高いニューラルネットワークとして注目を集めている。 しかし、その非線形活性化は、スパイクの時間的ダイナミクスを捉えるために、膜電圧を記憶するために追加のメモリを必要とする。 入力次元が大きくなるにつれて、LIFニューロンに必要なメモリコストは大幅に増大するが、LIFニューロンのメモリ削減技術はまだ検討されていない。 そこで本研究では,LIFニューロンを異なる層やチャネル間で共有する,シンプルで効果的なLIF-Netを提案する。 EfficientLIF-Netは、標準的なSNNと同等の精度を実現し、LIFニューロンの前方メモリ効率は ~4.3X、後方メモリ効率は ~21.9X になる。 CIFAR10, CIFAR100, TinyImageNet, ImageNet-100, N-Caltech101 など,様々なデータセットの実験を行った。 さらに,我々のアプローチは,時間的情報に大きく依存するヒューマンアクティビティ認識(har)データセットにもメリットがあることを示す。

関連論文リスト

• When Spiking neural networks meet temporal attention image decoding and adaptive spiking neuron [7.478056407323783]
  スパイキングニューラルネットワーク(SNN)は、生物学的に妥当な方法で時間情報をエンコードし、処理することができる。 本稿では,時間的注意(TAID)に基づく画像復号法と適応型Leaky-Integrate-and-Fireニューロンモデルを提案する。
  論文  参考訳（メタデータ） (2024-06-05T08:21:55Z)
• Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning [51.386945803485084]
  エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。 既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。 浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
  論文  参考訳（メタデータ） (2024-01-09T07:31:34Z)
• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• Accelerating SNN Training with Stochastic Parallelizable Spiking Neurons [1.7056768055368383]
  スパイキングニューラルネットワーク(SNN)は、特にニューロモルフィックハードウェアにおいて、少ないエネルギーを使用しながら特徴を学習することができる。 深層学習において最も広く用いられるニューロンは、時間と火災(LIF)ニューロンである。
  論文  参考訳（メタデータ） (2023-06-22T04:25:27Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Exploiting High Performance Spiking Neural Networks with Efficient Spiking Patterns [4.8416725611508244]
  スパイキングニューラルネットワーク(SNN)は、離散スパイクシーケンスを使用して情報を伝達し、脳の情報伝達を著しく模倣する。 本稿では、動的バーストパターンを導入し、短時間の性能と動的時間的性能のトレードオフを可能にするLeaky Integrate and Fire or Burst(LIFB)ニューロンを設計する。
  論文  参考訳（メタデータ） (2023-01-29T04:22:07Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Event-based Video Reconstruction via Potential-assisted Spiking Neural Network [48.88510552931186]
  バイオインスパイアされたニューラルネットワークは、イベント駆動ハードウェア上での計算効率の向上につながる可能性がある。 完全スパイキングニューラルネットワーク(EVSNN)に基づくイベントベースビデオ再構成フレームワークを提案する。 スパイクニューロンは、そのような時間依存タスクを完了させるために有用な時間情報(メモリ)を格納する可能性がある。
  論文  参考訳（メタデータ） (2022-01-25T02:05:20Z)
• Spiking Neural Networks with Improved Inherent Recurrence Dynamics for Sequential Learning [6.417011237981518]
  漏れた統合と発火(LIF)ニューロンを持つニューラルネットワーク(SNN)は、イベント駆動方式で操作できる。 我々は,SNNを逐次的なタスクのために訓練し,LIFニューロンのネットワークへの修正を提案する。 そこで我々は,提案するSNNのトレーニング手法を開発し,本質的な再帰ダイナミクスを改良した。
  論文  参考訳（メタデータ） (2021-09-04T17:13:28Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。