論文の概要: Hoyer regularizer is all you need for ultra low-latency spiking neural networks

• arxiv url: http://arxiv.org/abs/2212.10170v1
• Date: Tue, 20 Dec 2022 11:16:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 16:23:50.215777
• Title: Hoyer regularizer is all you need for ultra low-latency spiking neural networks
• Title（参考訳）: Hoyer regularizerは、超低遅延スパイクニューラルネットワークに必要なもの
• Authors: Gourav Datta, Zeyu Liu, Peter A. Beerel
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、幅広い低消費電力ビジョンタスクのための魅力的なHoyer-temporalコンピューティングパラダイムとして登場した。 我々は,最近提案された正規化器の新たな変種を利用したワンタイムSNNのためのトレーニングフレームワーク(スクラッチから)を提案する。 我々のアプローチは、複雑な画像認識タスクに対する精度-FLOPのトレードオフの観点から、既存のスパイキング、バイナリ、加算ニューラルネットワークよりも優れています。
• 参考スコア（独自算出の注目度）: 4.243356707599485
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking Neural networks (SNN) have emerged as an attractive spatio-temporal computing paradigm for a wide range of low-power vision tasks. However, state-of-the-art (SOTA) SNN models either incur multiple time steps which hinder their deployment in real-time use cases or increase the training complexity significantly. To mitigate this concern, we present a training framework (from scratch) for one-time-step SNNs that uses a novel variant of the recently proposed Hoyer regularizer. We estimate the threshold of each SNN layer as the Hoyer extremum of a clipped version of its activation map, where the clipping threshold is trained using gradient descent with our Hoyer regularizer. This approach not only downscales the value of the trainable threshold, thereby emitting a large number of spikes for weight update with a limited number of iterations (due to only one time step) but also shifts the membrane potential values away from the threshold, thereby mitigating the effect of noise that can degrade the SNN accuracy. Our approach outperforms existing spiking, binary, and adder neural networks in terms of the accuracy-FLOPs trade-off for complex image recognition tasks. Downstream experiments on object detection also demonstrate the efficacy of our approach.
• Abstract（参考訳）: spiking neural networks (snn)は、幅広い低消費電力ビジョンタスクのための魅力的な時空間コンピューティングパラダイムとして登場した。 しかし、最先端(SOTA)SNNモデルは、リアルタイムユースケースでのデプロイメントを妨げる複数のタイムステップを発生させるか、トレーニングの複雑さを著しく増加させるかのいずれかである。 この懸念を軽減するために,最近提案されたhoyer正規化器の新しい変種を用いたワンタイムステップsnsのトレーニングフレームワーク(scratchから)を提案する。 各sn層の閾値を、我々のホイヤー正規化器による勾配降下を用いて、クリップング閾値を訓練したアクティベーションマップのクリップ版におけるホイヤー極端と推定する。 このアプローチは、訓練可能なしきい値の値をダウンスケールするだけでなく、(1つの時間ステップのみによる)限られたイテレーション数で、ウェイト更新のための大量のスパイクを発生させるとともに、膜電位値をしきい値から遠ざけ、snn精度を低下させるノイズの影響を緩和する。 我々のアプローチは、複雑な画像認識タスクの精度・フロップストレードオフの観点から、既存のスパイク、バイナリ、加算ニューラルネットワークよりも優れています。 下流での物体検出実験も本手法の有効性を実証した。

関連論文リスト

• Low Latency of object detection for spikng neural network [3.404826786562694]
  スパイキングニューラルネットワークは、バイナリスパイクの性質のため、エッジAIアプリケーションに適している。 本稿では,オブジェクト検出に特化して,高精度で低遅延なSNNを生成することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-09-27T10:26:19Z)
• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• Fast-SNN: Fast Spiking Neural Network by Converting Quantized ANN [38.18008827711246]
  スパイキングニューラルネットワーク(SNN)は、計算とエネルギー効率の利点を示している。 離散スパイク関数のため、ディープSNNをトレーニングすることは依然として課題である。 本稿では低レイテンシで高い性能を実現する高速SNNを提案する。
  論文  参考訳（メタデータ） (2023-05-31T14:04:41Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks [58.195261590442406]
  我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。 近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。 本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
  論文  参考訳（メタデータ） (2022-11-29T13:32:38Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Navigating Local Minima in Quantized Spiking Neural Networks [3.1351527202068445]
  深層学習(DL)アルゴリズムの超効率的な実装においては,スパイキングと量子ニューラルネットワーク(NN)が極めて重要になっている。 これらのネットワークは、ハードしきい値を適用する際の勾配信号の欠如により、エラーのバックプロパゲーションを使用してトレーニングする際の課題に直面している。 本稿では,コサインアニールLRスケジュールと重み非依存適応モーメント推定を併用したシステム評価を行った。
  論文  参考訳（メタデータ） (2022-02-15T06:42:25Z)
• ActNN: Reducing Training Memory Footprint via 2-Bit Activation Compressed Training [68.63354877166756]
  ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。 ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-04-29T05:50:54Z)
• Low-activity supervised convolutional spiking neural networks applied to speech commands recognition [6.6389732792316005]
  スパイキングニューラルネットワーク(SNN)は、教師付き方法で効率的に訓練することができる。 本稿では,拡張畳み込みスパイク層からなるモデルが,標準ディープニューラルネットワーク(DNN)に非常に近い誤差率に達することを示す。 また、LIFモデルが非リーキーモデルよりも優れており、ニューロン膜電位の漏洩をモデル化することが有用であることを示す。
  論文  参考訳（メタデータ） (2020-11-13T10:29:35Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Enabling Deep Spiking Neural Networks with Hybrid Conversion and Spike Timing Dependent Backpropagation [10.972663738092063]
  Spiking Neural Networks(SNN)は非同期離散イベント(スパイク)で動作する 本稿では,深層SNNのための計算効率のよいトレーニング手法を提案する。 我々は、SNN上のImageNetデータセットの65.19%のトップ1精度を250タイムステップで達成し、同様の精度で変換されたSNNに比べて10倍高速である。
  論文  参考訳（メタデータ） (2020-05-04T19:30:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。