論文の概要: DCT-SNN: Using DCT to Distribute Spatial Information over Time for Learning Low-Latency Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2010.01795v1
• Date: Mon, 5 Oct 2020 05:55:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 19:53:04.626831
• Title: DCT-SNN: Using DCT to Distribute Spatial Information over Time for Learning Low-Latency Spiking Neural Networks
• Title（参考訳）: DCT-SNN:DCTを用いた低遅延スパイクニューラルネットワーク学習のための時間的空間情報配信
• Authors: Isha Garg, Sayeed Shafayet Chowdhury and Kaushik Roy
• Abstract要約: Spiking Neural Networks(SNN)は、従来のディープラーニングフレームワークに代わる有望な選択肢を提供する。 SNNは高い推論遅延に悩まされており、デプロイメントの大きなボトルネックとなっている。 本稿では、離散コサイン変換(DCT)を用いて、推論に必要な時間ステップ数を削減できるスケーラブルな時間ベースの符号化方式を提案する。
• 参考スコア（独自算出の注目度）: 7.876001630578417
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs) offer a promising alternative to traditional deep learning frameworks, since they provide higher computational efficiency due to event-driven information processing. SNNs distribute the analog values of pixel intensities into binary spikes over time. However, the most widely used input coding schemes, such as Poisson based rate-coding, do not leverage the additional temporal learning capability of SNNs effectively. Moreover, these SNNs suffer from high inference latency which is a major bottleneck to their deployment. To overcome this, we propose a scalable time-based encoding scheme that utilizes the Discrete Cosine Transform (DCT) to reduce the number of timesteps required for inference. DCT decomposes an image into a weighted sum of sinusoidal basis images. At each time step, the Hadamard product of the DCT coefficients and a single frequency base, taken in order, is given to an accumulator that generates spikes upon crossing a threshold. We use the proposed scheme to learn DCT-SNN, a low-latency deep SNN with leaky-integrate-and-fire neurons, trained using surrogate gradient descent based backpropagation. We achieve top-1 accuracy of 89.94%, 68.3% and 52.43% on CIFAR-10, CIFAR-100 and TinyImageNet, respectively using VGG architectures. Notably, DCT-SNN performs inference with 2-14X reduced latency compared to other state-of-the-art SNNs, while achieving comparable accuracy to their standard deep learning counterparts. The dimension of the transform allows us to control the number of timesteps required for inference. Additionally, we can trade-off accuracy with latency in a principled manner by dropping the highest frequency components during inference.
• Abstract（参考訳）: Spiking Neural Networks(SNN)は、イベント駆動情報処理による高い計算効率を提供するため、従来のディープラーニングフレームワークに代わる有望な選択肢を提供する。 SNNはピクセル強度のアナログ値を時間とともにバイナリスパイクに分散する。 しかし、Poissonベースのレートコーディングのような最も広く使われている入力符号化方式は、SNNの時間的学習能力を効果的に活用していない。 さらに、これらのSNNは高い推論遅延に悩まされており、デプロイメントの大きなボトルネックとなっている。 そこで本研究では,離散コサイン変換(dct)を用いて,推定に必要な時間ステップを削減した,スケーラブルな時間ベースの符号化方式を提案する。 DCTは、画像を正弦波基底画像の重み付け和に分解する。 各時間ステップにおいて、DCT係数のアダマール積と、順番に取られた単一周波数ベースとが、しきい値を超えたときにスパイクを生成するアキュムレータに与えられる。 提案手法を応用して,低遅延深部SNNの漏洩積分・発火ニューロンを用いたDCT-SNNを学習し,サロゲート勾配降下に基づくバックプロパゲーションを用いて訓練した。 我々は,VGGアーキテクチャを用いて,CIFAR-10,CIFAR-100,TinyImageNetで89.94%,68.3%,52.43%のTop-1精度を達成した。 特に、DCT-SNNは他の最先端のSNNと比較して2-14倍のレイテンシで推論を行い、標準のディープラーニングと同等の精度を実現している。 変換の次元は推論に必要な時間ステップの数を制御することができる。 さらに、推論中に最も高い周波数成分を落としてレイテンシとのトレードオフを原則的に行うことができる。

関連論文リスト

• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• Bridging the Gap between ANNs and SNNs by Calibrating Offset Spikes [19.85338979292052]
  スパイキングニューラルネットワーク(SNN)は低消費電力と時間情報処理の特徴的な特徴から注目されている。 ANN-SNN変換は、SNNに適用するための最も一般的な訓練方法であり、変換されたSNNが大規模データセット上でANNに匹敵するパフォーマンスを達成することを確実にする。 本稿では、異なる変換誤差を評価してこれらの誤りを除去する代わりに、実際のSNN発射速度と所望のSNN発射速度のずれ度を測定するためにオフセットスパイクを定義する。
  論文  参考訳（メタデータ） (2023-02-21T14:10:56Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Can Deep Neural Networks be Converted to Ultra Low-Latency Spiking Neural Networks? [3.2108350580418166]
  スパイクニューラルネットワーク(SNN)は、時間とともに分散されたバイナリスパイクを介して動作する。 SNNのためのSOTAトレーニング戦略は、非スパイキングディープニューラルネットワーク(DNN)からの変換を伴う そこで本研究では,DNNと変換SNNの誤差を最小限に抑えながら,これらの分布を正確にキャプチャする新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-22T18:47:45Z)
• Two-Timescale End-to-End Learning for Channel Acquisition and Hybrid Precoding [94.40747235081466]
  本研究では,ミリ波(mmWave)大規模マルチインプット多重出力(MIMO)システムのためのエンドツーエンドの深層学習に基づくジョイントトランスシーバ設計アルゴリズムを提案する。 我々は受信したパイロットを受信機でフィードバックビットにマッピングし、さらに送信機でハイブリッドプリコーダにフィードバックビットをマッピングするDNNアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2021-10-22T20:49:02Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• Training Energy-Efficient Deep Spiking Neural Networks with Single-Spike Hybrid Input Encoding [5.725845886457027]
  スパイキングニューラルネットワーク(SNN)は、イベント駆動型ニューロモルフィックハードウェアにおいて高い計算効率を提供する。 SNNは、非効率な入力符号化とトレーニング技術により、高い推論遅延に悩まされる。 本稿では低遅延エネルギー効率SNNのためのトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-07-26T06:16:40Z)
• Spatio-Temporal Pruning and Quantization for Low-latency Spiking Neural Networks [6.011954485684313]
  Spiking Neural Networks(SNN)は、従来のディープラーニング方法に代わる有望な選択肢です。 しかし、SNNの大きな欠点は、高い推論遅延である。 本稿では,SNNの空間的および時間的プルーニングを提案する。
  論文  参考訳（メタデータ） (2021-04-26T12:50:58Z)
• Deep Time Delay Neural Network for Speech Enhancement with Full Data Learning [60.20150317299749]
  本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。 トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-11T06:32:37Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Enabling Deep Spiking Neural Networks with Hybrid Conversion and Spike Timing Dependent Backpropagation [10.972663738092063]
  Spiking Neural Networks(SNN)は非同期離散イベント(スパイク)で動作する 本稿では,深層SNNのための計算効率のよいトレーニング手法を提案する。 我々は、SNN上のImageNetデータセットの65.19%のトップ1精度を250タイムステップで達成し、同様の精度で変換されたSNNに比べて10倍高速である。
  論文  参考訳（メタデータ） (2020-05-04T19:30:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。