Fugu-MT 論文翻訳(概要): Q-SNNs: Quantized Spiking Neural Networks

論文の概要: Q-SNNs: Quantized Spiking Neural Networks

arxiv url: http://arxiv.org/abs/2406.13672v1
Date: Wed, 19 Jun 2024 16:23:26 GMT
ステータス: 処理完了
システム内更新日: 2024-06-21 19:04:39.322958
Title: Q-SNNs: Quantized Spiking Neural Networks
Title（参考訳）: Q-SNN:量子スパイキングニューラルネットワーク
Authors: Wenjie Wei, Yu Liang, Ammar Belatreche, Yichen Xiao, Honglin Cao, Zhenbang Ren, Guoqing Wang, Malu Zhang, Yang Yang,
Abstract要約: スパイキングニューラルネットワーク(SNN)はスパーススパイクを利用して情報を表現し、イベント駆動方式で処理する。シナプス重みと膜電位の両方に量子化を適用する軽量でハードウェアフレンドリな量子化SNNを提案する。本稿では,情報エントロピー理論にインスパイアされた新しいウェイトスパイクデュアルレギュレーション(WS-DR)法を提案する。
参考スコア（独自算出の注目度）: 12.719590949933105
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Brain-inspired Spiking Neural Networks (SNNs) leverage sparse spikes to represent information and process them in an asynchronous event-driven manner, offering an energy-efficient paradigm for the next generation of machine intelligence. However, the current focus within the SNN community prioritizes accuracy optimization through the development of large-scale models, limiting their viability in resource-constrained and low-power edge devices. To address this challenge, we introduce a lightweight and hardware-friendly Quantized SNN (Q-SNN) that applies quantization to both synaptic weights and membrane potentials. By significantly compressing these two key elements, the proposed Q-SNNs substantially reduce both memory usage and computational complexity. Moreover, to prevent the performance degradation caused by this compression, we present a new Weight-Spike Dual Regulation (WS-DR) method inspired by information entropy theory. Experimental evaluations on various datasets, including static and neuromorphic, demonstrate that our Q-SNNs outperform existing methods in terms of both model size and accuracy. These state-of-the-art results in efficiency and efficacy suggest that the proposed method can significantly improve edge intelligent computing.
Abstract（参考訳）: 脳にインスパイアされたスパイキングニューラルネットワーク(SNN)はスパーススパイクを利用して情報を表現し、非同期なイベント駆動方式で処理し、次世代のマシンインテリジェンスのためのエネルギー効率の良いパラダイムを提供する。しかし、SNNコミュニティにおける現在の焦点は、大規模モデルの開発を通じて精度の最適化を優先し、リソース制約や低消費電力エッジデバイスにおけるその生存性を制限している。この課題に対処するために、シナプス重みと膜電位の両方に量子化を適用する軽量でハードウェアフレンドリな量子SNN(Q-SNN)を導入する。これら2つのキー要素を著しく圧縮することにより、提案したQ-SNNはメモリ使用量と計算量の両方を大幅に削減する。さらに,この圧縮による性能劣化を防止するため,情報エントロピー理論にインスパイアされた新しいウェイトスパイクデュアルレギュレーション(WS-DR)法を提案する。静的およびニューロモルフィックを含む様々なデータセットに対する実験的評価は、我々のQ-SNNがモデルサイズと精度の両方で既存の手法より優れていることを示す。これらの最先端結果の効率性と有効性は,提案手法がエッジインテリジェントコンピューティングを著しく向上させることができることを示唆している。

関連論文リスト

Stepwise Weighted Spike Coding for Deep Spiking Neural Networks [7.524721345903027]
スパイキングニューラルネットワーク(SNN)は、生物学的ニューロンのスパイキング動作を模倣しようと試みている。本稿では,スパイクにおける情報のエンコーディングを強化するために,SWS(Stepwise Weighted Spike)符号化方式を提案する。このアプローチは、ニューラルネットワークの各ステップにおけるスパイクの重要性を重み付け、高い性能と低エネルギー消費を達成することでスパイクを圧縮する。
論文参考訳（メタデータ） (2024-08-30T12:39:25Z)
LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network through Spatial-Temporal Compressive Network Search and Joint Optimization [48.41286573672824]
スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitE-SNNという新しい手法を提案する。
論文参考訳（メタデータ） (2024-01-26T05:23:11Z)
Brain-Inspired Efficient Pruning: Exploiting Criticality in Spiking Neural Networks [8.178274786227723]
スパイキングニューラルネットワーク (SNN) はエネルギー効率と乗算自由特性のために注目されている。既存のSNNプルーニング法は,SNNのスパーススパイク表現の処理効率が低いため,高いプルーニングコストと性能損失を引き起こす。特徴伝達におけるニューロン臨界度を評価するための低コストな指標を提案し,この臨界度をプルーニングプロセスに組み込んだプルーニング再生法を設計する。
論文参考訳（メタデータ） (2023-11-05T12:20:29Z)
SpikingJelly: An open-source machine learning infrastructure platform for spike-based intelligence [51.6943465041708]
スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
論文参考訳（メタデータ） (2023-10-25T13:15:17Z)
Low Precision Quantization-aware Training in Spiking Neural Networks with Differentiable Quantization Function [0.5046831208137847]
この研究は、量子化されたニューラルネットワークの最近の進歩とスパイクニューラルネットワークのギャップを埋めることを目的としている。これは、シグモイド関数の線形結合として表される量子化関数の性能に関する広範な研究を示す。提案した量子化関数は、4つの人気のあるベンチマーク上での最先端のパフォーマンスを示す。
論文参考訳（メタデータ） (2023-05-30T09:42:05Z)
A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文参考訳（メタデータ） (2023-05-26T02:52:12Z)
The Hardware Impact of Quantization and Pruning for Weights in Spiking Neural Networks [0.368986335765876]
パラメータの量子化とプルーニングは、モデルサイズを圧縮し、メモリフットプリントを削減し、低レイテンシ実行を容易にする。本研究では,身近な身近なジェスチャー認識システムであるSNNに対して,孤立度,累積的に,そして同時にプルーニングと量子化の様々な組み合わせについて検討する。本研究では,3次重みまで精度の低下に悩まされることなく,攻撃的パラメータ量子化に対処可能であることを示す。
論文参考訳（メタデータ） (2023-02-08T16:25:20Z)
On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
論文参考訳（メタデータ） (2022-06-21T09:42:30Z)
tinySNN: Towards Memory- and Energy-Efficient Spiking Neural Networks [14.916996986290902]
スパイキングニューラルネットワーク(SNN)モデルは、高い精度を提供できるため、一般的に好適である。しかし、資源とエネルギーを制約した組込みプラットフォームにそのようなモデルを適用することは非効率である。本稿では,SNN処理のメモリおよびエネルギー要求を最適化する小型SNNフレームワークを提案する。
論文参考訳（メタデータ） (2022-06-17T09:40:40Z)
Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文参考訳（メタデータ） (2020-03-26T11:13:07Z)
Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。