論文の概要: QP-SNN: Quantized and Pruned Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2502.05905v1
• Date: Sun, 09 Feb 2025 13:50:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:32:00.305077
• Title: QP-SNN: Quantized and Pruned Spiking Neural Networks
• Title（参考訳）: QP-SNN: 量子化および計算されたスパイクニューラルネットワーク
• Authors: Wenjie Wei, Malu Zhang, Zijian Zhou, Ammar Belatreche, Yimeng Shan, Yu Liang, Honglin Cao, Jieyuan Zhang, Yang Yang,
• Abstract要約: スパイキングニューラルネットワーク(SNN)はスパイクを利用して情報をエンコードし、イベント駆動方式で運用する。 資源限定シナリオにおいて,高性能なSNNを効果的に展開することを目的とした,ハードウェアフレンドリで軽量なSNNを提案する。
• 参考スコア（独自算出の注目度）: 10.74122828236122
• License:
• Abstract: Brain-inspired Spiking Neural Networks (SNNs) leverage sparse spikes to encode information and operate in an asynchronous event-driven manner, offering a highly energy-efficient paradigm for machine intelligence. However, the current SNN community focuses primarily on performance improvement by developing large-scale models, which limits the applicability of SNNs in resource-limited edge devices. In this paper, we propose a hardware-friendly and lightweight SNN, aimed at effectively deploying high-performance SNN in resource-limited scenarios. Specifically, we first develop a baseline model that integrates uniform quantization and structured pruning, called QP-SNN baseline. While this baseline significantly reduces storage demands and computational costs, it suffers from performance decline. To address this, we conduct an in-depth analysis of the challenges in quantization and pruning that lead to performance degradation and propose solutions to enhance the baseline's performance. For weight quantization, we propose a weight rescaling strategy that utilizes bit width more effectively to enhance the model's representation capability. For structured pruning, we propose a novel pruning criterion using the singular value of spatiotemporal spike activities to enable more accurate removal of redundant kernels. Extensive experiments demonstrate that integrating two proposed methods into the baseline allows QP-SNN to achieve state-of-the-art performance and efficiency, underscoring its potential for enhancing SNN deployment in edge intelligence computing.
• Abstract（参考訳）: ブレインインスパイアされたスパイキングニューラルネットワーク(SNN)はスパーススパイクを利用して情報をエンコードし、非同期イベント駆動方式で運用する。 しかし、現在のSNNコミュニティは、リソース限定エッジデバイスにおけるSNNの適用性を制限した大規模モデルを開発することで、パフォーマンス改善に重点を置いている。 本稿では,資源限定シナリオにおいて,高性能SNNを効果的に展開することを目的とした,ハードウェアフレンドリで軽量なSNNを提案する。 具体的には、まず、QP-SNNベースラインと呼ばれる一様量子化と構造化プルーニングを統合するベースラインモデルを開発する。 このベースラインはストレージ要求と計算コストを大幅に削減しますが、パフォーマンスの低下に悩まされます。 そこで本研究では,量子化とプルーニングの課題を詳細に解析し,性能劣化を招き,ベースラインの性能向上のためのソリューションを提案する。 重み量子化のために、ビット幅をより効果的に活用し、モデルの表現能力を向上する重み再スケーリング戦略を提案する。 構造化プルーニングでは, 時空間スパイク活性の特異値を用いた新しいプルーニング基準を提案し, 冗長カーネルのより正確な除去を実現する。 大規模な実験により、ベースラインに2つの提案された手法を統合することで、QP-SNNは最先端の性能と効率を達成でき、エッジインテリジェンスコンピューティングにおけるSNNの展開を強化する可能性を示している。

関連論文リスト

• Q-SNNs: Quantized Spiking Neural Networks [12.719590949933105]
  スパイキングニューラルネットワーク(SNN)はスパーススパイクを利用して情報を表現し、イベント駆動方式で処理する。 シナプス重みと膜電位の両方に量子化を適用する軽量でハードウェアフレンドリな量子化SNNを提案する。 本稿では,情報エントロピー理論にインスパイアされた新しいウェイトスパイクデュアルレギュレーション(WS-DR)法を提案する。
  論文  参考訳（メタデータ） (2024-06-19T16:23:26Z)
• DNN Partitioning, Task Offloading, and Resource Allocation in Dynamic Vehicular Networks: A Lyapunov-Guided Diffusion-Based Reinforcement Learning Approach [49.56404236394601]
  本稿では,Vehicular Edge Computingにおける共同DNNパーティショニング,タスクオフロード,リソース割り当ての問題を定式化する。 我々の目標は、時間とともにシステムの安定性を保証しながら、DNNベースのタスク完了時間を最小化することである。 拡散モデルの革新的利用を取り入れたマルチエージェント拡散に基づく深層強化学習(MAD2RL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-11T06:31:03Z)
• LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network through Spatial-Temporal Compressive Network Search and Joint Optimization [48.41286573672824]
  スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。 本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitE-SNNという新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-26T05:23:11Z)
• Hardware-Aware DNN Compression via Diverse Pruning and Mixed-Precision Quantization [1.0235078178220354]
  本稿では, プルーニングと量子化を併用してハードウェアに配慮したディープニューラルネットワーク(DNN)の自動圧縮フレームワークを提案する。 われわれのフレームワークはデータセットの平均エネルギー消費量を39%減らし、平均精度損失を1.7%減らし、最先端のアプローチを著しく上回っている。
  論文  参考訳（メタデータ） (2023-12-23T18:50:13Z)
• Brain-Inspired Efficient Pruning: Exploiting Criticality in Spiking Neural Networks [8.178274786227723]
  スパイキングニューラルネットワーク (SNN) はエネルギー効率と乗算自由特性のために注目されている。 既存のSNNプルーニング法は,SNNのスパーススパイク表現の処理効率が低いため,高いプルーニングコストと性能損失を引き起こす。 特徴伝達におけるニューロン臨界度を評価するための低コストな指標を提案し,この臨界度をプルーニングプロセスに組み込んだプルーニング再生法を設計する。
  論文  参考訳（メタデータ） (2023-11-05T12:20:29Z)
• The Hardware Impact of Quantization and Pruning for Weights in Spiking Neural Networks [0.368986335765876]
  パラメータの量子化とプルーニングは、モデルサイズを圧縮し、メモリフットプリントを削減し、低レイテンシ実行を容易にする。 本研究では,身近な身近なジェスチャー認識システムであるSNNに対して,孤立度,累積的に,そして同時にプルーニングと量子化の様々な組み合わせについて検討する。 本研究では,3次重みまで精度の低下に悩まされることなく,攻撃的パラメータ量子化に対処可能であることを示す。
  論文  参考訳（メタデータ） (2023-02-08T16:25:20Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• tinySNN: Towards Memory- and Energy-Efficient Spiking Neural Networks [14.916996986290902]
  スパイキングニューラルネットワーク(SNN)モデルは、高い精度を提供できるため、一般的に好適である。 しかし、資源とエネルギーを制約した組込みプラットフォームにそのようなモデルを適用することは非効率である。 本稿では,SNN処理のメモリおよびエネルギー要求を最適化する小型SNNフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-17T09:40:40Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。