論文の概要: Workload-Balanced Pruning for Sparse Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2302.06746v2
• Date: Fri, 22 Mar 2024 19:53:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 04:08:18.520804
• Title: Workload-Balanced Pruning for Sparse Spiking Neural Networks
• Title（参考訳）: スパーススパイクニューラルネットワークのためのワークロードベースプルーニング
• Authors: Ruokai Yin, Youngeun Kim, Yuhang Li, Abhishek Moitra, Nitin Satpute, Anna Hambitzer, Priyadarshini Panda,
• Abstract要約: Pruning for Spiking Neural Networks (SNN)は、リソース制約のあるエッジデバイスにディープSNNをデプロイするための基本的な方法論として登場した。 我々は,LTH(Lottery Ticket hypothesis)に基づくプルーニング中にSNNの重み接続を監視し,調整するu-Ticketを提案する。 実験の結果,U-Ticketは最大100%のハードウェア利用を保証でき,76.9%のレイテンシと63.8%のエネルギーコストを低減できることがわかった。
• 参考スコア（独自算出の注目度）: 22.16634869332639
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pruning for Spiking Neural Networks (SNNs) has emerged as a fundamental methodology for deploying deep SNNs on resource-constrained edge devices. Though the existing pruning methods can provide extremely high weight sparsity for deep SNNs, the high weight sparsity brings a workload imbalance problem. Specifically, the workload imbalance happens when a different number of non-zero weights are assigned to hardware units running in parallel. This results in low hardware utilization and thus imposes longer latency and higher energy costs. In preliminary experiments, we show that sparse SNNs (~98% weight sparsity) can suffer as low as ~59% utilization. To alleviate the workload imbalance problem, we propose u-Ticket, where we monitor and adjust the weight connections of the SNN during Lottery Ticket Hypothesis (LTH) based pruning, thus guaranteeing the final ticket gets optimal utilization when deployed onto the hardware. Experiments indicate that our u-Ticket can guarantee up to 100% hardware utilization, thus reducing up to 76.9% latency and 63.8% energy cost compared to the non-utilization-aware LTH method.
• Abstract（参考訳）: Pruning for Spiking Neural Networks (SNN)は、リソース制約のあるエッジデバイスにディープSNNをデプロイするための基本的な方法論として登場した。 既存の刈り取り法は、深いSNNに対して非常に高い重み空間を与えることができるが、高い重み空間は、作業負荷の不均衡問題を引き起こす。 特に、ワークロードの不均衡は、異なる数の非ゼロ重みが並列に実行されるハードウェアユニットに割り当てられたときに発生する。 これにより、ハードウェア使用率が低くなり、より長いレイテンシとより高いエネルギーコストが課される。 予備実験では, スパースSNN(重量の約98%)が59%の低利用率で悩まされることが判明した。 作業負荷の不均衡問題を解決するために,LTH(Lottery Ticket hypothesis)に基づくプルーニング中にSNNの重み接続を監視・調整するu-Ticketを提案する。 実験の結果,U-Ticketは最大100%のハードウェア利用を保証でき,76.9%のレイテンシと63.8%のエネルギーコストを低減できることがわかった。

関連論文リスト

• OvSW: Overcoming Silent Weights for Accurate Binary Neural Networks [19.41917323210239]
  バイナリニューラルネットワーク(BNN)における重み付け更新の効率性について検討する。 バニラBNNでは、トレーニング中に重量の50%以上が変化していない。 この問題に対処するために、オーバーカム・サイレント・ウェイト(OvSW)を提案する。
  論文  参考訳（メタデータ） (2024-07-07T05:01:20Z)
• Hardware-Aware DNN Compression via Diverse Pruning and Mixed-Precision Quantization [1.0235078178220354]
  本稿では, プルーニングと量子化を併用してハードウェアに配慮したディープニューラルネットワーク(DNN)の自動圧縮フレームワークを提案する。 われわれのフレームワークはデータセットの平均エネルギー消費量を39%減らし、平均精度損失を1.7%減らし、最先端のアプローチを著しく上回っている。
  論文  参考訳（メタデータ） (2023-12-23T18:50:13Z)
• Lottery Ticket Hypothesis for Spiking Neural Networks [9.494176507095176]
  Spiking Neural Networks(SNN)は、バイナリスパイクが複数のタイムステップにまたがる情報を伝達する、次世代の低電力ディープニューラルネットワークとして登場した。 より少ない時間ステップから重要なウェイト・コネクティビティを見つける早期時間(ET)チケットを提案する。 実験の結果,提案するETチケットはIMP法やEB法と比較して検索時間を最大38%削減できることがわかった。
  論文  参考訳（メタデータ） (2022-07-04T13:02:58Z)
• Single-Shot Optical Neural Network [55.41644538483948]
  深層ニューラルネットワークに必要な計算資源を削減するために,「重定常」アナログ光学・電子ハードウェアが提案されている。 我々は、スケーラブルで1層当たり単発の重み付き光学プロセッサを提案する。
  論文  参考訳（メタデータ） (2022-05-18T17:49:49Z)
• Skydiver: A Spiking Neural Network Accelerator Exploiting Spatio-Temporal Workload Balance [2.424736581168104]
  Spi Neural Networks (SNN) は人工ニューラルネットワーク (NIST) の代替として開発されている。 SNNは時間とともにスパースニューロンを発射し、すなわち時間的間隔を保ち、エネルギー効率の良いハードウェア推論を可能にするのに有用である。 本研究では,FPGAをベースとしたSNNアクセラレータSkydiverを提案する。
  論文  参考訳（メタデータ） (2022-03-14T21:52:04Z)
• Pruning Coherent Integrated Photonic Neural Networks Using the Lottery Ticket Hypothesis [8.019317467917109]
  SC-IPNNは、フットプリントが大きく、トレーニングや推論のために高い静的電力消費に悩まされており、従来のプルーニング技術では刈り取られていない。 重みパラメータの最小化によりこれらの課題を緩和する,SC-IPNNのハードウェア対応プルーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-12-14T15:45:14Z)
• Low-Precision Training in Logarithmic Number System using Multiplicative Weight Update [49.948082497688404]
  大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。 エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。 対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
  論文  参考訳（メタデータ） (2021-06-26T00:32:17Z)
• Random and Adversarial Bit Error Robustness: Energy-Efficient and Secure DNN Accelerators [105.60654479548356]
  固定点量子化と重み切り、およびランダムビット誤り訓練(RandBET)の組み合わせにより、量子化DNN重みにおけるランダムビット誤りや逆ビット誤りに対するロバスト性を著しく向上することを示す。 これは低電圧運転のための高省エネと低精度量子化をもたらすが、DNN加速器の安全性も向上する。
  論文  参考訳（メタデータ） (2021-04-16T19:11:14Z)
• Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
  ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。 本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
  論文  参考訳（メタデータ） (2021-02-08T05:55:47Z)
• AdderNet and its Minimalist Hardware Design for Energy-Efficient Artificial Intelligence [111.09105910265154]
  アドラー畳み込みニューラルネットワーク(AdderNet)を用いた新しいミニマリストハードウェアアーキテクチャを提案する。 AdderNet全体の16%の高速化を実現している。 我々は、AdderNetが他の競争相手を追い越せると結論付けている。
  論文  参考訳（メタデータ） (2021-01-25T11:31:52Z)
• Bit Error Robustness for Energy-Efficient DNN Accelerators [93.58572811484022]
  本稿では、ロバストな固定点量子化、重み切り、ランダムビット誤り訓練(RandBET)の組み合わせにより、ランダムビット誤りに対するロバスト性を向上することを示す。 これは低電圧動作と低精度量子化の両方から高エネルギーの節約につながる。
  論文  参考訳（メタデータ） (2020-06-24T18:23:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。