論文の概要: Toward Efficient Deep Spiking Neuron Networks:A Survey On Compression
- arxiv url: http://arxiv.org/abs/2407.08744v1
- Date: Mon, 3 Jun 2024 15:11:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-22 13:48:17.424071
- Title: Toward Efficient Deep Spiking Neuron Networks:A Survey On Compression
- Title（参考訳）: ディープスパイクニューロンネットワークの効率化に向けて:圧縮に関する調査研究
- Authors: Hui Xie, Ge Yang, Wenjuan Gao,
- Abstract要約: Deep Spiking Neural Networks (DSNN) は、Deep Artificial Neural Networks (DANN) よりも大きなパワーアドバンテージを提供する。
DSNNは時間情報の処理に優れており、DANNと比較して時間データの処理に優れている可能性がある。
しかし、その深いネットワーク構造と多くのパラメータは計算コストとエネルギー消費を増大させ、実際の展開を制限する。
- 参考スコア（独自算出の注目度）: 3.437878496181133
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the rapid development of deep learning, Deep Spiking Neural Networks (DSNNs) have emerged as promising due to their unique spike event processing and asynchronous computation. When deployed on neuromorphic chips, DSNNs offer significant power advantages over Deep Artificial Neural Networks (DANNs) and eliminate time and energy consuming multiplications due to the binary nature of spikes (0 or 1). Additionally, DSNNs excel in processing temporal information, making them potentially superior for handling temporal data compared to DANNs. However, their deep network structure and numerous parameters result in high computational costs and energy consumption, limiting real-life deployment. To enhance DSNNs efficiency, researchers have adapted methods from DANNs, such as pruning, quantization, and knowledge distillation, and developed specific techniques like reducing spike firing and pruning time steps. While previous surveys have covered DSNNs algorithms, hardware deployment, and general overviews, focused research on DSNNs compression and efficiency has been lacking. This survey addresses this gap by concentrating on efficient DSNNs and their compression methods. It begins with an exploration of DSNNs' biological background and computational units, highlighting differences from DANNs. It then delves into various compression methods, including pruning, quantization, knowledge distillation, and reducing spike firing, and concludes with suggestions for future research directions.
- Abstract（参考訳）: ディープラーニングの急速な発展に伴い、Deep Spiking Neural Networks(DSNN)は、独自のスパイクイベント処理と非同期計算のために、有望な存在として現れている。
ニューロモルフィックチップにデプロイすると、DSNNはディープ・ニューラル・ニューラルネットワーク(DANN)よりも大きなパワーアドバンテージを提供し、スパイク(0または1)のバイナリの性質による時間とエネルギー消費の乗算をなくす。
さらに、DSNNは時間情報の処理に優れており、DANNよりも時間データの処理に優れている可能性がある。
しかし、その深いネットワーク構造と多くのパラメータは計算コストとエネルギー消費を増大させ、実際の展開を制限する。
DSNNの効率を高めるために、研究者は、プルーニング、量子化、知識蒸留といったDANNの手法を応用し、スパイクシューティングやプルーニングタイムステップの削減のような特定の技術を開発した。
以前の調査では、DSNNのアルゴリズム、ハードウェアデプロイメント、一般的な概要をカバーしていたが、DSNNの圧縮と効率性についての研究は欠如している。
本研究では,効率的なDSNNとその圧縮手法に集中することで,このギャップを解消する。
DSNNの生物学的背景と計算単位の探索から始まり、DANNとの違いを強調している。
その後、プルーニング、量子化、知識の蒸留、スパイク発火の低減など様々な圧縮手法を練り込み、今後の研究の方向性を示唆した。
関連論文リスト
- Temporal Spiking Neural Networks with Synaptic Delay for Graph Reasoning [91.29876772547348]
スパイキングニューラルネットワーク(SNN)は、生物学的にインスパイアされたニューラルネットワークモデルとして研究されている。
本稿では,SNNがシナプス遅延と時間符号化とを併用すると,グラフ推論の実行(知識)に長けていることを明らかにする。
論文 参考訳（メタデータ） (2024-05-27T05:53:30Z) - To Spike or Not To Spike: A Digital Hardware Perspective on Deep
Learning Acceleration [4.712922151067433]
ディープラーニングモデルがスケールするにつれて、コンピュータビジョンから自然言語処理まで、ドメイン間の競争が激化する。
生物学的脳のパワー効率は、大規模深層学習(DL)モデルよりも優れている。
ニューロモルフィックコンピューティングは、DLモデルの効率を改善するために、脳の操作を模倣しようとする。
論文 参考訳（メタデータ） (2023-06-27T19:04:00Z) - Spiking Neural Network for Ultra-low-latency and High-accurate Object
Detection [18.037802439500858]
スパイキングニューラルネットワーク(SNN)は、そのエネルギー効率と脳にインスパイアされたイベント駆動特性に対する幅広い関心を集めている。
Spiking-YOLOのような最近の手法では、SNNをより困難なオブジェクト検出タスクに拡張している。
レイテンシが高く、検出精度が低いため、レイテンシに敏感なモバイルプラットフォームへのデプロイが困難になることが多い。
論文 参考訳（メタデータ） (2023-06-21T04:21:40Z) - Multi-Level Firing with Spiking DS-ResNet: Enabling Better and Deeper
Directly-Trained Spiking Neural Networks [19.490903216456758]
スパイキングニューラルネットワーク(SNN)は、非同期離散性とスパース特性を持つニューラルネットワークである。
既存のスパイキング抑制残差ネットワーク(Spiking DS-ResNet)に基づくマルチレベル焼成(MLF)手法を提案する。
論文 参考訳（メタデータ） (2022-10-12T16:39:46Z) - Deep Reinforcement Learning with Spiking Q-learning [51.386945803485084]
スパイクニューラルネットワーク(SNN)は、少ないエネルギー消費で人工知能(AI)を実現することが期待されている。
SNNと深部強化学習(RL)を組み合わせることで、現実的な制御タスクに有望なエネルギー効率の方法を提供する。
論文 参考訳（メタデータ） (2022-01-21T16:42:11Z) - Training Energy-Efficient Deep Spiking Neural Networks with
Time-to-First-Spike Coding [29.131030799324844]
スパイキングニューラルネットワーク(SNN)は人間の脳の動作を模倣する。
ディープラーニングでは、ディープニューラルネットワーク(DNN)が深刻な問題になっている。
本稿では,TTFS符号化を用いたエネルギー効率の高い深部SNNの学習手法を提案する。
論文 参考訳（メタデータ） (2021-06-04T16:02:27Z) - Deep Time Delay Neural Network for Speech Enhancement with Full Data
Learning [60.20150317299749]
本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。
トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
論文 参考訳（メタデータ） (2020-11-11T06:32:37Z) - Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。
DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。
コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
論文 参考訳（メタデータ） (2020-06-30T14:56:05Z) - You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference
to ANN-Level Accuracy [51.861168222799186]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。
SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。
本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
論文 参考訳（メタデータ） (2020-06-03T15:55:53Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z) - T2FSNN: Deep Spiking Neural Networks with Time-to-first-spike Coding [26.654533157221973]
本稿では,カーネルベースの動的しきい値とデンドライトを用いて,深層SNNにタイム・ツー・ファースト・スパイク・コーディングを組み込むことによって,その欠点を克服する手法を提案する。
提案手法は,バースト符号化法と比較して,推定遅延とスパイク回数を22%,1%以下に削減できる。
論文 参考訳（メタデータ） (2020-03-26T04:39:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。