論文の概要: Gaining the Sparse Rewards by Exploring Lottery Tickets in Spiking Neural Network
- arxiv url: http://arxiv.org/abs/2309.13302v3
- Date: Thu, 28 Mar 2024 02:24:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-29 21:53:04.675334
- Title: Gaining the Sparse Rewards by Exploring Lottery Tickets in Spiking Neural Network
- Title（参考訳）: スパイクニューラルネットワークにおけるロッキーティケット探索によるスパースリワード獲得
- Authors: Hao Cheng, Jiahang Cao, Erjia Xiao, Mengshu Sun, Renjing Xu,
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)よりも低レイテンシで低エネルギーな性質のため、有望なソリューションを提供する。
本稿では, スパイキング型LT (SLTs) について検討し, その特性と極端な効率性について検討した。
Patch Embedding Projection (ConvPEP)モジュールに畳み込み操作を組み込んだスパイキングトランスフォーマー構造に適したスパースアルゴリズムが提案されている。
- 参考スコア（独自算出の注目度）: 8.210103222339784
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deploying energy-efficient deep learning algorithms on computational-limited devices, such as robots, is still a pressing issue for real-world applications. Spiking Neural Networks (SNNs), a novel brain-inspired algorithm, offer a promising solution due to their low-latency and low-energy properties over traditional Artificial Neural Networks (ANNs). Despite their advantages, the dense structure of deep SNNs can still result in extra energy consumption. The Lottery Ticket Hypothesis (LTH) posits that within dense neural networks, there exist winning Lottery Tickets (LTs), namely sub-networks, that can be obtained without compromising performance. Inspired by this, this paper delves into the spiking-based LTs (SLTs), examining their unique properties and potential for extreme efficiency. Then, two significant sparse \textbf{\textit{Rewards}} are gained through comprehensive explorations and meticulous experiments on SLTs across various dense structures. Moreover, a sparse algorithm tailored for spiking transformer structure, which incorporates convolution operations into the Patch Embedding Projection (ConvPEP) module, has been proposed to achieve Multi-level Sparsity (MultiSp). MultiSp refers to (1) Patch number sparsity; (2) ConvPEP weights sparsity and binarization; and (3) ConvPEP activation layer binarization. Extensive experiments demonstrate that our method achieves extreme sparsity with only a slight performance decrease, paving the way for deploying energy-efficient neural networks in robotics and beyond.
- Abstract（参考訳）: ロボットのような計算能力に制限されたデバイスにエネルギー効率の高いディープラーニングアルゴリズムをデプロイすることは、現実世界のアプリケーションにとって依然として重要な問題である。
新しい脳にインスパイアされたアルゴリズムであるSpking Neural Networks(SNN)は、従来のニューラルネットワーク(ANN)よりも低レイテンシで低エネルギーな性質のため、有望なソリューションを提供する。
これらの利点にもかかわらず、深いSNNの高密度構造は依然として余分なエネルギー消費をもたらす。
Lottery Ticket hypothesis (LTH) は、高密度ニューラルネットワークには、勝利したLottery Tickets(LT)、すなわちサブネットワークが存在し、性能を損なうことなく得られることを仮定している。
そこで本論文は, スパイク系LT (SLT) に着想を得て, それらの特性と極端な効率性の可能性について検討した。
次に, 様々な密度構造を横断するSLTの包括的探索と精巧な実験により, 2つの重要なスパースが得られた。
さらに,マルチレベルスパシティ(MultiSp)を実現するために,畳み込み操作をPatch Embedding Projection(ConvPEP)モジュールに組み込んだスパークスアルゴリズムが提案されている。
MultiSp は(1) パッチ数間隔、(2) ConvPEP はスパーシリティとバイナライゼーションを重み付け、(3) ConvPEP 活性化層バイナライゼーションを指す。
大規模な実験により,本手法は性能をわずかに低下させることで,ロボット工学などにおけるエネルギー効率のよいニューラルネットワークの展開方法の確立を図っている。
関連論文リスト
- NEPENTHE: Entropy-Based Pruning as a Neural Network Depth's Reducer [5.373015313199385]
深層ニューラルネットワークの計算負担を軽減するため,nEural Network depTHのrEducerとしてeNtropy-basEdプルーニングを提案する。
我々はMobileNetやSwin-Tといった一般的なアーキテクチャに対するアプローチを検証する。
論文 参考訳（メタデータ） (2024-04-24T09:12:04Z) - Fully Spiking Actor Network with Intra-layer Connections for
Reinforcement Learning [51.386945803485084]
エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。
既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。
浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
論文 参考訳（メタデータ） (2024-01-09T07:31:34Z) - Pursing the Sparse Limitation of Spiking Deep Learning Structures [42.334835610250714]
スパイキングニューラルネットワーク(SNN)はその優れた計算とエネルギー効率のために注目を集めている。
重量とパッチレベルの当選チケットを同時に識別できる革新的なアルゴリズムを提案する。
我々は, モデル構造が極めて疎い場合でも, スパイキング抽選券が同等あるいは優れた性能を達成できることを実証した。
論文 参考訳（メタデータ） (2023-11-18T17:00:40Z) - SpikingJelly: An open-source machine learning infrastructure platform
for spike-based intelligence [51.6943465041708]
スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。
我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
論文 参考訳（メタデータ） (2023-10-25T13:15:17Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳（メタデータ） (2022-08-08T03:13:24Z) - Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。
本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
論文 参考訳（メタデータ） (2021-02-08T05:55:47Z) - Real-time Multi-Task Diffractive Deep Neural Networks via
Hardware-Software Co-design [1.6066483376871004]
本研究は,d$2$nnsでロバストかつノイズ耐性のあるマルチタスク学習を実現する,新しいハードウェアソフトウェア共同設計手法を提案する。
私たちの実験結果は、汎用性とハードウェア効率の大幅な改善を示し、提案されたマルチタスクD$2$NNアーキテクチャの堅牢性を実証します。
論文 参考訳（メタデータ） (2020-12-16T12:29:54Z) - BiSNN: Training Spiking Neural Networks with Binary Weights via Bayesian
Learning [37.376989855065545]
Spiking Neural Networks(SNN)は、エネルギー効率を高める生物学的にインスパイアされたダイナミックなイベント駆動モデルです。
時間的にスパースなバイナリアクティベーションとバイナリ重みの利点を組み合わせたSNNモデルが導入された。
実験は、フル精度実装に関するパフォーマンス損失を検証します。
論文 参考訳（メタデータ） (2020-12-15T14:06:36Z) - ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。
本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
論文 参考訳（メタデータ） (2020-06-28T23:09:27Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z) - A Spike in Performance: Training Hybrid-Spiking Neural Networks with
Quantized Activation Functions [6.574517227976925]
Spiking Neural Network(SNN)は、エネルギー効率の高いコンピューティングに対する有望なアプローチである。
我々は、非スパイキングネットワークをSNNに変換する際に、最先端の精度を維持する方法を示す。
論文 参考訳（メタデータ） (2020-02-10T05:24:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。