論文の概要: Lottery Ticket Hypothesis for Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2207.01382v1
• Date: Mon, 4 Jul 2022 13:02:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-05 22:13:58.236941
• Title: Lottery Ticket Hypothesis for Spiking Neural Networks
• Title（参考訳）: スパイクニューラルネットワークのための抽選チケット仮説
• Authors: Youngeun Kim, Yuhang Li, Hyoungseob Park, Yeshwanth Venkatesha, Ruokai Yin, and Priyadarshini Panda
• Abstract要約: Spiking Neural Networks(SNN)は、バイナリスパイクが複数のタイムステップにまたがる情報を伝達する、次世代の低電力ディープニューラルネットワークとして登場した。 より少ない時間ステップから重要なウェイト・コネクティビティを見つける早期時間(ET)チケットを提案する。 実験の結果,提案するETチケットはIMP法やEB法と比較して検索時間を最大38%削減できることがわかった。
• 参考スコア（独自算出の注目度）: 9.494176507095176
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking Neural Networks (SNNs) have recently emerged as a new generation of low-power deep neural networks where binary spikes convey information across multiple timesteps. Pruning for SNNs is highly important as they become deployed on a resource-constraint mobile/edge device. The previous SNN pruning works focus on shallow SNNs (2~6 layers), however, deeper SNNs (>16 layers) are proposed by state-of-the-art SNN works, which is difficult to be compatible with the current pruning work. To scale up a pruning technique toward deep SNNs, we investigate Lottery Ticket Hypothesis (LTH) which states that dense networks contain smaller subnetworks (i.e., winning tickets) that achieve comparable performance to the dense networks. Our studies on LTH reveal that the winning tickets consistently exist in deep SNNs across various datasets and architectures, providing up to 97% sparsity without huge performance degradation. However, the iterative searching process of LTH brings a huge training computational cost when combined with the multiple timesteps of SNNs. To alleviate such heavy searching cost, we propose Early-Time (ET) ticket where we find the important weight connectivity from a smaller number of timesteps. The proposed ET ticket can be seamlessly combined with common pruning techniques for finding winning tickets, such as Iterative Magnitude Pruning (IMP) and Early-Bird (EB) tickets. Our experiment results show that the proposed ET ticket reduces search time by up to 38% compared to IMP or EB methods.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、最近、バイナリスパイクが複数のタイムステップにまたがる情報を伝達する、次世代の低電力ディープニューラルネットワークとして登場した。 SNNのプルーニングは、リソース制約のあるモバイル/エッジデバイスにデプロイされるため、非常に重要である。 従来のSNNプルーニング作業は浅いSNN(2～6層)に焦点を当てていたが,現状のSNN作業ではより深いSNN(>16層)が提案されている。 ディープSNNに向けてのプルーニング手法をスケールアップするために、高密度ネットワークは高密度ネットワークと同等の性能を達成する小さなサブネット(すなわち、入賞チケット)を含むことを述べるロッティ・ティケット仮説(LTH)を調査する。 LTHに関する我々の研究によると、入賞チケットは様々なデータセットやアーキテクチャの深いSNNに一貫して存在し、パフォーマンスの大幅な劣化なしに最大97%のスパシティを提供する。 しかし、LTHの反復探索プロセスは、SNNの複数のタイムステップと組み合わせることで、膨大なトレーニング計算コストをもたらす。 このような検索コストを軽減するために,我々は,より少ない時間ステップで重要な重み付け接続を求める早期チケットを提案する。 提案したETチケットは,イテレーティブ・マグニチュード・プルーニング(IMP)やアーリーバード(EB)チケットといった,勝利チケットを見つけるための一般的なプルーニング手法とシームレスに組み合わせることができる。 実験の結果,提案するETチケットはIMPやEBに比べて検索時間を最大38%削減できることがわかった。

関連論文リスト

• NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
  我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。 我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。 さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
  論文  参考訳（メタデータ） (2024-08-28T02:17:58Z)
• Pursing the Sparse Limitation of Spiking Deep Learning Structures [42.334835610250714]
  スパイキングニューラルネットワーク(SNN)はその優れた計算とエネルギー効率のために注目を集めている。 重量とパッチレベルの当選チケットを同時に識別できる革新的なアルゴリズムを提案する。 我々は, モデル構造が極めて疎い場合でも, スパイキング抽選券が同等あるいは優れた性能を達成できることを実証した。
  論文  参考訳（メタデータ） (2023-11-18T17:00:40Z)
• Rethinking Residual Connection in Training Large-Scale Spiking Neural Networks [10.286425749417216]
  スパイキングニューラルネットワーク(SNN)は、最も有名な脳にインスパイアされたモデルとして知られている。 非微分可能なスパイク機構により、大規模SNNの訓練が困難になる。
  論文  参考訳（メタデータ） (2023-11-09T06:48:29Z)
• LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks with TTFS Coding [55.64533786293656]
  我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。 この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
  論文  参考訳（メタデータ） (2023-10-23T14:26:16Z)
• Uncovering the Representation of Spiking Neural Networks Trained with Surrogate Gradient [11.0542573074431]
  スパイキングニューラルネットワーク (SNN) は、その生物の楽観性とエネルギー効率のため、次世代ニューラルネットワークの候補として認識されている。 近年、SNNは、代理勾配トレーニングを用いて、画像認識タスクにおいて、ほぼ最先端のパフォーマンスを達成できることを示した。
  論文  参考訳（メタデータ） (2023-04-25T19:08:29Z)
• SuperTickets: Drawing Task-Agnostic Lottery Tickets from Supernets via Jointly Architecture Searching and Parameter Pruning [35.206651222618675]
  本稿では,効率的なディープニューラルネットワーク(DNN)とその宝くじ(宝くじ)のための2対1のトレーニング手法を提案する。 我々は、従来のスパーストレーニングよりも精度と効率のトレードオフを達成し、プログレッシブで統一されたスーパーチケット識別戦略を開発する。
  論文  参考訳（メタデータ） (2022-07-08T03:44:34Z)
• SNN2ANN: A Fast and Memory-Efficient Training Framework for Spiking Neural Networks [117.56823277328803]
  スパイクニューラルネットワークは、低消費電力環境における効率的な計算モデルである。 本稿では,SNNを高速かつメモリ効率で学習するためのSNN-to-ANN(SNN2ANN)フレームワークを提案する。 実験結果から,SNN2ANNをベースとしたモデルがベンチマークデータセットで良好に動作することが示された。
  論文  参考訳（メタデータ） (2022-06-19T16:52:56Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。 DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。 コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
  論文  参考訳（メタデータ） (2020-06-30T14:56:05Z)
• You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。 本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
  論文  参考訳（メタデータ） (2020-06-03T15:55:53Z)
• SiamSNN: Siamese Spiking Neural Networks for Energy-Efficient Object Tracking [20.595208488431766]
  SiamSNNは、視覚オブジェクト追跡ベンチマークであるTB2013, VOT2016, GOT-10kにおいて、短いレイテンシと低い精度の損失を達成する最初のディープSNNトラッカーである。 SiamSNNは、ニューロモルフィックチップTrueNorth上で低エネルギー消費とリアルタイムを実現する。
  論文  参考訳（メタデータ） (2020-03-17T08:49:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。