論文の概要: Optimizing the Consumption of Spiking Neural Networks with Activity Regularization

• arxiv url: http://arxiv.org/abs/2204.01460v1
• Date: Mon, 4 Apr 2022 13:19:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-05 16:29:46.199051
• Title: Optimizing the Consumption of Spiking Neural Networks with Activity Regularization
• Title（参考訳）: 活動正規化によるスパイクニューラルネットワークの消費最適化
• Authors: Simon Narduzzi, Siavash A. Bigdeli, Shih-Chii Liu, L. Andrea Dunbar
• Abstract要約: スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、二元活性化を用いてエネルギーを節約し、スパイクしないときにエネルギーを消費しないバイオインスパイアされた技術の例である。 本研究では、ニューラルネットワークの活性化マップに疎結合を強制するための異なる手法を検討し、最適化されたDNNとSNNの効率に対する異なるトレーニング正規化器の効果を比較する。
• 参考スコア（独自算出の注目度）: 15.317534913990633
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reducing energy consumption is a critical point for neural network models running on edge devices. In this regard, reducing the number of multiply-accumulate (MAC) operations of Deep Neural Networks (DNNs) running on edge hardware accelerators will reduce the energy consumption during inference. Spiking Neural Networks (SNNs) are an example of bio-inspired techniques that can further save energy by using binary activations, and avoid consuming energy when not spiking. The networks can be configured for equivalent accuracy on a task through DNN-to-SNN conversion frameworks but their conversion is based on rate coding therefore the synaptic operations can be high. In this work, we look into different techniques to enforce sparsity on the neural network activation maps and compare the effect of different training regularizers on the efficiency of the optimized DNNs and SNNs.
• Abstract（参考訳）: エッジデバイス上で動作するニューラルネットワークモデルにとって、エネルギー消費の削減は重要なポイントである。 この点において、エッジハードウェアアクセラレーター上で動作するディープニューラルネットワーク(DNN)の乗算累積(MAC)演算数の削減は、推論時のエネルギー消費を減少させる。 スパイクニューラルネットワーク(snn)は、二元活性化を利用してさらにエネルギーを節約し、スパイクしないときにエネルギーを消費しないバイオインスパイア技術の例である。 ネットワークは、DNN-to-SNN変換フレームワークを介してタスク上で等価な精度で設定できるが、変換はレート符号化に基づくため、シナプス演算は高い。 本研究では,ニューラルネットワークのアクティベーションマップにスパーシティを強制する様々な手法を検討し,最適化されたdnnとsnsの効率性に対する異なるトレーニングレギュレータの効果を比較した。

関連論文リスト

• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• Exploiting Heterogeneity in Timescales for Sparse Recurrent Spiking Neural Networks for Energy-Efficient Edge Computing [16.60622265961373]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングの最前線である。 本稿では,SNNのパフォーマンスに革命をもたらす3つの画期的な研究をまとめる。
  論文  参考訳（メタデータ） (2024-07-08T23:33:12Z)
• On Reducing Activity with Distillation and Regularization for Energy Efficient Spiking Neural Networks [0.19999259391104385]
  スパイクニューラルネットワーク(SNN)への関心は着実に増加しており、フォーマルニューラルネットワーク(FNN)に代わるエネルギー効率の高い代替品として期待されている。 本稿では,SNN訓練における知識蒸留(KD)を活用して,性能とスパイク活動のトレードオフを最適化することを提案する。
  論文  参考訳（メタデータ） (2024-06-26T13:51:57Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• A Faster Approach to Spiking Deep Convolutional Neural Networks [0.0]
  スパイキングニューラルネットワーク(SNN)は、現在のディープニューラルネットワークよりも脳に近いダイナミクスを持つ。 ネットワークのランタイムと精度を改善するために,従来の作業に基づくネットワーク構造を提案する。
  論文  参考訳（メタデータ） (2022-10-31T16:13:15Z)
• Energy-Efficient Deployment of Machine Learning Workloads on Neuromorphic Hardware [0.11744028458220425]
  ディープラーニングハードウェアアクセラレータがいくつかリリースされ、ディープニューラルネットワーク(DNN)が消費する電力と面積の削減に特化している。 個別の時系列データで動作するスパイクニューラルネットワーク(SNN)は、特殊なニューロモルフィックイベントベース/非同期ハードウェアにデプロイすると、大幅な電力削減を実現することが示されている。 本研究では,事前学習したDNNをSNNに変換するための一般的なガイドを提供するとともに,ニューロモルフィックハードウェア上でのSNNの展開を改善するためのテクニックも提示する。
  論文  参考訳（メタデータ） (2022-10-10T20:27:19Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• ActNN: Reducing Training Memory Footprint via 2-Bit Activation Compressed Training [68.63354877166756]
  ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。 ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-04-29T05:50:54Z)
• ShiftAddNet: A Hardware-Inspired Deep Network [87.18216601210763]
  ShiftAddNetはエネルギー効率のよい乗算レスディープニューラルネットワークである。 エネルギー効率のよい推論とトレーニングの両方につながるが、表現能力は損なわれない。 ShiftAddNetは、DNNのトレーニングと推論において、80%以上のハードウェア量子化されたエネルギーコストを積極的に削減し、同等またはより良い精度を提供する。
  論文  参考訳（メタデータ） (2020-10-24T05:09:14Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Effective and Efficient Computation with Multiple-timescale Spiking Recurrent Neural Networks [0.9790524827475205]
  本稿では,新しいタイプの適応スパイクリカレントニューラルネットワーク(SRNN)が,最先端の性能を実現する方法を示す。 我々は、従来のRNNよりも難しいタスクにおいて、SRNNの100倍のエネルギー改善を計算します。
  論文  参考訳（メタデータ） (2020-05-24T01:04:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。