論文の概要: Intelligence Processing Units Accelerate Neuromorphic Learning
- arxiv url: http://arxiv.org/abs/2211.10725v1
- Date: Sat, 19 Nov 2022 15:44:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 21:44:13.719464
- Title: Intelligence Processing Units Accelerate Neuromorphic Learning
- Title（参考訳）: 情報処理ユニットがニューロモーフィック学習を加速
- Authors: Pao-Sheng Vincent Sun, Alexander Titterton, Anjlee Gopiani, Tim
Santos, Arindam Basu, Wei D. Lu, and Jason K. Eshraghian
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
- 参考スコア（独自算出の注目度）: 52.952192990802345
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spiking neural networks (SNNs) have achieved orders of magnitude improvement
in terms of energy consumption and latency when performing inference with deep
learning workloads. Error backpropagation is presently regarded as the most
effective method for training SNNs, but in a twist of irony, when training on
modern graphics processing units (GPUs) this becomes more expensive than
non-spiking networks. The emergence of Graphcore's Intelligence Processing
Units (IPUs) balances the parallelized nature of deep learning workloads with
the sequential, reusable, and sparsified nature of operations prevalent when
training SNNs. IPUs adopt multi-instruction multi-data (MIMD) parallelism by
running individual processing threads on smaller data blocks, which is a
natural fit for the sequential, non-vectorized steps required to solve spiking
neuron dynamical state equations. We present an IPU-optimized release of our
custom SNN Python package, snnTorch, which exploits fine-grained parallelism by
utilizing low-level, pre-compiled custom operations to accelerate irregular and
sparse data access patterns that are characteristic of training SNN workloads.
We provide a rigorous performance assessment across a suite of commonly used
spiking neuron models, and propose methods to further reduce training run-time
via half-precision training. By amortizing the cost of sequential processing
into vectorizable population codes, we ultimately demonstrate the potential for
integrating domain-specific accelerators with the next generation of neural
networks.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、ディープラーニングワークロードで推論を実行する際のエネルギー消費とレイテンシの観点から、桁違いに改善されている。
現在、誤りのバックプロパゲーションはSNNのトレーニングにおいて最も効果的な方法と考えられているが、皮肉なことに、現代のグラフィックス処理ユニット(GPU)のトレーニングでは、非スパイクネットワークよりも高価になる。
Graphcoreのインテリジェンス処理ユニット(IPUs)の出現は、ディープラーニングワークロードの並列化特性と、SNNのトレーニングで広く見られる、シーケンシャルで再利用可能な、スパーシフィケーションされた操作特性とをバランスさせる。
IPUは、より小さなデータブロック上で個々の処理スレッドを実行することで、マルチ命令マルチデータ(MIMD)並列性を採用する。
我々は、SNNワークロードのトレーニングに特徴的な不規則でスパースなデータアクセスパターンを高速化するために、低レベルのプリコンパイルされたカスタム操作を活用することで、粒度の並列性を活用するカスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提案する。
本稿では,よく用いられるスパイキングニューロンモデル群を対象とした厳密な性能評価を行い,ハーフ精度トレーニングによる実行時間短縮手法を提案する。
逐次処理のコストをベクトル化可能な集団コードに補正することにより、ドメイン固有の加速器を次世代のニューラルネットワークに統合する可能性を最終的に実証する。
関連論文リスト
- SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural
Networks [56.35403810762512]
イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。
本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
論文 参考訳（メタデータ） (2023-02-01T04:22:59Z) - Training Integer-Only Deep Recurrent Neural Networks [3.1829446824051195]
精度の高い整数専用リカレントニューラルネットワーク(iRNN)を得るための量子化学習法を提案する。
本手法は, 層正規化, 注意, アクティベーション関数の適応的片方向線形(PWL)近似をサポートする。
提案手法により,RNNベースの言語モデルでエッジデバイス上で実行可能である。
論文 参考訳（メタデータ） (2022-12-22T15:22:36Z) - Exact Error Backpropagation Through Spikes for Precise Training of
Spiking Neural Networks [0.0]
スパイキングニューラルネットワーク(SNN)のイベントベースシミュレーションは高速で正確である。
フォワード法による離散化は、勾配降下法でしばしば用いられる。
我々は、SNNのスパイク法により、Fast & Deepをニューロン毎の複数のスパイクに拡張する、新しい正確なエラーバックプロパゲーションを提案する。
論文 参考訳（メタデータ） (2022-12-15T20:18:14Z) - Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。
近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。
本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文 参考訳（メタデータ） (2022-10-09T07:47:56Z) - Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural
Networks on Edge NPUs [74.83613252825754]
スマートエコシステム(Smart ecosystems)は、センサがスタンドアローンではなく同時に発生するように形成されている。
これは、オンプレミスのパラダイムを、エッジに集中型ニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。
そこで本研究では,実行時にサンプルプリエンプションを適用可能な早期実行型スケジューリングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-09-27T15:04:01Z) - Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。
私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。
我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文 参考訳（メタデータ） (2022-09-04T06:45:33Z) - DNN Training Acceleration via Exploring GPGPU Friendly Sparsity [16.406482603838157]
本稿では、従来のランダムなニューロンやシナプスのドロップアウトを、通常のオンラインの行ベースもしくはタイルベースのドロップアウトパターンに置き換える近似ランダムドロップアウトを提案する。
次に,SGDに基づく探索アルゴリズムを開発し,行ベースあるいはタイルベースのドロップアウトパターンの分布を生成し,潜在的な精度損失を補う。
また,入力特徴図をその感度に基づいて動的にドロップアウトし,前向きおよび後向きのトレーニングアクセラレーションを実現するための感度対応ドロップアウト手法を提案する。
論文 参考訳（メタデータ） (2022-03-11T01:32:03Z) - Oscillatory Fourier Neural Network: A Compact and Efficient Architecture
for Sequential Processing [16.69710555668727]
本稿では,コサイン活性化と時系列処理のための時間変化成分を有する新しいニューロンモデルを提案する。
提案したニューロンは、スペクトル領域に逐次入力を投影するための効率的なビルディングブロックを提供する。
IMDBデータセットの感情分析に提案されたモデルを適用すると、5時間以内のテスト精度は89.4%に達する。
論文 参考訳（メタデータ） (2021-09-14T19:08:07Z) - Selfish Sparse RNN Training [13.165729746380816]
本稿では,1回のランでパラメータ数を固定したスパースRNNを,性能を損なうことなく訓練する手法を提案する。
我々はPenn TreeBankとWikitext-2の様々なデータセットを用いて最先端のスパーストレーニング結果を得る。
論文 参考訳（メタデータ） (2021-01-22T10:45:40Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。