論文の概要: Saving RNN Computations with a Neuron-Level Fuzzy Memoization Scheme
- arxiv url: http://arxiv.org/abs/2202.06563v1
- Date: Mon, 14 Feb 2022 09:02:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-16 03:30:56.920555
- Title: Saving RNN Computations with a Neuron-Level Fuzzy Memoization Scheme
- Title（参考訳）: ニューロンレベルファジィメモリ化方式によるRNN計算の省力化
- Authors: Franyell Silfa, Jose-Maria Arnau, Antonio Gonz\'alez
- Abstract要約: リカレントニューラルネットワーク(Recurrent Neural Networks, RNN)は、音声認識や機械翻訳などのアプリケーションにおいて重要な技術である。
我々は,各ニューロンの出力を動的にキャッシュし,現在の出力が以前計算された結果に類似すると予測されたときに再利用する,ニューロンレベルのファジィメモ化スキームを構築した。
提案手法は26.7%以上の計算を回避し、21%の省エネと1.4倍の高速化を実現している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recurrent Neural Networks (RNNs) are a key technology for applications such
as automatic speech recognition or machine translation. Unlike conventional
feed-forward DNNs, RNNs remember past information to improve the accuracy of
future predictions and, therefore, they are very effective for sequence
processing problems.
For each application run, recurrent layers are executed many times for
processing a potentially large sequence of inputs (words, images, audio frames,
etc.). In this paper, we observe that the output of a neuron exhibits small
changes in consecutive invocations.~We exploit this property to build a
neuron-level fuzzy memoization scheme, which dynamically caches each neuron's
output and reuses it whenever it is predicted that the current output will be
similar to a previously computed result, avoiding in this way the output
computations.
The main challenge in this scheme is determining whether the new neuron's
output for the current input in the sequence will be similar to a recently
computed result. To this end, we extend the recurrent layer with a much simpler
Bitwise Neural Network (BNN), and show that the BNN and RNN outputs are highly
correlated: if two BNN outputs are very similar, the corresponding outputs in
the original RNN layer are likely to exhibit negligible changes. The BNN
provides a low-cost and effective mechanism for deciding when fuzzy memoization
can be applied with a small impact on accuracy.
We evaluate our memoization scheme on top of a state-of-the-art accelerator
for RNNs, for a variety of different neural networks from multiple application
domains. We show that our technique avoids more than 26.7\% of computations,
resulting in 21\% energy savings and 1.4x speedup on average.
- Abstract（参考訳）: リカレントニューラルネットワーク(RNN)は,音声認識や機械翻訳などのアプリケーションにおいて重要な技術である。
従来のフィードフォワードDNNとは異なり、RNNは過去の情報を記憶して将来の予測精度を向上させるため、シーケンス処理問題に非常に効果的である。
各アプリケーション実行毎に、潜在的に大きな入力シーケンス(ワード、画像、オーディオフレームなど)を処理するために、繰り返し実行されるレイヤが何度も実行される。
本稿では,ニューロンの出力が連続的な呼び出しの変化が少ないことを観察する。
これにより、各ニューロンの出力を動的にキャッシュし、現在の出力が以前計算された結果と似ていると予測されたときに再利用し、この方法で出力計算を避けることができる。
このスキームの主な課題は、新しいニューロンの現在の入力に対する出力が、最近計算された結果と似ているかどうかを決定することである。
この目的のために、リカレント層をより単純なビットワイズニューラルネットワーク(BNN)で拡張し、BNNとRNNの出力が高い相関関係にあることを示す。
BNNは、ファジィメモ化を精度に小さな影響を与えることなく適用できるかどうかを決定するための低コストで効果的なメカニズムを提供する。
我々は,複数のアプリケーションドメインからのさまざまなニューラルネットワークに対して,RNNの最先端アクセラレータ上でのメモ化方式を評価する。
提案手法は26.7 %以上の計算を回避し,21 % の省エネ,平均1.4 倍の高速化を実現している。
関連論文リスト
- Accurate Mapping of RNNs on Neuromorphic Hardware with Adaptive Spiking Neurons [2.9410174624086025]
我々は、SigmaDelta$-low-pass RNN(lpRNN)を、レートベースのRNNをスパイクニューラルネットワーク(SNN)にマッピングするために提示する。
適応スパイキングニューロンモデルは、$SigmaDelta$-modulationを使って信号を符号化し、正確なマッピングを可能にする。
我々は、Intelのニューロモルフィック研究チップLoihiにおけるlpRNNの実装を実演する。
論文 参考訳（メタデータ） (2024-07-18T14:06:07Z) - Use of Parallel Explanatory Models to Enhance Transparency of Neural Network Configurations for Cell Degradation Detection [18.214293024118145]
我々は,ニューラルネットワークの内部動作を照らし,理解するための並列モデルを構築している。
RNNの各層が入力分布を変換して検出精度を高める方法を示す。
同時に、精度の向上を制限するために作用する副作用も発見する。
論文 参考訳（メタデータ） (2024-04-17T12:22:54Z) - Sparse Spiking Neural Network: Exploiting Heterogeneity in Timescales
for Pruning Recurrent SNN [19.551319330414085]
スパイキングニューラルネットワーク(RSNN)は、計算的に効率的で脳に触発された学習モデルとして登場した。
伝統的に、スパースSNNは、まずターゲットタスクのために密度が高く複雑なSNNを訓練することによって得られる。
本稿では,大きめのランダムモデルを用いて,スパースRSNNを設計するためのタスク依存手法を提案する。
論文 参考訳（メタデータ） (2024-03-06T02:36:15Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳（メタデータ） (2022-06-15T17:58:34Z) - AEGNN: Asynchronous Event-based Graph Neural Networks [54.528926463775946]
イベントベースのグラフニューラルネットワークは、標準のGNNを一般化して、イベントを"進化的"時間グラフとして処理する。
AEGNNは同期入力で容易に訓練でき、テスト時に効率的な「非同期」ネットワークに変換できる。
論文 参考訳（メタデータ） (2022-03-31T16:21:12Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - iRNN: Integer-only Recurrent Neural Network [0.8766022970635899]
精度の高い整数専用リカレントニューラルネットワーク(iRNN)を得るための量子化学習法を提案する。
当社のiRNNは、フル精度のものと同等のパフォーマンスを維持しており、スマートフォンへの展開により、ランタイムのパフォーマンスが2倍、モデルサイズが4倍に向上しています。
論文 参考訳（メタデータ） (2021-09-20T20:17:40Z) - Spike time displacement based error backpropagation in convolutional
spiking neural networks [0.6193838300896449]
本稿では,STiDi-BPアルゴリズムを拡張し,より深く,畳み込み型アーキテクチャに応用する。
MNISTとFashion-MNISTの2つのベンチマークに基づく画像分類タスクの評価結果から,このアルゴリズムが深部SNNに適用可能であることを確認した。
後進パスで更新される実数値重みと、フィードフォワードプロセスで使用される2値重みと、その記号と2値重みの2つの重みを持つ畳み込みSNNを考える。
論文 参考訳（メタデータ） (2021-08-31T05:18:59Z) - ActNN: Reducing Training Memory Footprint via 2-Bit Activation
Compressed Training [68.63354877166756]
ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。
ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
論文 参考訳（メタデータ） (2021-04-29T05:50:54Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。