Fugu-MT 論文翻訳(概要): MuBiNN: Multi-Level Binarized Recurrent Neural Network for EEG signal Classification

論文の概要: MuBiNN: Multi-Level Binarized Recurrent Neural Network for EEG signal Classification

arxiv url: http://arxiv.org/abs/2004.08914v1
Date: Sun, 19 Apr 2020 17:24:43 GMT
ステータス: 処理完了
システム内更新日: 2022-12-11 23:57:29.644373
Title: MuBiNN: Multi-Level Binarized Recurrent Neural Network for EEG signal Classification
Title（参考訳）: MuBiNN:脳波信号分類のためのマルチレベル2値リカレントニューラルネットワーク
Authors: Seyed Ahmad Mirsalari, Sima Sinaei, Mostafa E. Salehi, Masoud Daneshtalab
Abstract要約: 本稿では,計算量を大幅に削減し,完全精度のLSTMにかなり近い精度を確保した多段二項化LSTMを提案する。本手法は3ビットLSTMセル動作47*の遅延を0.01%未満の精度で低減する。
参考スコア（独自算出の注目度）: 0.34410212782758043
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recurrent Neural Networks (RNN) are widely used for learning sequences in applications such as EEG classification. Complex RNNs could be hardly deployed on wearable devices due to their computation and memory-intensive processing patterns. Generally, reduction in precision leads much more efficiency and binarized RNNs are introduced as energy-efficient solutions. However, naive binarization methods lead to significant accuracy loss in EEG classification. In this paper, we propose a multi-level binarized LSTM, which significantly reduces computations whereas ensuring an accuracy pretty close to the full precision LSTM. Our method reduces the delay of the 3-bit LSTM cell operation 47* with less than 0.01% accuracy loss.
Abstract（参考訳）: リカレントニューラルネットワーク(Recurrent Neural Networks, RNN)は、脳波分類などのアプリケーションにおける学習シーケンスに広く使われている。複雑なRNNは、計算とメモリ集約処理パターンのため、ウェアラブルデバイスにはほとんどデプロイできない。一般に、精度の低下により効率が大幅に向上し、エネルギー効率のよい解として二項化RNNが導入される。しかし, ナイーブな2値化法では脳波分類の精度が著しく低下する。本稿では,完全精度のLSTMに近い精度を確保しつつ,計算量を著しく削減する多レベル二項化LSTMを提案する。本手法は3ビットLSTMセル動作47*の遅延を0.01%未満の精度で低減する。

関連論文リスト

Bayesian Neural Network Language Modeling for Speech Recognition [59.681758762712754]
長期記憶リカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端のニューラルネットワーク言語モデル(NNLM)は非常に複雑になりつつある。本稿では,LSTM-RNN と Transformer LM の基盤となる不確実性を考慮するために,ベイズ学習フレームワークの全体構造を提案する。
論文参考訳（メタデータ） (2022-08-28T17:50:19Z)
Ultra-low Latency Adaptive Local Binary Spiking Neural Network with Accuracy Loss Estimator [4.554628904670269]
精度損失推定器を用いた超低レイテンシ適応型局所二元スパイクニューラルネットワーク(ALBSNN)を提案する。実験の結果,ネットワークの精度を損なうことなく,ストレージ容量を20%以上削減できることがわかった。
論文参考訳（メタデータ） (2022-07-31T09:03:57Z)
Towards Lossless ANN-SNN Conversion under Ultra-Low Latency with Dual-Phase Optimization [30.098268054714048]
非同期離散イベントで動作するスパイキングニューラルネットワーク(SNN)は、スパース計算によるエネルギー効率の向上を示す。ディープSNNを実装するための一般的なアプローチは、ANNの効率的なトレーニングとSNNの効率的な推論を組み合わせたANN-SNN変換である。本稿では,SNNにおける負または過フロー残留膜電位の誤表現に起因する性能劣化を最初に同定する。そこで我々は,変換誤差を量子化誤差,クリッピング誤差,残留膜電位表現誤差の3つの部分に分解した。
論文参考訳（メタデータ） (2022-05-16T06:53:14Z)
Mixed Precision Low-bit Quantization of Neural Network Language Models for Speech Recognition [67.95996816744251]
長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
論文参考訳（メタデータ） (2021-11-29T12:24:02Z)
Low-bit Quantization of Recurrent Neural Network Language Models Using Alternating Direction Methods of Multipliers [67.688697838109]
本稿では、乗算器の交互方向法(ADMM)を用いて、スクラッチから量子化RNNLMを訓練する新しい手法を提案する。 2つのタスクの実験から、提案されたADMM量子化は、完全な精度ベースライン RNNLM で最大31倍のモデルサイズ圧縮係数を達成したことが示唆された。
論文参考訳（メタデータ） (2021-11-29T09:30:06Z)
Low-Precision Training in Logarithmic Number System using Multiplicative Weight Update [49.948082497688404]
大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
論文参考訳（メタデータ） (2021-06-26T00:32:17Z)
Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文参考訳（メタデータ） (2021-06-18T03:11:15Z)
WrapNet: Neural Net Inference with Ultra-Low-Resolution Arithmetic [57.07483440807549]
ニューラルネットワークをアキュムレータの低分解能(8ビット)加算に適応させ,32ビットのアキュムレータに匹敵する分類精度を実現する手法を提案する。ソフトウェアプラットフォームとハードウェアプラットフォームの両方において、我々のアプローチの有効性を実証する。
論文参考訳（メタデータ） (2020-07-26T23:18:38Z)
Multi-level Binarized LSTM in EEG Classification for Wearable Devices [0.31498833540989407]
LSTM(Long Short-Term Memory)は、様々なシーケンシャルなアプリケーションで広く使われている。バイナリLSTMはこの問題に対処するために導入されたが、脳波分類などのいくつかの応用において、かなりの精度の損失をもたらす。計算量を著しく削減し,完全精度のLSTMにかなり近い精度で精度を確保できる,効率的なマルチレベル二値化LSTMを提案する。
論文参考訳（メタデータ） (2020-04-19T17:48:55Z)
A Spike in Performance: Training Hybrid-Spiking Neural Networks with Quantized Activation Functions [6.574517227976925]
Spiking Neural Network(SNN)は、エネルギー効率の高いコンピューティングに対する有望なアプローチである。我々は、非スパイキングネットワークをSNNに変換する際に、最先端の精度を維持する方法を示す。
論文参考訳（メタデータ） (2020-02-10T05:24:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。