論文の概要: Multi-level Binarized LSTM in EEG Classification for Wearable Devices

• arxiv url: http://arxiv.org/abs/2004.11206v1
• Date: Sun, 19 Apr 2020 17:48:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-12 00:44:35.581491
• Title: Multi-level Binarized LSTM in EEG Classification for Wearable Devices
• Title（参考訳）: ウェアラブルデバイスにおける脳波分類における多レベル二値LSTM
• Authors: Najmeh Nazari, Seyed Ahmad Mirsalari, Sima Sinaei, Mostafa E. Salehi, Masoud Daneshtalab
• Abstract要約: LSTM(Long Short-Term Memory)は、様々なシーケンシャルなアプリケーションで広く使われている。 バイナリLSTMはこの問題に対処するために導入されたが、脳波分類などのいくつかの応用において、かなりの精度の損失をもたらす。 計算量を著しく削減し,完全精度のLSTMにかなり近い精度で精度を確保できる,効率的なマルチレベル二値化LSTMを提案する。
• 参考スコア（独自算出の注目度）: 0.31498833540989407
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long Short-Term Memory (LSTM) is widely used in various sequential applications. Complex LSTMs could be hardly deployed on wearable and resourced-limited devices due to the huge amount of computations and memory requirements. Binary LSTMs are introduced to cope with this problem, however, they lead to significant accuracy loss in some application such as EEG classification which is essential to be deployed in wearable devices. In this paper, we propose an efficient multi-level binarized LSTM which has significantly reduced computations whereas ensuring an accuracy pretty close to full precision LSTM. By deploying 5-level binarized weights and inputs, our method reduces area and delay of MAC operation about 31* and 27* in 65nm technology, respectively with less than 0.01% accuracy loss. In contrast to many compute-intensive deep-learning approaches, the proposed algorithm is lightweight, and therefore, brings performance efficiency with accurate LSTM-based EEG classification to real-time wearable devices.
• Abstract（参考訳）: 長期短期記憶(lstm)は様々なシーケンシャルアプリケーションで広く使われている。 複雑なLSTMは、大量の計算とメモリ要求のため、ウェアラブルやリソース制限のあるデバイスにはほとんどデプロイできない。 バイナリLSTMはこの問題に対処するために導入されたが、ウェアラブルデバイスにデプロイするために必要なEEG分類など、いくつかのアプリケーションにおいて、かなりの精度の損失をもたらす。 本稿では,完全精度のLSTMにかなり近い精度で精度を確保しつつ,計算処理を大幅に削減した効率的なマルチレベルバイナライズLSTMを提案する。 5段階の重みと入力を配置することで、65nm技術におけるmac動作の面積と遅延を、それぞれ0.01%未満の精度損失で約31*と27*削減する。 多くの計算集約的なディープラーニングアプローチとは対照的に、提案アルゴリズムは軽量であり、LSTMベースの正確なEEG分類による性能効率をリアルタイムウェアラブルデバイスにもたらす。

関連論文リスト

• Progressive Mixed-Precision Decoding for Efficient LLM Inference [49.05448842542558]
  我々は,デコーディングのメモリバウンドネスに対処するために,プログレッシブ・ミックス・プレシジョン・デコーディング(PMPD)を導入する。 PMPDはfp16モデルの行列ベクトル乗算において1.4$-$12.2$times$ Speedupを達成する。 我々の手法は、fp16モデルよりも3.8$-$8.0$times$、均一量子化アプローチよりも1.54$times$のスループット向上をもたらす。
  論文  参考訳（メタデータ） (2024-10-17T11:46:33Z)
• VecLSTM: Trajectory Data Processing and Management for Activity Recognition through LSTM Vectorization and Database Integration [1.1701842638497677]
  VecLSTMは、LSTMベースのニューラルネットワークの性能と効率を高める新しいフレームワークである。 VecLSTMはベクトル化層を導入し、最適化された数学的演算を利用して入力シーケンスをより効率的に処理する。
  論文  参考訳（メタデータ） (2024-09-28T06:22:44Z)
• ShiftAddLLM: Accelerating Pretrained LLMs via Post-Training Multiplication-Less Reparameterization [13.622268474310918]
  ShiftAddLLMは大規模言語モデルの効率的な乗算自由モデルである。 5.6および22.7ポイントのパープレキシティ改善を同等または低いレイテンシで達成する。 5つのLLMファミリーと8つのタスクの実験は、ShiftAddLLMの有効性を一貫して検証している。
  論文  参考訳（メタデータ） (2024-06-10T02:47:55Z)
• SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [67.67135738642547]
  後学習量子化(PTQ)は、大規模言語モデル(LLM)において研究される強力な圧縮手法である。 既存のPTQ法は、特に4ビット幅以下では、精度と効率の点で理想的ではない。 本稿では,LSM,すなわちSliM-LLMに対するSalience-Driven Mixed-Precision Quantizationスキームを提案する。
  論文  参考訳（メタデータ） (2024-05-23T16:21:48Z)
• DB-LLM: Accurate Dual-Binarization for Efficient LLMs [83.70686728471547]
  大規模言語モデル(LLM)は自然言語処理の分野を著しく進歩させてきた。 既存の超低ビット量子化は、常に深刻な精度低下を引き起こす。 本稿では,LLM,すなわちDB-LLMのための新しいデュアルバイナライズ手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T09:04:30Z)
• Extreme-Long-short Term Memory for Time-series Prediction [0.0]
  Long Short-Term Memory (LSTM)は、新しいタイプのリカレントニューラルネットワーク(RNN)である 本稿では,高度なLSTMアルゴリズムであるExtreme Long Short-Term Memory (E-LSTM)を提案する。 新しいE-LSTMは、7番目のエポックなLSTMの結果を得るためには2エポックしか必要としない。
  論文  参考訳（メタデータ） (2022-10-15T09:45:48Z)
• Braille Letter Reading: A Benchmark for Spatio-Temporal Pattern Recognition on Neuromorphic Hardware [50.380319968947035]
  近年の深層学習手法は,そのようなタスクにおいて精度が向上しているが,従来の組込みソリューションへの実装は依然として計算量が非常に高く,エネルギーコストも高い。 文字読み込みによるエッジにおける触覚パターン認識のための新しいベンチマークを提案する。 フィードフォワードとリカレントスパイキングニューラルネットワーク(SNN)を、サロゲート勾配の時間によるバックプロパゲーションを用いてオフラインでトレーニングし比較し、効率的な推論のためにIntel Loihimorphicチップにデプロイした。 LSTMは14%の精度で繰り返しSNNより優れており、Loihi上での繰り返しSNNは237倍のエネルギーである。
  論文  参考訳（メタデータ） (2022-05-30T14:30:45Z)
• Single-Shot Optical Neural Network [55.41644538483948]
  深層ニューラルネットワークに必要な計算資源を削減するために,「重定常」アナログ光学・電子ハードウェアが提案されている。 我々は、スケーラブルで1層当たり単発の重み付き光学プロセッサを提案する。
  論文  参考訳（メタデータ） (2022-05-18T17:49:49Z)
• Mixed Precision Low-bit Quantization of Neural Network Language Models for Speech Recognition [67.95996816744251]
  長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。 現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。 本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
  論文  参考訳（メタデータ） (2021-11-29T12:24:02Z)
• MuBiNN: Multi-Level Binarized Recurrent Neural Network for EEG signal Classification [0.34410212782758043]
  本稿では,計算量を大幅に削減し,完全精度のLSTMにかなり近い精度を確保した多段二項化LSTMを提案する。 本手法は3ビットLSTMセル動作47*の遅延を0.01%未満の精度で低減する。
  論文  参考訳（メタデータ） (2020-04-19T17:24:43Z)
• Non-Volatile Memory Array Based Quantization- and Noise-Resilient LSTM Neural Networks [1.5332481598232224]
  本稿では,LSTMモデルへの量子化対応学習アルゴリズムの適用に焦点を当てる。 4ビットのNVM重みと4ビットのADC/DACしか必要とせず、浮動小数点点のベースラインとして同等のLSTMネットワーク性能が得られることを示した。 提案したLSTM加速器のベンチマーク解析により、従来のデジタル手法に比べて少なくとも2.4倍の計算効率と40倍の面積効率が得られた。
  論文  参考訳（メタデータ） (2020-02-25T02:59:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。