論文の概要: Low-Complexity LSTM Training and Inference with FloatSD8 Weight Representation

• arxiv url: http://arxiv.org/abs/2001.08450v1
• Date: Thu, 23 Jan 2020 11:17:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-07 12:39:48.011412
• Title: Low-Complexity LSTM Training and Inference with FloatSD8 Weight Representation
• Title（参考訳）: FloatSD8重み表現を用いた低複雑さLSTMトレーニングと推論
• Authors: Yu-Tung Liu, Tzi-Dar Chiueh
• Abstract要約: FloatSD技術は、低複雑性畳み込みニューラルネットワーク(CNN)のトレーニングと推論において優れた性能を示すことが示されている。 本稿では、FloatSDをリカレントニューラルネットワーク(RNN)、特に長期記憶(LSTM)に適用した。 提案手法は,モデル精度を保ちながら,複数のLSTMモデルをスクラッチからトレーニングできることを示した。
• 参考スコア（独自算出の注目度）: 1.827510863075184
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The FloatSD technology has been shown to have excellent performance on low-complexity convolutional neural networks (CNNs) training and inference. In this paper, we applied FloatSD to recurrent neural networks (RNNs), specifically long short-term memory (LSTM). In addition to FloatSD weight representation, we quantized the gradients and activations in model training to 8 bits. Moreover, the arithmetic precision for accumulations and the master copy of weights were reduced from 32 bits to 16 bits. We demonstrated that the proposed training scheme can successfully train several LSTM models from scratch, while fully preserving model accuracy. Finally, to verify the proposed method's advantage in implementation, we designed an LSTM neuron circuit and showed that it achieved significantly reduced die area and power consumption.
• Abstract（参考訳）: FloatSD技術は、低複雑性畳み込みニューラルネットワーク(CNN)のトレーニングと推論において優れた性能を示すことが示されている。 本稿では,recurrent neural networks(rnns),特にlong short-term memory(lstm)にfloatsdを適用した。 重み表現のフロートに加えて,モデルトレーニングの勾配とアクティベーションを8ビットに定量化した。 さらに,蓄積の演算精度と重みのマスターコピーを32ビットから16ビットに短縮した。 提案手法は,モデル精度を保ちながら,複数のLSTMモデルをスクラッチからトレーニングできることを示した。 最後に,提案手法の実装上の利点を検証するため,LSTMニューロン回路を設計し,ダイス面積と消費電力を大幅に削減した。

関連論文リスト

• TT-SNN: Tensor Train Decomposition for Efficient Spiking Neural Network Training [27.565726483503838]
  スパイキングニューラルネットワーク(TT-SNN)の列車分解について紹介する。 TT-SNNはトレーニング可能な重量分解によってモデルサイズを削減し、ストレージ、FLOP、レイテンシーを削減した。 また,典型的な逐次テンソル計算の代替として並列計算を提案する。
  論文  参考訳（メタデータ） (2024-01-15T23:08:19Z)
• Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。 本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。 BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
  論文  参考訳（メタデータ） (2023-02-28T05:01:01Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Bayesian Neural Network Language Modeling for Speech Recognition [59.681758762712754]
  長期記憶リカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端のニューラルネットワーク言語モデル(NNLM)は非常に複雑になりつつある。 本稿では,LSTM-RNN と Transformer LM の基盤となる不確実性を考慮するために,ベイズ学習フレームワークの全体構造を提案する。
  論文  参考訳（メタデータ） (2022-08-28T17:50:19Z)
• Parameter estimation for WMTI-Watson model of white matter using encoder-decoder recurrent neural network [0.0]
  本研究では,ラットおよびヒト脳のデータセット上でのNLLS,RNN法および多層パーセプトロン(MLP)の性能を評価する。 提案手法は,NLLSよりも計算時間を大幅に短縮できるという利点を示した。
  論文  参考訳（メタデータ） (2022-03-01T16:33:15Z)
• Structured in Space, Randomized in Time: Leveraging Dropout in RNNs for Efficient Training [18.521882534906972]
  我々は,同じ物理ニューロンの集合をバッチ内にドロップアウトし,列(ロー)レベルの隠された状態空間を作り出すことにより,ドロップアウトパターンを構築することを提案する。 PTBデータセットに基づく言語モデリング、IWSLT De-EnデータセットとEn-Viデータセットを用いたOpenNMTベースの機械翻訳、エンティティ認識シーケンスラベリングの3つの代表的なNLPタスクについて実験を行った。
  論文  参考訳（メタデータ） (2021-06-22T22:44:32Z)
• FracTrain: Fractionally Squeezing Bit Savings Both Temporally and Spatially for Efficient DNN Training [81.85361544720885]
  アクティベーション、ウェイト、グラデーションの精度を徐々に高めるプログレッシブ分数量子化を統合したFracTrainを提案します。 FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
  論文  参考訳（メタデータ） (2020-12-24T05:24:10Z)
• Neural networks with late-phase weights [66.72777753269658]
  学習後期に重みのサブセットを組み込むことで,SGDの解をさらに改善できることを示す。 学習の終わりに、重み空間における空間平均を取ることにより、1つのモデルを取得する。
  論文  参考訳（メタデータ） (2020-07-25T13:23:37Z)
• MuBiNN: Multi-Level Binarized Recurrent Neural Network for EEG signal Classification [0.34410212782758043]
  本稿では,計算量を大幅に削減し,完全精度のLSTMにかなり近い精度を確保した多段二項化LSTMを提案する。 本手法は3ビットLSTMセル動作47*の遅延を0.01%未満の精度で低減する。
  論文  参考訳（メタデータ） (2020-04-19T17:24:43Z)
• Shifted and Squeezed 8-bit Floating Point format for Low-Precision Training of Deep Neural Networks [13.929168096016957]
  本研究では,8ビット浮動小数点(FP8)数を用いたディープニューラルネットワークのトレーニング手法を提案する。 ビット精度の低減により、有効メモリが大きくなり、計算速度が向上する。 提案手法は,従来の8ビット精度訓練法と異なり,代表モデルに対して最初から動作可能であることを示す。
  論文  参考訳（メタデータ） (2020-01-16T06:38:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。