論文の概要: LiteLSTM Architecture for Deep Recurrent Neural Networks
- arxiv url: http://arxiv.org/abs/2201.11624v1
- Date: Thu, 27 Jan 2022 16:33:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-28 14:07:52.069306
- Title: LiteLSTM Architecture for Deep Recurrent Neural Networks
- Title(参考訳): ディープリカレントニューラルネットワークのためのLiteLSTMアーキテクチャ
- Authors: Nelly Elsayed, Zag ElSayed, Anthony S. Maida
- Abstract要約: LSTM(Longtemporal short-term memory)は、データを学習するための堅牢なリカレントニューラルネットワークアーキテクチャである。
本稿では,重み共有の概念を用いてLSTMのコンポーネントを削減した新しいLiteLSTMアーキテクチャを提案する。
提案されたLiteLSTMは、時間消費が重要となるビッグデータの学習に有用である。
- 参考スコア(独自算出の注目度): 1.1602089225841632
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long short-term memory (LSTM) is a robust recurrent neural network
architecture for learning spatiotemporal sequential data. However, it requires
significant computational power for learning and implementing from both
software and hardware aspects. This paper proposes a novel LiteLSTM
architecture based on reducing the computation components of the LSTM using the
weights sharing concept to reduce the overall architecture cost and maintain
the architecture performance. The proposed LiteLSTM can be significant for
learning big data where time-consumption is crucial such as the security of IoT
devices and medical data. Moreover, it helps to reduce the CO2 footprint. The
proposed model was evaluated and tested empirically on two different datasets
from computer vision and cybersecurity domains.
- Abstract(参考訳): LSTM(Long Short-term memory)は、時空間シーケンシャルデータを学習するための堅牢なリカレントニューラルネットワークアーキテクチャである。
しかし、ソフトウェアとハードウェアの両方の側面から学び、実装するには、かなりの計算能力が必要です。
本稿では,LiteLSTMアーキテクチャを提案する。LiteLSTMアーキテクチャはアーキテクチャ全体のコスト削減とアーキテクチャ性能の維持を目的として,軽量化の概念を用いてLSTMの計算成分を削減する。
提案されたLiteLSTMは、IoTデバイスや医療データのセキュリティなど、時間消費が不可欠であるビッグデータを学習するために重要である。
さらに、CO2フットプリントの削減にも役立ちます。
提案モデルはコンピュータビジョンとサイバーセキュリティドメインの2つの異なるデータセット上で評価および実証的にテストされた。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳(メタデータ) (2024-10-29T19:02:54Z) - Implementation Guidelines and Innovations in Quantum LSTM Networks [2.938337278931738]
本稿では,従来のLSTMネットワークに量子コンピューティングの原理を統合する量子LSTMモデルの理論的解析と実装計画を提案する。
シーケンシャルなデータ処理を強化するための実際のアーキテクチャとその実践的効果は、今後の研究で開発され、実証される。
論文 参考訳(メタデータ) (2024-06-13T10:26:14Z) - LiteLSTM Architecture Based on Weights Sharing for Recurrent Neural
Networks [1.1602089225841632]
長期記憶(Long Short-term memory、LSTM)は、シーケンシャルデータを学習するための堅牢なリカレントニューラルネットワークアーキテクチャの1つである。
本稿では,LiteLSTMアーキテクチャを提案する。
提案したLiteLSTMは、計算予算を小さくしながら、他の最先端のリカレントアーキテクチャに匹敵する精度を持つ。
論文 参考訳(メタデータ) (2023-01-12T03:39:59Z) - Algorithm and Hardware Co-Design of Energy-Efficient LSTM Networks for
Video Recognition with Hierarchical Tucker Tensor Decomposition [22.502146009817416]
長期記憶(Long Short-term memory、LSTM)は、シーケンス解析やモデリングアプリケーションで広く使われている強力なディープニューラルネットワークである。
本稿では,高性能エネルギー効率LSTMネットワークに向けたアルゴリズムとハードウェアの共同設計を提案する。
論文 参考訳(メタデータ) (2022-12-05T05:51:56Z) - Improving Deep Learning for HAR with shallow LSTMs [70.94062293989832]
本稿では,DeepConvLSTMを2層LSTMではなく1層LSTMに変更することを提案する。
この結果は、シーケンシャルデータを扱う場合、少なくとも2層LSTMが必要であるという信念とは対照的である。
論文 参考訳(メタデータ) (2021-08-02T08:14:59Z) - Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。
実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。
ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
論文 参考訳(メタデータ) (2021-03-15T12:54:26Z) - A journey in ESN and LSTM visualisations on a language task [77.34726150561087]
我々は,CSL(Cross-Situationnal Learning)タスクでESNとLSTMを訓練した。
その結果, 性能比較, 内部力学解析, 潜伏空間の可視化の3種類が得られた。
論文 参考訳(メタデータ) (2020-12-03T08:32:01Z) - Object Tracking through Residual and Dense LSTMs [67.98948222599849]
LSTM(Long Short-Term Memory)リカレントニューラルネットワークに基づくディープラーニングベースのトラッカーが、強力な代替手段として登場した。
DenseLSTMはResidualおよびRegular LSTMより優れ、ニュアンセに対する高いレジリエンスを提供する。
ケーススタディは、他のトラッカーの堅牢性を高めるために残差ベースRNNの採用を支援する。
論文 参考訳(メタデータ) (2020-06-22T08:20:17Z) - Stacked Bidirectional and Unidirectional LSTM Recurrent Neural Network
for Forecasting Network-wide Traffic State with Missing Values [23.504633202965376]
我々は、RNNベースのモデルに注目し、RNNとその変種を交通予測モデルに組み込む方法を再検討する。
トラフィック状態予測のためのニューラルネットワーク構造の設計を支援するために,スタック型双方向・一方向LSTMネットワークアーキテクチャ(SBU-LSTM)を提案する。
また,LSTM構造(LSTM-I)におけるデータ計算機構を提案する。
論文 参考訳(メタデータ) (2020-05-24T00:17:15Z) - Sentiment Analysis Using Simplified Long Short-term Memory Recurrent
Neural Networks [1.5146765382501612]
GOPディベートTwitterデータセット上で感情分析を行う。
学習を高速化し、計算コストと時間を短縮するために、LSTMモデルのスリムバージョンを6つの異なるパラメータで削減する手法を提案する。
論文 参考訳(メタデータ) (2020-05-08T12:50:10Z) - One-step regression and classification with crosspoint resistive memory
arrays [62.997667081978825]
高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。
ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。
結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
論文 参考訳(メタデータ) (2020-05-05T08:00:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。