論文の概要: LiteLSTM Architecture Based on Weights Sharing for Recurrent Neural
Networks
- arxiv url: http://arxiv.org/abs/2301.04794v1
- Date: Thu, 12 Jan 2023 03:39:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-13 14:45:16.665227
- Title: LiteLSTM Architecture Based on Weights Sharing for Recurrent Neural
Networks
- Title(参考訳): リカレントニューラルネットワークの重み共有に基づくLiteLSTMアーキテクチャ
- Authors: Nelly Elsayed, Zag ElSayed, Anthony S. Maida
- Abstract要約: 長期記憶(Long Short-term memory、LSTM)は、シーケンシャルデータを学習するための堅牢なリカレントニューラルネットワークアーキテクチャの1つである。
本稿では,LiteLSTMアーキテクチャを提案する。
提案したLiteLSTMは、計算予算を小さくしながら、他の最先端のリカレントアーキテクチャに匹敵する精度を持つ。
- 参考スコア(独自算出の注目度): 1.1602089225841632
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long short-term memory (LSTM) is one of the robust recurrent neural network
architectures for learning sequential data. However, it requires considerable
computational power to learn and implement both software and hardware aspects.
This paper proposed a novel LiteLSTM architecture based on reducing the LSTM
computation components via the weights sharing concept to reduce the overall
architecture computation cost and maintain the architecture performance. The
proposed LiteLSTM can be significant for processing large data where
time-consuming is crucial while hardware resources are limited, such as the
security of IoT devices and medical data processing. The proposed model was
evaluated and tested empirically on three different datasets from the computer
vision, cybersecurity, speech emotion recognition domains. The proposed
LiteLSTM has comparable accuracy to the other state-of-the-art recurrent
architecture while using a smaller computation budget.
- Abstract(参考訳): 長い短期記憶(LSTM)は、シーケンシャルデータを学習するための堅牢なリカレントニューラルネットワークアーキテクチャの1つである。
しかし、ソフトウェアとハードウェアの両方の側面を学び実装するには、かなりの計算能力が必要です。
本稿では,LiteLSTMアーキテクチャを提案する。LiteLSTMアーキテクチャは,アーキテクチャ全体の計算コストを削減し,アーキテクチャ性能を維持するために,重み共有の概念を用いてLSTM計算コンポーネントを削減する。
提案されたLiteLSTMは、IoTデバイスのセキュリティや医療データ処理といったハードウェアリソースが制限されている間に、時間を要する大規模なデータを処理する上で重要である。
提案モデルは,コンピュータビジョン,サイバーセキュリティ,音声感情認識ドメインの3つの異なるデータセットを用いて評価および実験を行った。
提案したLiteLSTMは、計算予算を小さくしながら、他の最先端のリカレントアーキテクチャに匹敵する精度を持つ。
関連論文リスト
- Algorithm and Hardware Co-Design of Energy-Efficient LSTM Networks for
Video Recognition with Hierarchical Tucker Tensor Decomposition [22.502146009817416]
長期記憶(Long Short-term memory、LSTM)は、シーケンス解析やモデリングアプリケーションで広く使われている強力なディープニューラルネットワークである。
本稿では,高性能エネルギー効率LSTMネットワークに向けたアルゴリズムとハードウェアの共同設計を提案する。
論文 参考訳(メタデータ) (2022-12-05T05:51:56Z) - Neural Architecture Search for Improving Latency-Accuracy Trade-off in
Split Computing [5.516431145236317]
スプリットコンピューティングは、IoTシステムにディープラーニングをデプロイする際のプライバシとレイテンシの問題に対処する、新たな機械学習推論技術である。
スプリットコンピューティングでは、ニューラルネットワークモデルは、エッジサーバとIoTデバイスをネットワークを介して分離し、協調的に処理される。
本稿ではスプリットコンピューティングのためのニューラルアーキテクチャサーチ(NAS)手法を提案する。
論文 参考訳(メタデータ) (2022-08-30T03:15:43Z) - LiteLSTM Architecture for Deep Recurrent Neural Networks [1.1602089225841632]
LSTM(Longtemporal short-term memory)は、データを学習するための堅牢なリカレントニューラルネットワークアーキテクチャである。
本稿では,重み共有の概念を用いてLSTMのコンポーネントを削減した新しいLiteLSTMアーキテクチャを提案する。
提案されたLiteLSTMは、時間消費が重要となるビッグデータの学習に有用である。
論文 参考訳(メタデータ) (2022-01-27T16:33:02Z) - Improving Deep Learning for HAR with shallow LSTMs [70.94062293989832]
本稿では,DeepConvLSTMを2層LSTMではなく1層LSTMに変更することを提案する。
この結果は、シーケンシャルデータを扱う場合、少なくとも2層LSTMが必要であるという信念とは対照的である。
論文 参考訳(メタデータ) (2021-08-02T08:14:59Z) - Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。
実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。
ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
論文 参考訳(メタデータ) (2021-03-15T12:54:26Z) - MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。
我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。
我々は精度-速度トレードオフの観点から最先端の結果を得る。
論文 参考訳(メタデータ) (2020-09-29T11:56:01Z) - Object Tracking through Residual and Dense LSTMs [67.98948222599849]
LSTM(Long Short-Term Memory)リカレントニューラルネットワークに基づくディープラーニングベースのトラッカーが、強力な代替手段として登場した。
DenseLSTMはResidualおよびRegular LSTMより優れ、ニュアンセに対する高いレジリエンスを提供する。
ケーススタディは、他のトラッカーの堅牢性を高めるために残差ベースRNNの採用を支援する。
論文 参考訳(メタデータ) (2020-06-22T08:20:17Z) - Sentiment Analysis Using Simplified Long Short-term Memory Recurrent
Neural Networks [1.5146765382501612]
GOPディベートTwitterデータセット上で感情分析を行う。
学習を高速化し、計算コストと時間を短縮するために、LSTMモデルのスリムバージョンを6つの異なるパラメータで削減する手法を提案する。
論文 参考訳(メタデータ) (2020-05-08T12:50:10Z) - One-step regression and classification with crosspoint resistive memory
arrays [62.997667081978825]
高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。
ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。
結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
論文 参考訳(メタデータ) (2020-05-05T08:00:07Z) - Stage-Wise Neural Architecture Search [65.03109178056937]
ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。
これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。
各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。
しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
論文 参考訳(メタデータ) (2020-04-23T14:16:39Z) - Near-Optimal Hardware Design for Convolutional Neural Networks [0.0]
本研究では,畳み込みニューラルネットワークのための新しい,特殊目的,高効率ハードウェアアーキテクチャを提案する。
提案アーキテクチャは,モデルの計算フローと同じ構造を持つ計算回路を設計することにより,乗算器の利用を最大化する。
提案するハードウェアアーキテクチャに基づく実装が,商用AI製品に適用されている。
論文 参考訳(メタデータ) (2020-02-06T09:15:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。