論文の概要: Extreme-Long-short Term Memory for Time-series Prediction

• arxiv url: http://arxiv.org/abs/2210.08244v1
• Date: Sat, 15 Oct 2022 09:45:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 20:13:02.058848
• Title: Extreme-Long-short Term Memory for Time-series Prediction
• Title（参考訳）: 時系列予測のための極長短期記憶
• Authors: Sida Xing, Feihu Han, Suiyang Khoo
• Abstract要約: Long Short-Term Memory (LSTM)は、新しいタイプのリカレントニューラルネットワーク(RNN)である 本稿では,高度なLSTMアルゴリズムであるExtreme Long Short-Term Memory (E-LSTM)を提案する。 新しいE-LSTMは、7番目のエポックなLSTMの結果を得るためには2エポックしか必要としない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The emergence of Long Short-Term Memory (LSTM) solves the problems of vanishing gradient and exploding gradient in traditional Recurrent Neural Networks (RNN). LSTM, as a new type of RNN, has been widely used in various fields, such as text prediction, Wind Speed Forecast, depression prediction by EEG signals, etc. The results show that improving the efficiency of LSTM can help to improve the efficiency in other application areas. In this paper, we proposed an advanced LSTM algorithm, the Extreme Long Short-Term Memory (E-LSTM), which adds the inverse matrix part of Extreme Learning Machine (ELM) as a new "gate" into the structure of LSTM. This "gate" preprocess a portion of the data and involves the processed data in the cell update of the LSTM to obtain more accurate data with fewer training rounds, thus reducing the overall training time. In this research, the E-LSTM model is used for the text prediction task. Experimental results showed that the E-LSTM sometimes takes longer to perform a single training round, but when tested on a small data set, the new E-LSTM requires only 2 epochs to obtain the results of the 7th epoch traditional LSTM. Therefore, the E-LSTM retains the high accuracy of the traditional LSTM, whilst also improving the training speed and the overall efficiency of the LSTM.
• Abstract（参考訳）: LSTM(Long Short-Term Memory)の出現は、従来のリカレントニューラルネットワーク(RNN)における勾配の消滅と爆発的勾配の問題を解決する。 LSTMは新しいタイプのRNNとして、テキスト予測、風速予測、EEG信号による抑うつ予測など様々な分野で広く使われている。 その結果,LSTMの効率性の向上は,他の応用分野の効率性向上に役立つことがわかった。 本稿では,高度LSTMアルゴリズムであるExtreme Long Short-Term Memory (E-LSTM)を提案する。 この「ゲート」はデータの一部を前処理し、lstmのセル更新で処理されたデータを伴い、より少ないトレーニングラウンドでより正確なデータを得るため、全体のトレーニング時間を短縮する。 本研究では,E-LSTMモデルを用いてテキスト予測を行う。 実験の結果、e-lstmは1回のトレーニングラウンドを行うのに時間がかかることがあったが、小さなデータセットでテストする場合、新しいe-lstmは7回目のlstmの結果を得るのに2つのエポックしか必要としなかった。 したがって、E-LSTMは従来のLSTMの高精度を維持しつつ、LSTMのトレーニング速度と全体的な効率を改善している。

関連論文リスト

• VecLSTM: Trajectory Data Processing and Management for Activity Recognition through LSTM Vectorization and Database Integration [1.1701842638497677]
  VecLSTMは、LSTMベースのニューラルネットワークの性能と効率を高める新しいフレームワークである。 VecLSTMはベクトル化層を導入し、最適化された数学的演算を利用して入力シーケンスをより効率的に処理する。
  論文  参考訳（メタデータ） (2024-09-28T06:22:44Z)
• Unlocking the Power of LSTM for Long Term Time Series Forecasting [27.245021350821638]
  本稿では, sLSTM 上に実装したP-sLSTM という単純なアルゴリズムを提案する。 これらの改良により、TSFにおけるsLSTMの性能が大幅に向上し、最先端の結果が得られた。
  論文  参考訳（メタデータ） (2024-08-19T13:59:26Z)
• Kernel Corrector LSTM [1.034961673489652]
  我々は、cLSTMのメタラーナーをより単純な方法で置き換える新しいRW-MLアルゴリズムであるKernel Corrector LSTM(KcLSTM)を提案する。 我々は,新しいアルゴリズムの予測精度とトレーニング時間を実験的に評価し,cLSTMとLSTMと比較した。
  論文  参考訳（メタデータ） (2024-04-28T18:44:10Z)
• Bayesian Neural Network Language Modeling for Speech Recognition [59.681758762712754]
  長期記憶リカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端のニューラルネットワーク言語モデル(NNLM)は非常に複雑になりつつある。 本稿では,LSTM-RNN と Transformer LM の基盤となる不確実性を考慮するために,ベイズ学習フレームワークの全体構造を提案する。
  論文  参考訳（メタデータ） (2022-08-28T17:50:19Z)
• Working Memory Connections for LSTM [51.742526187978726]
  ワーキングメモリ接続は,様々なタスクにおけるLSTMの性能を常に向上することを示す。 数値的な結果は、細胞状態がゲート構造に含まれる価値のある情報を含んでいることを示唆している。
  論文  参考訳（メタデータ） (2021-08-31T18:01:30Z)
• Learning representations with end-to-end models for improved remaining useful life prognostics [64.80885001058572]
  残りの設備の実用寿命(RUL)は、現在の時刻と故障までの期間として定義される。 マルチ層パーセプトロンと長期メモリ層(LSTM)に基づくエンドツーエンドのディープラーニングモデルを提案し、RULを予測する。 提案するエンド・ツー・エンドのモデルがこのような優れた結果を達成し、他のディープラーニングや最先端の手法と比較する方法について論じる。
  論文  参考訳（メタデータ） (2021-04-11T16:45:18Z)
• Automatic Remaining Useful Life Estimation Framework with Embedded Convolutional LSTM as the Backbone [5.927250637620123]
  組込み畳み込みLSTM(E NeuralTM)と呼ばれる新しいLSTM変種を提案する。 ETMでは、異なる1次元の畳み込みの群がLSTM構造に埋め込まれている。 RUL推定のために広く用いられているいくつかのベンチマークデータセットに対する最先端のアプローチよりも,提案したEMMアプローチの方が優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-10T08:34:20Z)
• Future Vector Enhanced LSTM Language Model for LVCSR [67.03726018635174]
  本稿では,将来ベクトルを用いた拡張長短期メモリ(LSTM)LMを提案する。 実験の結果,提案したLSTM LMはBLEUスコアよりも長期のシーケンス予測に有効であることがわかった。 新たなLSTM LMと従来のLSTM LMを併用することで,単語誤り率を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2020-07-31T08:38:56Z)
• Object Tracking through Residual and Dense LSTMs [67.98948222599849]
  LSTM(Long Short-Term Memory)リカレントニューラルネットワークに基づくディープラーニングベースのトラッカーが、強力な代替手段として登場した。 DenseLSTMはResidualおよびRegular LSTMより優れ、ニュアンセに対する高いレジリエンスを提供する。 ケーススタディは、他のトラッカーの堅牢性を高めるために残差ベースRNNの採用を支援する。
  論文  参考訳（メタデータ） (2020-06-22T08:20:17Z)
• Sentiment Analysis Using Simplified Long Short-term Memory Recurrent Neural Networks [1.5146765382501612]
  GOPディベートTwitterデータセット上で感情分析を行う。 学習を高速化し、計算コストと時間を短縮するために、LSTMモデルのスリムバージョンを6つの異なるパラメータで削減する手法を提案する。
  論文  参考訳（メタデータ） (2020-05-08T12:50:10Z)
• High-Accuracy and Low-Latency Speech Recognition with Two-Head Contextual Layer Trajectory LSTM Model [46.34788932277904]
  我々は,高精度かつ低遅延自動音声認識のための従来のハイブリッドLSTM音響モデルの改良を行った。 高い精度を達成するために、時間的モデリングとターゲット分類タスクを分離する文脈層トラジェクトリLSTM(cltLSTM)を用いる。 シーケンスレベルの教師学生学習による学習戦略をさらに改善する。
  論文  参考訳（メタデータ） (2020-03-17T00:52:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。