論文の概要: Unlocking the Power of LSTM for Long Term Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2408.10006v1
• Date: Mon, 19 Aug 2024 13:59:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-20 16:03:38.472049
• Title: Unlocking the Power of LSTM for Long Term Time Series Forecasting
• Title（参考訳）: 長期連続予測のためのLSTMのパワーアンロック
• Authors: Yaxuan Kong, Zepu Wang, Yuqi Nie, Tian Zhou, Stefan Zohren, Yuxuan Liang, Peng Sun, Qingsong Wen,
• Abstract要約: 本稿では, sLSTM 上に実装したP-sLSTM という単純なアルゴリズムを提案する。 これらの改良により、TSFにおけるsLSTMの性能が大幅に向上し、最先端の結果が得られた。
• 参考スコア（独自算出の注目度）: 27.245021350821638
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traditional recurrent neural network architectures, such as long short-term memory neural networks (LSTM), have historically held a prominent role in time series forecasting (TSF) tasks. While the recently introduced sLSTM for Natural Language Processing (NLP) introduces exponential gating and memory mixing that are beneficial for long term sequential learning, its potential short memory issue is a barrier to applying sLSTM directly in TSF. To address this, we propose a simple yet efficient algorithm named P-sLSTM, which is built upon sLSTM by incorporating patching and channel independence. These modifications substantially enhance sLSTM's performance in TSF, achieving state-of-the-art results. Furthermore, we provide theoretical justifications for our design, and conduct extensive comparative and analytical experiments to fully validate the efficiency and superior performance of our model.
• Abstract（参考訳）: 長期記憶ニューラルネットワーク(LSTM)のような従来のリカレントニューラルネットワークアーキテクチャは、時系列予測(TSF)タスクにおいて歴史的に重要な役割を果たしてきた。 最近導入されたSLSTM for Natural Language Processing (NLP)は、長期連続学習に有用な指数的ゲーティングとメモリ混合を導入しているが、その潜在的な短期記憶問題は、TSFに直接sLSTMを適用するための障壁である。 そこで本稿では,パッチやチャネル独立性を組み込んだsLSTM上に構築した,P-sLSTMという単純なアルゴリズムを提案する。 これらの改良により、TSFにおけるsLSTMの性能が大幅に向上し、最先端の結果が得られた。 さらに, 設計の理論的正当性を提供し, モデルの有効性と優れた性能を十分に検証するために, 広範囲な比較および解析実験を行う。

関連論文リスト

• Beam Prediction based on Large Language Models [51.45077318268427]
  ミリ波(mmWave)通信は次世代無線ネットワークに期待できるが、パス損失は大きい。 長短期記憶(LSTM)のような従来のディープラーニングモデルでは、ビーム追跡精度が向上するが、ロバスト性や一般化が不足している。 本稿では,大規模言語モデル(LLM)を用いて,ビーム予測の堅牢性を向上させる。
  論文  参考訳（メタデータ） (2024-08-16T12:40:01Z)
• Implementation Guidelines and Innovations in Quantum LSTM Networks [2.938337278931738]
  本稿では,従来のLSTMネットワークに量子コンピューティングの原理を統合する量子LSTMモデルの理論的解析と実装計画を提案する。 シーケンシャルなデータ処理を強化するための実際のアーキテクチャとその実践的効果は、今後の研究で開発され、実証される。
  論文  参考訳（メタデータ） (2024-06-13T10:26:14Z)
• HOPE for a Robust Parameterization of Long-memory State Space Models [51.66430224089725]
  線形時間不変(LTI)システムを利用する状態空間モデル(SSM)は、長いシーケンスの学習において有効であることが知られている。 我々は,ハンケル作用素内のマルコフパラメータを利用するLTIシステムに対して,HOPEと呼ばれる新しいパラメータ化手法を開発した。 我々の新しいパラメータ化は、固定時間ウィンドウ内に非遅延メモリを付与し、パッドドノイズのあるシーケンシャルCIFAR-10タスクによって実証的に相関する。
  論文  参考訳（メタデータ） (2024-05-22T20:20:14Z)
• Long Short-term Memory with Two-Compartment Spiking Neuron [64.02161577259426]
  LSTM-LIFとよばれる,生物学的にインスパイアされたLong Short-Term Memory Leaky Integrate-and-Fireのスパイキングニューロンモデルを提案する。 実験結果は,時間的分類タスクの多種多様な範囲において,優れた時間的分類能力,迅速な訓練収束,ネットワークの一般化性,LSTM-LIFモデルの高エネルギー化を実証した。 したがって、この研究は、新しいニューロモルフィック・コンピューティング・マシンにおいて、困難な時間的処理タスクを解決するための、無数の機会を開放する。
  論文  参考訳（メタデータ） (2023-07-14T08:51:03Z)
• Towards Energy-Efficient, Low-Latency and Accurate Spiking LSTMs [1.7969777786551424]
  Spiking Neural Networks(SNN)は、複雑なタスクのための魅力的なテンポラルコンピューティングパラダイムビジョンとして登場した。 そこで本研究では,新規な長期記憶ネットワーク(LSTM)の学習フレームワークを提案する。 rev-to-SNN変換フレームワーク、続いてSNNトレーニング。 我々は、時間的M、Google Speech Commands(GSC)データセット、異なるLSTMアーキテクチャ上のUCIスマートフォンなど、逐次学習タスクに関するフレームワークを評価した。
  論文  参考訳（メタデータ） (2022-10-23T04:10:27Z)
• Extreme-Long-short Term Memory for Time-series Prediction [0.0]
  Long Short-Term Memory (LSTM)は、新しいタイプのリカレントニューラルネットワーク(RNN)である 本稿では,高度なLSTMアルゴリズムであるExtreme Long Short-Term Memory (E-LSTM)を提案する。 新しいE-LSTMは、7番目のエポックなLSTMの結果を得るためには2エポックしか必要としない。
  論文  参考訳（メタデータ） (2022-10-15T09:45:48Z)
• Working Memory Connections for LSTM [51.742526187978726]
  ワーキングメモリ接続は,様々なタスクにおけるLSTMの性能を常に向上することを示す。 数値的な結果は、細胞状態がゲート構造に含まれる価値のある情報を含んでいることを示唆している。
  論文  参考訳（メタデータ） (2021-08-31T18:01:30Z)
• A journey in ESN and LSTM visualisations on a language task [77.34726150561087]
  我々は,CSL(Cross-Situationnal Learning)タスクでESNとLSTMを訓練した。 その結果, 性能比較, 内部力学解析, 潜伏空間の可視化の3種類が得られた。
  論文  参考訳（メタデータ） (2020-12-03T08:32:01Z)
• Quantum Long Short-Term Memory [3.675884635364471]
  LSTM(Long Short-term memory)は、シーケンスおよび時間依存性データモデリングのためのリカレントニューラルネットワーク(RNN)である。 本稿では,QLSTMを疑似化したLSTMのハイブリッド量子古典モデルを提案する。 我々の研究は、ノイズの多い中間スケール量子(NISQ)デバイス上でのシーケンスモデリングのための機械学習アルゴリズムの実装への道を開いた。
  論文  参考訳（メタデータ） (2020-09-03T16:41:09Z)
• Object Tracking through Residual and Dense LSTMs [67.98948222599849]
  LSTM(Long Short-Term Memory)リカレントニューラルネットワークに基づくディープラーニングベースのトラッカーが、強力な代替手段として登場した。 DenseLSTMはResidualおよびRegular LSTMより優れ、ニュアンセに対する高いレジリエンスを提供する。 ケーススタディは、他のトラッカーの堅牢性を高めるために残差ベースRNNの採用を支援する。
  論文  参考訳（メタデータ） (2020-06-22T08:20:17Z)
• Sentiment Analysis Using Simplified Long Short-term Memory Recurrent Neural Networks [1.5146765382501612]
  GOPディベートTwitterデータセット上で感情分析を行う。 学習を高速化し、計算コストと時間を短縮するために、LSTMモデルのスリムバージョンを6つの異なるパラメータで削減する手法を提案する。
  論文  参考訳（メタデータ） (2020-05-08T12:50:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。