論文の概要: FiLM: Frequency improved Legendre Memory Model for Long-term Time Series
Forecasting
- arxiv url: http://arxiv.org/abs/2205.08897v1
- Date: Wed, 18 May 2022 12:37:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-19 12:49:58.467858
- Title: FiLM: Frequency improved Legendre Memory Model for Long-term Time Series
Forecasting
- Title(参考訳): 長期連続予測のための周波数改善レジェンダメモリモデル
- Authors: Tian Zhou, Ziqing Ma, Xue wang, Qingsong Wen, Liang Sun, Tao Yao, Rong
Jin
- Abstract要約: textbfFrequency textbfimproved textbfLegendre textbfMemory model(bf FiLM)を開発した。
実験により,提案したFiLMは最先端モデルの精度を著しく向上することが示された。
- 参考スコア(独自算出の注目度): 22.821606402558707
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recent studies have shown the promising performance of deep learning models
(e.g., RNN and Transformer) for long-term time series forecasting. These
studies mostly focus on designing deep models to effectively combine historical
information for long-term forecasting. However, the question of how to
effectively represent historical information for long-term forecasting has not
received enough attention, limiting our capacity to exploit powerful deep
learning models. The main challenge in time series representation is how to
handle the dilemma between accurately preserving historical information and
reducing the impact of noisy signals in the past. To this end, we design a
\textbf{F}requency \textbf{i}mproved \textbf{L}egendre \textbf{M}emory model,
or {\bf FiLM} for short: it introduces Legendre Polynomial projections to
preserve historical information accurately and Fourier projections plus
low-rank approximation to remove noisy signals. Our empirical studies show that
the proposed FiLM improves the accuracy of state-of-the-art models by a
significant margin (\textbf{19.2\%}, \textbf{22.6\%}) in multivariate and
univariate long-term forecasting, respectively. In addition, dimensionality
reduction introduced by low-rank approximation leads to a dramatic improvement
in computational efficiency. We also demonstrate that the representation module
developed in this work can be used as a general plug-in to improve the
performance of most deep learning modules for long-term forecasting. Code will
be released soon
- Abstract(参考訳): 近年の研究では、長期連続予測のためのディープラーニングモデル(RNNやTransformerなど)の有望な性能を示している。
これらの研究は主に、長期予測のために歴史的情報を効果的に組み合わせたディープモデルの設計に焦点を当てている。
しかしながら、長期予測のために歴史的情報を効果的に表現する方法については、十分な注意が払われておらず、強力なディープラーニングモデルを活用する能力は限られている。
時系列表現の主な課題は、歴史的情報を正確に保存し、過去のノイズ信号の影響を減らすことでジレンマを処理する方法である。
この目的のために、略して \textbf{f}requency \textbf{i}mproved \textbf{l}egendre \textbf{m}emory model、または {\bf film} を設計する。
実験により,多変量および単変量長期予測において,提案したFiLMは有意なマージン(\textbf{19.2\%}, \textbf{22.6\%})で最先端モデルの精度を向上することが示された。
さらに、低ランク近似によって導入された次元減少は、計算効率を劇的に向上させる。
また,本研究で開発された表現モジュールを汎用的なプラグインとして使用することにより,長期予測のためのディープラーニングモジュールの性能向上を実証する。
コードも間もなくリリースされる
関連論文リスト
- Taming Pre-trained LLMs for Generalised Time Series Forecasting via
Cross-modal Knowledge Distillation [62.46869075841118]
我々はLLaTAと呼ばれる新しい大規模言語モデルと時系列アライメントフレームワークを提案し、時系列予測課題におけるLLMの可能性を完全に解き放つ。
提案手法は, クロスモーダルな知識蒸留に基づいて, 入力に依存しない静的知識と, 事前学習LLMにおける入力依存動的知識の両方を利用する。
論文 参考訳(メタデータ) (2024-03-12T04:04:38Z) - Timer: Transformers for Time Series Analysis at Scale [87.9808714449511]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - The Bigger the Better? Rethinking the Effective Model Scale in Long-term
Time Series Forecasting [57.00348861248051]
時系列予測は時系列分析において重要なフロンティアである。
階層的な分解で拡張された軽量トランスフォーマーであるHDformerを紹介する。
HDformerは既存のLTSFモデルよりも優れており、パラメータは99%以上少ない。
論文 参考訳(メタデータ) (2024-01-22T13:15:40Z) - To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。
本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。
第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
論文 参考訳(メタデータ) (2023-05-22T17:02:15Z) - Split Time Series into Patches: Rethinking Long-term Series Forecasting
with Dateformer [17.454822366228335]
時間は時系列の最も重要な特徴の1つだが、あまり注目されていない。
本稿では、上記のプラクティスに従うのではなく、モデリング時間に注意を向けるDateformerを提案する。
ディザフォーマーは、40%の顕著な相対的な改善で最先端の精度を達成し、最大信頼性予測範囲を半年レベルに拡大する。
論文 参考訳(メタデータ) (2022-07-12T08:58:44Z) - Deep Generative model with Hierarchical Latent Factors for Time Series
Anomaly Detection [40.21502451136054]
本研究は、時系列異常検出のための新しい生成モデルであるDGHLを提示する。
トップダウンの畳み込みネットワークは、新しい階層的な潜在空間を時系列ウィンドウにマッピングし、時間ダイナミクスを利用して情報を効率的にエンコードする。
提案手法は,4つのベンチマーク・データセットにおいて,現在の最先端モデルよりも優れていた。
論文 参考訳(メタデータ) (2022-02-15T17:19:44Z) - Back2Future: Leveraging Backfill Dynamics for Improving Real-time
Predictions in Future [73.03458424369657]
公衆衛生におけるリアルタイム予測では、データ収集は簡単で要求の多いタスクである。
過去の文献では「バックフィル」現象とそのモデル性能への影響についてはほとんど研究されていない。
我々は、与えられたモデルの予測をリアルタイムで洗練することを目的とした、新しい問題とニューラルネットワークフレームワークBack2Futureを定式化する。
論文 参考訳(メタデータ) (2021-06-08T14:48:20Z) - Improved Predictive Deep Temporal Neural Networks with Trend Filtering [22.352437268596674]
本稿では,ディープニューラルネットワークとトレンドフィルタリングに基づく新しい予測フレームワークを提案する。
我々は,学習データをトレンドフィルタリングによって時間的に処理した場合,深部時相ニューラルネットワークの予測性能が向上することを明らかにする。
論文 参考訳(メタデータ) (2020-10-16T08:29:36Z) - Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。
これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。
この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文 参考訳(メタデータ) (2020-02-21T05:00:01Z) - Conditional Mutual information-based Contrastive Loss for Financial Time
Series Forecasting [12.0855096102517]
金融時系列予測のための表現学習フレームワークを提案する。
本稿では、まず時系列データからコンパクトな表現を学習し、次に学習した表現を用いて、時系列の動きを予測するためのより単純なモデルを訓練する。
論文 参考訳(メタデータ) (2020-02-18T15:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。