Fugu-MT 論文翻訳(概要): Two Steps Forward and One Behind: Rethinking Time Series Forecasting with Deep Learning

論文の概要: Two Steps Forward and One Behind: Rethinking Time Series Forecasting with Deep Learning

arxiv url: http://arxiv.org/abs/2304.04553v3
Date: Mon, 8 May 2023 07:57:24 GMT
ステータス: 処理完了
システム内更新日: 2023-05-09 20:36:37.025257
Title: Two Steps Forward and One Behind: Rethinking Time Series Forecasting with Deep Learning
Title（参考訳）: 前進と後退の2つのステップ - ディープラーニングによる時系列予測再考
Authors: Riccardo Ughi, Eugenio Lomurno and Matteo Matteucci
Abstract要約: Transformerは、人工知能ニューラルネットワークの世界に革命をもたらした、非常に成功したディープラーニングモデルである。時系列予測領域に適用したトランスフォーマーモデルの有効性について検討する。性能が良く、より複雑でない代替モデル一式を提案する。
参考スコア（独自算出の注目度）: 7.967995669387532
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: The Transformer is a highly successful deep learning model that has revolutionised the world of artificial neural networks, first in natural language processing and later in computer vision. This model is based on the attention mechanism and is able to capture complex semantic relationships between a variety of patterns present in the input data. Precisely because of these characteristics, the Transformer has recently been exploited for time series forecasting problems, assuming a natural adaptability to the domain of continuous numerical series. Despite the acclaimed results in the literature, some works have raised doubts about the robustness and effectiveness of this approach. In this paper, we further investigate the effectiveness of Transformer-based models applied to the domain of time series forecasting, demonstrate their limitations, and propose a set of alternative models that are better performing and significantly less complex. In particular, we empirically show how simplifying Transformer-based forecasting models almost always leads to an improvement, reaching state of the art performance. We also propose shallow models without the attention mechanism, which compete with the overall state of the art in long time series forecasting, and demonstrate their ability to accurately predict time series over extremely long windows. From a methodological perspective, we show how it is always necessary to use a simple baseline to verify the effectiveness of proposed models, and finally, we conclude the paper with a reflection on recent research paths and the opportunity to follow trends and hypes even where it may not be necessary.
Abstract（参考訳）: Transformerは、人工知能ニューラルネットワークの世界に革命をもたらした、高度に成功したディープラーニングモデルである。このモデルは注意機構に基づいており、入力データに存在する様々なパターン間の複雑な意味関係を捉えることができる。これらの特性から, 連続数列の領域への自然適応性を仮定して, 近年, 時系列予測問題に応用されている。文学で評価された結果にもかかわらず、このアプローチの堅牢性と有効性に疑問を呈する著作もある。本稿では, 時系列予測の領域に適用した変圧器モデルの有効性をさらに検証し, その限界を実証し, 性能が向上し, 複雑化が著しく少ない代替モデルを提案する。特に,トランスフォーマーに基づく予測モデルの簡略化が,常に改善につながることを実証的に示し,その成果を実証する。また,長時間連続予測におけるアート全体の状態と競合するアテンション機構のない浅いモデルを提案し,超長窓上での時系列を正確に予測する能力を示す。方法論学的観点からは,提案モデルの有効性を検証するために,単純なベースラインを常に使用する必要があることを示し,最後に,最近の研究経路と,必要とされない傾向や誇大広告に追従する機会を振り返って,論文をまとめる。

関連論文リスト

State-Space Modeling in Long Sequence Processing: A Survey on Recurrence in the Transformer Era [59.279784235147254]
このサーベイは、シーケンシャルなデータ処理の反復モデルに基づく最新のアプローチの詳細な概要を提供する。新たなイメージは、標準のバックプロパゲーション・オブ・タイムから外れた学習アルゴリズムによって構成される、新しいルートを考える余地があることを示唆している。
論文参考訳（メタデータ） (2024-06-13T12:51:22Z)
TimeSieve: Extracting Temporal Dynamics through Information Bottlenecks [31.10683149519954]
本稿では,時系列予測モデルTimeSieveを提案する。提案手法では、ウェーブレット変換を用いて時系列データを前処理し、マルチスケールの特徴を効果的にキャプチャする。本研究は,時系列予測における課題に対処するためのアプローチの有効性を検証した。
論文参考訳（メタデータ） (2024-06-07T15:58:12Z)
Are Self-Attentions Effective for Time Series Forecasting? [4.990206466948269]
時系列予測は、複数のドメインやさまざまなシナリオにわたるアプリケーションにとって不可欠である。近年の研究では、より単純な線形モデルは、複雑なトランスフォーマーベースのアプローチよりも優れていることが示されている。我々は、新しいアーキテクチャ、クロスアテンションのみの時系列変換器(CATS)を導入する。提案モデルでは,平均二乗誤差が最小であり,既存のモデルに比べてパラメータが少ないため,性能が向上する。
論文参考訳（メタデータ） (2024-05-27T06:49:39Z)
On the Resurgence of Recurrent Models for Long Sequences -- Survey and Research Opportunities in the Transformer Era [59.279784235147254]
この調査は、Recurrenceの統一の傘の下に構築されたこれらのトレンドの概要を提供することを目的としている。長いシーケンスを処理するという考え方を捨てる際に顕著になる新しい研究機会を強調している。
論文参考訳（メタデータ） (2024-02-12T23:55:55Z)
Predictive Churn with the Set of Good Models [64.05949860750235]
近似機械学習モデルの集合に対する競合予測の効果について検討する。ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
論文参考訳（メタデータ） (2024-02-12T16:15:25Z)
Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文参考訳（メタデータ） (2024-02-04T06:55:55Z)
Learning Robust Precipitation Forecaster by Temporal Frame Interpolation [65.5045412005064]
本研究では,空間的不一致に対するレジリエンスを示す頑健な降水予測モデルを構築した。提案手法は,textit4cast'23コンペティションの移行学習リーダーボードにおいて,textit1位を確保したモデルにおいて,予測精度が大幅に向上した。
論文参考訳（メタデータ） (2023-11-30T08:22:08Z)
TEMPO: Prompt-based Generative Pre-trained Transformer for Time Series Forecasting [24.834846119163885]
本稿では,時系列表現を効果的に学習できる新しいフレームワークTEMPOを提案する。 TEMPOは、様々な領域のデータから現実世界の時間現象を動的にモデル化する機能を拡張する。
論文参考訳（メタデータ） (2023-10-08T00:02:25Z)
Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文参考訳（メタデータ） (2023-10-03T01:31:25Z)
MPR-Net:Multi-Scale Pattern Reproduction Guided Universality Time Series Interpretable Forecasting [13.790498420659636]
時系列予測は、その広範な応用が本質的に困難なため、既存の研究から幅広い関心を集めている。本稿では,まず,畳み込み操作を用いてマルチスケールの時系列パターンを適応的に分解し,パターン再現の既知に基づいてパターン拡張予測手法を構築し,最終的に畳み込み操作を用いて将来的なパターンを再構築する。時系列に存在する時間的依存関係を活用することで、MPR-Netは線形時間複雑性を達成するだけでなく、予測プロセスも解釈できる。
論文参考訳（メタデータ） (2023-07-13T13:16:01Z)
Deep Transformer Models for Time Series Forecasting: The Influenza Prevalence Case [2.997238772148965]
時系列データは、多くの科学と工学の分野で広く使われている。本稿では,トランスフォーマーに基づく機械学習モデルを用いた時系列予測の新しい手法を提案する。提案手法により得られた予測結果は,最先端技術と良好に比較できることを示す。
論文参考訳（メタデータ） (2020-01-23T00:22:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。