論文の概要: The Bigger the Better? Rethinking the Effective Model Scale in Long-term
Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2401.11929v1
- Date: Mon, 22 Jan 2024 13:15:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 13:57:54.129761
- Title: The Bigger the Better? Rethinking the Effective Model Scale in Long-term
Time Series Forecasting
- Title（参考訳）: 大きければ大きいほどいいのか?
長期時系列予測における有効モデル尺度の再検討
- Authors: Jinliang Deng, Xuan Song, Ivor W. Tsang, Hui Xiong
- Abstract要約: 時系列予測は時系列分析において重要なフロンティアである。
階層的な分解で拡張された軽量トランスフォーマーであるHDformerを紹介する。
HDformerは既存のLTSFモデルよりも優れており、パラメータは99%以上少ない。
- 参考スコア（独自算出の注目度）: 57.00348861248051
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-term time series forecasting (LTSF) represents a critical frontier in
time series analysis, distinguished by its focus on extensive input sequences,
in contrast to the constrained lengths typical of traditional approaches. While
longer sequences inherently convey richer information, potentially enhancing
predictive precision, prevailing techniques often respond by escalating model
complexity. These intricate models can inflate into millions of parameters,
incorporating parameter-intensive elements like positional encodings,
feed-forward networks and self-attention mechanisms. This complexity, however,
leads to prohibitive model scale, particularly given the time series data's
semantic simplicity. Motivated by the pursuit of parsimony, our research
employs conditional correlation and auto-correlation as investigative tools,
revealing significant redundancies within the input data. Leveraging these
insights, we introduce the HDformer, a lightweight Transformer variant enhanced
with hierarchical decomposition. This novel architecture not only inverts the
prevailing trend toward model expansion but also accomplishes precise
forecasting with drastically fewer computations and parameters. Remarkably,
HDformer outperforms existing state-of-the-art LTSF models, while requiring
over 99\% fewer parameters. Through this work, we advocate a paradigm shift in
LTSF, emphasizing the importance to tailor the model to the inherent dynamics
of time series data-a timely reminder that in the realm of LTSF, bigger is not
invariably better.
- Abstract（参考訳）: 長期時系列予測(LTSF)は、伝統的なアプローチに典型的な制約付き長さとは対照的に、広範囲な入力シーケンスに焦点を当てた時系列解析において重要なフロンティアである。
長いシーケンスは本質的によりリッチな情報を伝達するが、予測精度を向上させる可能性がある。
これらの複雑なモデルは数百万のパラメータに膨らみ込み、位置エンコーディング、フィードフォワードネットワーク、セルフアテンション機構といったパラメータ集約的な要素が組み込まれます。
しかし、この複雑さは、特に時系列データの意味的単純さを考えると、モデルスケールの禁止につながる。
parsimonyの追求に動機づけられた本研究は,条件付き相関と自己相関を調査ツールとして活用し,入力データに有意な冗長性を示す。
これらの知見を活かして,階層的分解により拡張された軽量トランスフォーマであるhdformerを紹介する。
この新しいアーキテクチャは、モデル拡張に向けた一般的な傾向を逆転させるだけでなく、計算やパラメータを劇的に少なくした正確な予測も達成している。
注目すべきは、HDformerが既存のLTSFモデルより優れており、パラメータは99.%以上少ないことだ。
この研究を通じて、LTSFのパラダイムシフトを提唱し、時系列データの本質的なダイナミクスにモデルを合わせることの重要性を強調します。
関連論文リスト
- Introducing Spectral Attention for Long-Range Dependency in Time Series Forecasting [36.577411683455786]
最近の線形および変圧器ベースの予測器は時系列予測において優れた性能を示している。
時系列データにおける長距離依存関係を効果的に扱うことができないという点で制約されている。
本稿では,試料間の時間的相関を保った高速かつ効果的なスペクトル注意機構を提案する。
論文 参考訳（メタデータ） (2024-10-28T06:17:20Z) - Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
我々は時系列の統一予測のための生成変換器Timer-XLを提案する。
Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-10-07T07:27:39Z) - Multi-Scale Dilated Convolution Network for Long-Term Time Series Forecasting [17.132063819650355]
時系列の周期と傾向を捉えるために,MSDCN(Multi Scale Dilated Convolution Network)を提案する。
指数関数的に増加する拡張と異なるカーネルサイズを持つ異なる畳み込みブロックを設計し、異なるスケールで時系列データをサンプリングする。
提案手法の有効性を検証するため,8つの長期時系列予測ベンチマークデータセットを用いて実験を行った。
論文 参考訳（メタデータ） (2024-05-09T02:11:01Z) - Attractor Memory for Long-Term Time Series Forecasting: A Chaos Perspective [63.60312929416228]
textbftextitAttraosはカオス理論を長期時系列予測に取り入れている。
本研究では,AttraosがPatchTSTと比較して,パラメータの12分の1しか持たない主流データセットやカオスデータセットにおいて,LTSF法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-02-18T05:35:01Z) - The Capacity and Robustness Trade-off: Revisiting the Channel
Independent Strategy for Multivariate Time Series Forecasting [50.48888534815361]
本稿では、Channel Dependent(CD)戦略でトレーニングされたモデルが、Channel Dependent(CD)戦略でトレーニングされたモデルよりも優れていることを示す。
以上の結果から,CD手法は高いキャパシティを持つが,分散ドリフト時系列を正確に予測する堅牢性に欠けることがわかった。
本稿では,CI戦略を超越した正規化(PRReg)による予測残差法(Predict Residuals with Regularization, PRReg)を提案する。
論文 参考訳（メタデータ） (2023-04-11T13:15:33Z) - Discovering Predictable Latent Factors for Time Series Forecasting [39.08011991308137]
我々は,観測可能な時系列によって示唆される本質的な潜伏因子を推定するための新しい枠組みを開発する。
予測可能性,充足性,識別性という3つの特性を導入し,これらの特性を強力な潜伏力学モデルを用いてモデル化する。
複数の実データに対する実験結果から, 時系列予測の手法の有効性が示唆された。
論文 参考訳（メタデータ） (2023-03-18T14:37:37Z) - Grouped self-attention mechanism for a memory-efficient Transformer [64.0125322353281]
天気予報、電力消費、株式市場などの現実世界のタスクには、時間とともに変化するデータの予測が含まれる。
時系列データは通常、その周期的特性と時間的長期依存性のために、長いシーケンスで長い観察期間にわたって記録される。
我々はGSA(Grouped Self-Attention)とCCA(Compressed Cross-Attention)の2つの新しいモジュールを提案する。
提案モデルでは,既存の手法に匹敵する計算量と性能の低減が効果的に示された。
論文 参考訳（メタデータ） (2022-10-02T06:58:49Z) - Deep Switching Auto-Regressive Factorization:Application to Time Series
Forecasting [16.934920617960085]
DSARFは、時間依存重みと空間依存因子の間の積変数による高次元データを近似する。
DSARFは、深い切替ベクトル自己回帰因子化の観点から重みをパラメータ化するという最先端技術とは異なる。
本実験は, 最先端手法と比較して, DSARFの長期的, 短期的予測誤差において優れた性能を示すものである。
論文 参考訳（メタデータ） (2020-09-10T20:15:59Z) - Transformer Hawkes Process [79.16290557505211]
本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。
THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。
本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
論文 参考訳（メタデータ） (2020-02-21T13:48:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。