論文の概要: The Bigger the Better? Rethinking the Effective Model Scale in Long-term
Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2401.11929v2
- Date: Sat, 3 Feb 2024 02:24:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 02:52:48.051089
- Title: The Bigger the Better? Rethinking the Effective Model Scale in Long-term
Time Series Forecasting
- Title(参考訳): 大きければ大きいほどいいのか?
長期時系列予測における有効モデル尺度の再検討
- Authors: Jinliang Deng, Xuan Song, Ivor W. Tsang, Hui Xiong
- Abstract要約: 時系列予測は時系列分析において重要なフロンティアである。
階層的な分解で拡張された軽量トランスフォーマーであるHDformerを紹介する。
HDformerは既存のLTSFモデルよりも優れており、パラメータは99%以上少ない。
- 参考スコア(独自算出の注目度): 57.00348861248051
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-term time series forecasting (LTSF) represents a critical frontier in
time series analysis, distinguished by its focus on extensive input sequences,
in contrast to the constrained lengths typical of traditional approaches. While
longer sequences inherently convey richer information, potentially enhancing
predictive precision, prevailing techniques often respond by escalating model
complexity. These intricate models can inflate into millions of parameters,
incorporating parameter-intensive elements like positional encodings,
feed-forward networks and self-attention mechanisms. This complexity, however,
leads to prohibitive model scale, particularly given the time series data's
semantic simplicity. Motivated by the pursuit of parsimony, our research
employs conditional correlation and auto-correlation as investigative tools,
revealing significant redundancies within the input data. Leveraging these
insights, we introduce the HDformer, a lightweight Transformer variant enhanced
with hierarchical decomposition. This novel architecture not only inverts the
prevailing trend toward model expansion but also accomplishes precise
forecasting with drastically fewer computations and parameters. Remarkably,
HDformer outperforms existing state-of-the-art LTSF models, while requiring
over 99\% fewer parameters. Through this work, we advocate a paradigm shift in
LTSF, emphasizing the importance to tailor the model to the inherent dynamics
of time series data-a timely reminder that in the realm of LTSF, bigger is not
invariably better.
- Abstract(参考訳): 長期時系列予測(LTSF)は、伝統的なアプローチに典型的な制約付き長さとは対照的に、広範囲な入力シーケンスに焦点を当てた時系列解析において重要なフロンティアである。
長いシーケンスは本質的によりリッチな情報を伝達するが、予測精度を向上させる可能性がある。
これらの複雑なモデルは数百万のパラメータに膨らみ込み、位置エンコーディング、フィードフォワードネットワーク、セルフアテンション機構といったパラメータ集約的な要素が組み込まれます。
しかし、この複雑さは、特に時系列データの意味的単純さを考えると、モデルスケールの禁止につながる。
parsimonyの追求に動機づけられた本研究は,条件付き相関と自己相関を調査ツールとして活用し,入力データに有意な冗長性を示す。
これらの知見を活かして,階層的分解により拡張された軽量トランスフォーマであるhdformerを紹介する。
この新しいアーキテクチャは、モデル拡張に向けた一般的な傾向を逆転させるだけでなく、計算やパラメータを劇的に少なくした正確な予測も達成している。
注目すべきは、HDformerが既存のLTSFモデルより優れており、パラメータは99.%以上少ないことだ。
この研究を通じて、LTSFのパラダイムシフトを提唱し、時系列データの本質的なダイナミクスにモデルを合わせることの重要性を強調します。
関連論文リスト
- Timer: Transformers for Time Series Analysis at Scale [87.9808714449511]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - Two Steps Forward and One Behind: Rethinking Time Series Forecasting
with Deep Learning [7.967995669387532]
Transformerは、人工知能ニューラルネットワークの世界に革命をもたらした、非常に成功したディープラーニングモデルである。
時系列予測領域に適用したトランスフォーマーモデルの有効性について検討する。
性能が良く、より複雑でない代替モデル一式を提案する。
論文 参考訳(メタデータ) (2023-04-10T12:47:42Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳(メタデータ) (2023-01-05T13:59:29Z) - CLMFormer: Mitigating Data Redundancy to Revitalize Transformer-based
Long-Term Time Series Forecasting System [46.39662315849883]
時系列予測(LTSF)は,様々な応用において重要な役割を担っている。
既存のTransformerベースのモデルであるFedformerやInformerは、いくつかのエポックの後、検証セット上で最高のパフォーマンスを達成することが多い。
本稿では,カリキュラム学習とメモリ駆動デコーダの導入により,この問題に対処する新しい手法を提案する。
論文 参考訳(メタデータ) (2022-07-16T04:05:15Z) - Informer: Beyond Efficient Transformer for Long Sequence Time-Series
Forecasting [25.417560221400347]
長周期時系列予測(LSTF)は高い予測能力を必要とする。
最近の研究は、予測能力を高めるトランスフォーマーの可能性を示しています。
我々は3つの特徴を有するlstf用効率的なトランスフォーマーモデル,informerを設計した。
論文 参考訳(メタデータ) (2020-12-14T11:43:09Z) - Transformer Hawkes Process [79.16290557505211]
本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。
THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。
本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
論文 参考訳(メタデータ) (2020-02-21T13:48:13Z) - Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。
これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。
この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文 参考訳(メタデータ) (2020-02-21T05:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。