論文の概要: Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution
- arxiv url: http://arxiv.org/abs/2301.02068v1
- Date: Thu, 5 Jan 2023 13:59:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-06 13:32:59.847272
- Title: Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution
- Title(参考訳): 長期的時系列予測に向けて:特徴,パターン,分布
- Authors: Yan Li, Xinjiang Lu, Haoyi Xiong, Jian Tang, Jiantao Su, Bo Jin,
Dejing Dou
- Abstract要約: 長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
- 参考スコア(独自算出の注目度): 57.71199089609161
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Long-term time-series forecasting (LTTF) has become a pressing demand in many
applications, such as wind power supply planning. Transformer models have been
adopted to deliver high prediction capacity because of the high computational
self-attention mechanism. Though one could lower the complexity of Transformers
by inducing the sparsity in point-wise self-attentions for LTTF, the limited
information utilization prohibits the model from exploring the complex
dependencies comprehensively. To this end, we propose an efficient
Transformerbased model, named Conformer, which differentiates itself from
existing methods for LTTF in three aspects: (i) an encoder-decoder architecture
incorporating a linear complexity without sacrificing information utilization
is proposed on top of sliding-window attention and Stationary and Instant
Recurrent Network (SIRN); (ii) a module derived from the normalizing flow is
devised to further improve the information utilization by inferring the outputs
with the latent variables in SIRN directly; (iii) the inter-series correlation
and temporal dynamics in time-series data are modeled explicitly to fuel the
downstream self-attention mechanism. Extensive experiments on seven real-world
datasets demonstrate that Conformer outperforms the state-of-the-art methods on
LTTF and generates reliable prediction results with uncertainty quantification.
- Abstract(参考訳): 長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは高い計算自己認識機構のために高い予測能力を提供するために採用されている。
LTTFのポイントワイド自己アテンションの空間性を誘導することで、トランスフォーマーの複雑さを低減できるが、限られた情報利用は、複雑な依存関係を包括的に探索することを禁じる。
この目的のために, LTTF の既存の手法と区別する, Conformer という名前の効率的な Transformer ベースモデルを提案する。
(i)スライディングウインドウ注意と定常・瞬時リカレントネットワーク(sirn)上に,情報利用を犠牲にすることなく線形複雑性を組み込んだエンコーダ・デコーダアーキテクチャを提案する。
2)正規化フローから派生したモジュールは、SIRNの潜伏変数と直接的に出力を推測することにより、情報利用の向上を図る。
(iii)時系列データの時系列相関と時間ダイナミクスを明示的にモデル化し、下流の自己着脱機構を促進させる。
7つの実世界のデータセットに対する大規模な実験により、コンフォーマーはLTTFの最先端の手法より優れ、不確実な定量化を伴う信頼性の高い予測結果を生成することが示された。
関連論文リスト
- The Bigger the Better? Rethinking the Effective Model Scale in Long-term
Time Series Forecasting [57.00348861248051]
時系列予測は時系列分析において重要なフロンティアである。
階層的な分解で拡張された軽量トランスフォーマーであるHDformerを紹介する。
HDformerは既存のLTSFモデルよりも優れており、パラメータは99%以上少ない。
論文 参考訳(メタデータ) (2024-01-22T13:15:40Z) - Spatiotemporal-Linear: Towards Universal Multivariate Time Series
Forecasting [10.404951989266191]
本稿ではSTL(Spatio-Temporal-Linear)フレームワークを紹介する。
STLは、Linearベースのアーキテクチャを拡張するために、時間組込みと空間インフォームドのバイパスをシームレスに統合する。
実証的な証拠は、さまざまな観測時間と予測期間とデータセットにわたって、LinearとTransformerのベンチマークを上回り、STLの成果を浮き彫りにしている。
論文 参考訳(メタデータ) (2023-12-22T17:46:34Z) - Diagnostic Spatio-temporal Transformer with Faithful Encoding [54.02712048973161]
本稿では,データ生成プロセスが複合時間(ST)依存性を持つ場合の異常診断の課題について述べる。
我々は、ST依存を時系列分類の副産物として学習する、教師付き依存発見として問題を定式化する。
既存のST変圧器で使用される時間的位置符号化は、高周波数(短時間スケール)の周波数をキャプチャする重大な制限を有することを示す。
また、空間的および時間的方向の両方で容易に消費可能な診断情報を提供する新しいST依存性発見フレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-26T05:31:23Z) - FormerTime: Hierarchical Multi-Scale Representations for Multivariate
Time Series Classification [53.55504611255664]
formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。
1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
論文 参考訳(メタデータ) (2023-02-20T07:46:14Z) - CLMFormer: Mitigating Data Redundancy to Revitalize Transformer-based
Long-Term Time Series Forecasting System [46.39662315849883]
時系列予測(LTSF)は,様々な応用において重要な役割を担っている。
既存のTransformerベースのモデルであるFedformerやInformerは、いくつかのエポックの後、検証セット上で最高のパフォーマンスを達成することが多い。
本稿では,カリキュラム学習とメモリ駆動デコーダの導入により,この問題に対処する新しい手法を提案する。
論文 参考訳(メタデータ) (2022-07-16T04:05:15Z) - TCCT: Tightly-Coupled Convolutional Transformer on Time Series
Forecasting [6.393659160890665]
本稿では, 密結合型畳み込み変換器(TCCT)と3つのTCCTアーキテクチャを提案する。
実世界のデータセットに対する我々の実験は、我々のTCCTアーキテクチャが既存の最先端トランスフォーマーモデルの性能を大幅に改善できることを示している。
論文 参考訳(メタデータ) (2021-08-29T08:49:31Z) - Autoformer: Decomposition Transformers with Auto-Correlation for
Long-Term Series Forecasting [68.86835407617778]
Autoformerは、Auto-Correlation機構を備えた、新しい分解アーキテクチャである。
長期的な予測では、Autoformerは6つのベンチマークで相対的に改善され、最先端の精度が得られる。
論文 参考訳(メタデータ) (2021-06-24T13:43:43Z) - Informer: Beyond Efficient Transformer for Long Sequence Time-Series
Forecasting [25.417560221400347]
長周期時系列予測(LSTF)は高い予測能力を必要とする。
最近の研究は、予測能力を高めるトランスフォーマーの可能性を示しています。
我々は3つの特徴を有するlstf用効率的なトランスフォーマーモデル,informerを設計した。
論文 参考訳(メタデータ) (2020-12-14T11:43:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。