Fugu-MT 論文翻訳(概要): Preformer: Predictive Transformer with Multi-Scale Segment-wise Correlations for Long-Term Time Series Forecasting

論文の概要: Preformer: Predictive Transformer with Multi-Scale Segment-wise Correlations for Long-Term Time Series Forecasting

arxiv url: http://arxiv.org/abs/2202.11356v1
Date: Wed, 23 Feb 2022 08:49:35 GMT
ステータス: 処理完了
システム内更新日: 2022-02-24 14:25:38.239883
Title: Preformer: Predictive Transformer with Multi-Scale Segment-wise Correlations for Long-Term Time Series Forecasting
Title（参考訳）: Preformer: 長期時系列予測のためのマルチスケールセグメントワイズ相関付き予測変換器
Authors: Dazhao Du, Bing Su, Zhewei Wei
Abstract要約: トランスフォーマーに基づく手法は、長期の時系列予測において大きな可能性を秘めている。本稿では, Em Preformer と呼ばれる予測型トランスフォーマーモデルを提案する。
参考スコア（独自算出の注目度）: 29.89267034806925
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Transformer-based methods have shown great potential in long-term time series forecasting. However, most of these methods adopt the standard point-wise self-attention mechanism, which not only becomes intractable for long-term forecasting since its complexity increases quadratically with the length of time series, but also cannot explicitly capture the predictive dependencies from contexts since the corresponding key and value are transformed from the same point. This paper proposes a predictive Transformer-based model called {\em Preformer}. Preformer introduces a novel efficient {\em Multi-Scale Segment-Correlation} mechanism that divides time series into segments and utilizes segment-wise correlation-based attention for encoding time series. A multi-scale structure is developed to aggregate dependencies at different temporal scales and facilitate the selection of segment length. Preformer further designs a predictive paradigm for decoding, where the key and value come from two successive segments rather than the same segment. In this way, if a key segment has a high correlation score with the query segment, its successive segment contributes more to the prediction of the query segment. Extensive experiments demonstrate that our Preformer outperforms other Transformer-based methods.
Abstract（参考訳）: トランスフォーマーに基づく手法は、長期時系列予測において大きな可能性を示している。しかし、これらの手法の多くは、時系列の長さで複雑さが2乗的に増加するため、長期予測では難解になるばかりでなく、対応するキーと値が同じポイントから変換されるため、コンテキストから予測依存性を明示的に捉えることができない。本稿では,予測型トランスフォーマーモデルである {\em Preformer を提案する。 Preformerは、時系列をセグメントに分割し、セグメント単位の相関に基づく注意を時系列のエンコーディングに利用する、新しい効率的なマルチスケールセグメンテーション・コレレーション機構を導入する。異なる時間スケールで依存関係を集約し,セグメント長の選択を容易にするマルチスケール構造を開発した。 preformerはさらに、キーと値は同じセグメントではなく2つの連続したセグメントから来るデコーディングの予測パラダイムを設計する。このように、キーセグメントがクエリセグメントと高い相関スコアを持つ場合、その連続したセグメントはクエリセグメントの予測により多くの貢献をする。大規模な実験では、Preformerは他のTransformerベースの手法よりも優れています。

関連論文リスト

PSformer: Parameter-efficient Transformer with Segment Attention for Time Series Forecasting [21.033660755921737]
時間予測は、高次元のデータと長期の依存関係によってしばしば複雑になる、さまざまな領域において重要な課題である。本稿では,パラメータ共有(PS)と空間時間注意(SegAtt)という,時系列予測のための新しいトランスフォーマーアーキテクチャを提案する。
論文参考訳（メタデータ） (2024-11-03T03:04:00Z)
Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
我々は時系列の統一予測のための生成変換器Timer-XLを提案する。 Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-10-07T07:27:39Z)
PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
論文参考訳（メタデータ） (2024-08-20T01:56:07Z)
MultiResFormer: Transformer with Adaptive Multi-Resolution Modeling for General Time Series Forecasting [18.990322695844675]
トランスフォーマーベースのモデルは、最近時系列予測の境界を大きく押し上げている。既存のメソッドは通常、時系列データを$textitpatches$にエンコードする。最適パッチ長を適応的に選択することで時間変動を動的にモデル化するMultiResFormerを提案する。
論文参考訳（メタデータ） (2023-11-30T18:24:33Z)
Compatible Transformer for Irregularly Sampled Multivariate Time Series [75.79309862085303]
本研究では,各サンプルに対して総合的な時間的相互作用特徴学習を実現するためのトランスフォーマーベースのエンコーダを提案する。実世界の3つのデータセットについて広範な実験を行い、提案したCoFormerが既存の手法を大幅に上回っていることを検証した。
論文参考訳（メタデータ） (2023-10-17T06:29:09Z)
MPPN: Multi-Resolution Periodic Pattern Network For Long-Term Time Series Forecasting [19.573651104129443]
長期の時系列予測は、様々な現実のシナリオにおいて重要な役割を果たす。近年の時系列予測の深層学習手法は,分解法やサンプリング法により時系列の複雑なパターンを捉える傾向にある。本稿では,MPPN(Multi- resolution Periodic Pattern Network)という,長期連続予測のための新しいディープラーニングネットワークアーキテクチャを提案する。
論文参考訳（メタデータ） (2023-06-12T07:00:37Z)
Stecformer: Spatio-temporal Encoding Cascaded Transformer for Multivariate Long-term Time Series Forecasting [11.021398675773055]
本稿では,特徴抽出とターゲット予測の観点から,問題の完全な解決法を提案する。抽出のために,半適応グラフを含む効率的な時間的符号化抽出器を設計し,十分な時間的情報を取得する。予測のために、異なる間隔間の相関を強化するためにカスケードデ予測器(CDP)を提案する。
論文参考訳（メタデータ） (2023-05-25T13:00:46Z)
CARD: Channel Aligned Robust Blend Transformer for Time Series Forecasting [50.23240107430597]
本稿では,CARD(Channel Aligned Robust Blend Transformer)という特殊なトランスを設計する。まず、CARDはチャネルに沿ったアテンション構造を導入し、信号間の時間的相関をキャプチャする。第二に、マルチスケール知識を効率的に活用するために、異なる解像度のトークンを生成するトークンブレンドモジュールを設計する。第3に,潜在的な過度な問題を軽減するため,時系列予測のためのロバストな損失関数を導入する。
論文参考訳（メタデータ） (2023-05-20T05:16:31Z)
Cluster-Former: Clustering-based Sparse Transformer for Long-Range Dependency Encoding [90.77031668988661]
Cluster-Formerはクラスタリングベースの新しいスパーストランスであり、チャンクされたシーケンスにまたがって注意を向ける。提案されたフレームワークは、Sliding-Window LayerとCluster-Former Layerの2つのユニークなタイプのTransformer Layerにピボットされている。実験によると、Cluster-Formerはいくつかの主要なQAベンチマークで最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2020-09-13T22:09:30Z)
Transformer Hawkes Process [79.16290557505211]
本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。 THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
論文参考訳（メタデータ） (2020-02-21T13:48:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。