論文の概要: Multi-resolution Time-Series Transformer for Long-term Forecasting
- arxiv url: http://arxiv.org/abs/2311.04147v1
- Date: Tue, 7 Nov 2023 17:18:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-08 14:31:30.909168
- Title: Multi-resolution Time-Series Transformer for Long-term Forecasting
- Title(参考訳): 長期予測用マルチレゾリューション時系列変圧器
- Authors: Yitian Zhang, Liheng Ma, Soumyasundar Pal, Yingxue Zhang, Mark Coates
- Abstract要約: 様々な時間パターンを異なる解像度で同時モデリングするための新しいフレームワークMTST(Multi- resolution Time-Series Transformer)を提案する。
多くの既存の時系列変換器とは対照的に、異なるスケールで周期成分を抽出するのに適する相対的な位置符号化を用いる。
- 参考スコア(独自算出の注目度): 26.255789064084578
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The performance of transformers for time-series forecasting has improved
significantly. Recent architectures learn complex temporal patterns by
segmenting a time-series into patches and using the patches as tokens. The
patch size controls the ability of transformers to learn the temporal patterns
at different frequencies: shorter patches are effective for learning localized,
high-frequency patterns, whereas mining long-term seasonalities and trends
requires longer patches. Inspired by this observation, we propose a novel
framework, Multi-resolution Time-Series Transformer (MTST), which consists of a
multi-branch architecture for simultaneous modeling of diverse temporal
patterns at different resolutions. In contrast to many existing time-series
transformers, we employ relative positional encoding, which is better suited
for extracting periodic components at different scales. Extensive experiments
on several real-world datasets demonstrate the effectiveness of MTST in
comparison to state-of-the-art forecasting techniques.
- Abstract(参考訳): 時系列予測用変圧器の性能は大幅に向上した。
最近のアーキテクチャでは、時系列をパッチに分割し、パッチをトークンとして使用することで、複雑な時間パターンを学習している。
パッチのサイズはトランスフォーマーの時間パターンを異なる周波数で学習する能力を制御する。
この観察に触発されて,様々な時相パターンを異なる解像度で同時モデリングするマルチブランチアーキテクチャからなるマルチレゾリューション時系列トランスフォーマ(mtst)を提案する。
多くの既存の時系列変換器とは対照的に、異なるスケールで周期成分を抽出するのに適する相対的な位置符号化を用いる。
いくつかの実世界のデータセットに対する大規模な実験は、最先端の予測技術と比較してMTSTの有効性を示す。
関連論文リスト
- Unified Training of Universal Time Series Forecasting Transformers [110.79681024473159]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。
Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。
Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-02-04T20:00:45Z) - Pathformer: Multi-scale Transformers with Adaptive Pathways for Time
Series Forecasting [32.859967548545335]
適応経路を持つマルチスケールトランスであるPathformerを提案する。
時間分解能と時間距離を統合してマルチスケールモデリングを行う。
論文 参考訳(メタデータ) (2024-02-04T15:33:58Z) - MultiResFormer: Transformer with Adaptive Multi-Resolution Modeling for
General Time Series Forecasting [18.990322695844675]
トランスフォーマーベースのモデルは、最近時系列予測の境界を大きく押し上げている。
既存のメソッドは通常、時系列データを$textitpatches$にエンコードする。
最適パッチ長を適応的に選択することで時間変動を動的にモデル化するMultiResFormerを提案する。
論文 参考訳(メタデータ) (2023-11-30T18:24:33Z) - Compatible Transformer for Irregularly Sampled Multivariate Time Series [75.79309862085303]
本研究では,各サンプルに対して総合的な時間的相互作用特徴学習を実現するためのトランスフォーマーベースのエンコーダを提案する。
実世界の3つのデータセットについて広範な実験を行い、提案したCoFormerが既存の手法を大幅に上回っていることを検証した。
論文 参考訳(メタデータ) (2023-10-17T06:29:09Z) - iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。
iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
論文 参考訳(メタデータ) (2023-10-10T13:44:09Z) - Multi-scale Transformer Pyramid Networks for Multivariate Time Series
Forecasting [8.739572744117634]
短時間の時間依存性をキャプチャする次元不変な埋め込み手法を導入する。
本稿では,マルチスケールトランスフォーマーピラミッドネットワーク(MTPNet)を提案する。
論文 参考訳(メタデータ) (2023-08-23T06:40:05Z) - Diagnostic Spatio-temporal Transformer with Faithful Encoding [54.02712048973161]
本稿では,データ生成プロセスが複合時間(ST)依存性を持つ場合の異常診断の課題について述べる。
我々は、ST依存を時系列分類の副産物として学習する、教師付き依存発見として問題を定式化する。
既存のST変圧器で使用される時間的位置符号化は、高周波数(短時間スケール)の周波数をキャプチャする重大な制限を有することを示す。
また、空間的および時間的方向の両方で容易に消費可能な診断情報を提供する新しいST依存性発見フレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-26T05:31:23Z) - FormerTime: Hierarchical Multi-Scale Representations for Multivariate
Time Series Classification [53.55504611255664]
formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。
1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
論文 参考訳(メタデータ) (2023-02-20T07:46:14Z) - ViTs for SITS: Vision Transformers for Satellite Image Time Series [52.012084080257544]
ビジョン変換器(ViT)に基づく一般衛星画像時系列(SITS)処理のための完全アテンショナルモデルを提案する。
TSViTはSITSレコードを空間と時間で重複しないパッチに分割し、トークン化し、分解されたテンポロ空間エンコーダで処理する。
論文 参考訳(メタデータ) (2023-01-12T11:33:07Z) - W-Transformers : A Wavelet-based Transformer Framework for Univariate
Time Series Forecasting [7.075125892721573]
我々はウェーブレットベースのトランスフォーマーエンコーダアーキテクチャを用いて,非定常時系列のトランスフォーマーモデルを構築した。
各種ドメインから公開されているベンチマーク時系列データセットについて,本フレームワークの評価を行った。
論文 参考訳(メタデータ) (2022-09-08T17:39:38Z) - Temporal Tensor Transformation Network for Multivariate Time Series
Prediction [1.2354076490479515]
本稿では,時間変換ネットワーク(Temporal Transformation Network)と呼ばれる新しいディープラーニングアーキテクチャを提案する。
これにより、元の多変量時系列の新しい表現が得られ、畳み込みカーネルは、比較的大きな時間領域からの可変相互作用信号だけでなく、複雑で非線形な特徴を抽出することができる。
実験結果から、時間変換ネットワークは、様々なタスクにわたるウィンドウベースの予測において、最先端の手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2020-01-04T07:28:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。