論文の概要: Client: Cross-variable Linear Integrated Enhanced Transformer for
Multivariate Long-Term Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2305.18838v1
- Date: Tue, 30 May 2023 08:31:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 17:31:09.908336
- Title: Client: Cross-variable Linear Integrated Enhanced Transformer for
Multivariate Long-Term Time Series Forecasting
- Title(参考訳): クライアント:多変量長期時系列予測のためのクロス変数線形統合変換器
- Authors: Jiaxin Gao, Wenbo Hu, Yuntian Chen
- Abstract要約: クライアント(Client)は,従来のトランスフォーマーベースモデルと線形モデルの両方に勝る高度なモデルである。
クライアントは、従来の線形モデルとTransformerベースのモデルとを分離した、非線形性とクロス変数の依存関係を組み込んでいる。
- 参考スコア(独自算出の注目度): 4.004869317957185
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-term time series forecasting (LTSF) is a crucial aspect of modern
society, playing a pivotal role in facilitating long-term planning and
developing early warning systems. While many Transformer-based models have
recently been introduced for LTSF, a doubt have been raised regarding the
effectiveness of attention modules in capturing cross-time dependencies. In
this study, we design a mask-series experiment to validate this assumption and
subsequently propose the "Cross-variable Linear Integrated ENhanced Transformer
for Multivariate Long-Term Time Series Forecasting" (Client), an advanced model
that outperforms both traditional Transformer-based models and linear models.
Client employs linear modules to learn trend information and attention modules
to capture cross-variable dependencies. Meanwhile, it simplifies the embedding
and position encoding layers and replaces the decoder module with a projection
layer. Essentially, Client incorporates non-linearity and cross-variable
dependencies, which sets it apart from conventional linear models and
Transformer-based models. Extensive experiments with nine real-world datasets
have confirmed the SOTA performance of Client with the least computation time
and memory consumption compared with the previous Transformer-based models. Our
code is available at https://github.com/daxin007/Client.
- Abstract(参考訳): 長期時系列予測(LTSF)は現代社会において重要な側面であり、長期計画の促進と早期警戒システムの開発に重要な役割を果たしている。
多くのトランスフォーマーベースのモデルがltsfに最近導入されているが、クロスタイム依存の捕捉におけるアテンションモジュールの有効性については疑問が持たれている。
本研究では,この仮定を検証すべくマスクシリーズ実験をデザインし,従来の変圧器ベースモデルと線形モデルの両方に匹敵する先進モデルである「多変量長期時系列予測用クロス可変線形統合型変圧器」(client)を提案する。
クライアントはリニアモジュールを使用してトレンド情報とアテンションモジュールを学び、クロス変数依存関係をキャプチャする。
一方、埋め込み層と位置符号化層を単純化し、デコーダモジュールをプロジェクション層に置き換える。
本質的には、クライアントは非線形性と相互変数依存性を組み込んでおり、従来の線形モデルやトランスフォーマーベースのモデルとは別物となっている。
9つの実世界のデータセットによる大規模な実験により、以前のTransformerベースのモデルと比較して計算時間とメモリ消費の少ないクライアントのSOTA性能が確認された。
私たちのコードはhttps://github.com/daxin007/clientで利用可能です。
関連論文リスト
- Unified Training of Universal Time Series Forecasting Transformers [110.79681024473159]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。
Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。
Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-02-04T20:00:45Z) - Timer: Transformers for Time Series Analysis at Scale [87.9808714449511]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - The Bigger the Better? Rethinking the Effective Model Scale in Long-term
Time Series Forecasting [57.00348861248051]
時系列予測は時系列分析において重要なフロンティアである。
階層的な分解で拡張された軽量トランスフォーマーであるHDformerを紹介する。
HDformerは既存のLTSFモデルよりも優れており、パラメータは99%以上少ない。
論文 参考訳(メタデータ) (2024-01-22T13:15:40Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳(メタデータ) (2023-01-05T13:59:29Z) - W-Transformers : A Wavelet-based Transformer Framework for Univariate
Time Series Forecasting [7.075125892721573]
我々はウェーブレットベースのトランスフォーマーエンコーダアーキテクチャを用いて,非定常時系列のトランスフォーマーモデルを構築した。
各種ドメインから公開されているベンチマーク時系列データセットについて,本フレームワークの評価を行った。
論文 参考訳(メタデータ) (2022-09-08T17:39:38Z) - CLMFormer: Mitigating Data Redundancy to Revitalize Transformer-based
Long-Term Time Series Forecasting System [46.39662315849883]
時系列予測(LTSF)は,様々な応用において重要な役割を担っている。
既存のTransformerベースのモデルであるFedformerやInformerは、いくつかのエポックの後、検証セット上で最高のパフォーマンスを達成することが多い。
本稿では,カリキュラム学習とメモリ駆動デコーダの導入により,この問題に対処する新しい手法を提案する。
論文 参考訳(メタデータ) (2022-07-16T04:05:15Z) - ChunkFormer: Learning Long Time Series with Multi-stage Chunked
Transformer [0.0]
オリジナルトランスフォーマーベースのモデルは、シーケンスに沿ったグローバル情報を検出するためのアテンションメカニズムを採用している。
ChunkFormerは、長いシーケンスを注意計算のために小さなシーケンスチャンクに分割する。
このようにして、提案モデルは、入力シーケンスの総長を変更することなく、局所情報と大域情報の両方を徐々に学習する。
論文 参考訳(メタデータ) (2021-12-30T15:06:32Z) - Visformer: The Vision-friendly Transformer [105.52122194322592]
我々は視覚に優しいトランスフォーマーから短縮したvisformerという新しいアーキテクチャを提案する。
同じ計算の複雑さにより、VisformerはTransformerベースのモデルとConvolutionベースのモデルの両方をImageNet分類精度で上回る。
論文 参考訳(メタデータ) (2021-04-26T13:13:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。