論文の概要: Client: Cross-variable Linear Integrated Enhanced Transformer for
Multivariate Long-Term Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2305.18838v1
- Date: Tue, 30 May 2023 08:31:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 17:31:09.908336
- Title: Client: Cross-variable Linear Integrated Enhanced Transformer for
Multivariate Long-Term Time Series Forecasting
- Title（参考訳）: クライアント:多変量長期時系列予測のためのクロス変数線形統合変換器
- Authors: Jiaxin Gao, Wenbo Hu, Yuntian Chen
- Abstract要約: クライアント(Client)は,従来のトランスフォーマーベースモデルと線形モデルの両方に勝る高度なモデルである。
クライアントは、従来の線形モデルとTransformerベースのモデルとを分離した、非線形性とクロス変数の依存関係を組み込んでいる。
- 参考スコア（独自算出の注目度）: 4.004869317957185
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-term time series forecasting (LTSF) is a crucial aspect of modern
society, playing a pivotal role in facilitating long-term planning and
developing early warning systems. While many Transformer-based models have
recently been introduced for LTSF, a doubt have been raised regarding the
effectiveness of attention modules in capturing cross-time dependencies. In
this study, we design a mask-series experiment to validate this assumption and
subsequently propose the "Cross-variable Linear Integrated ENhanced Transformer
for Multivariate Long-Term Time Series Forecasting" (Client), an advanced model
that outperforms both traditional Transformer-based models and linear models.
Client employs linear modules to learn trend information and attention modules
to capture cross-variable dependencies. Meanwhile, it simplifies the embedding
and position encoding layers and replaces the decoder module with a projection
layer. Essentially, Client incorporates non-linearity and cross-variable
dependencies, which sets it apart from conventional linear models and
Transformer-based models. Extensive experiments with nine real-world datasets
have confirmed the SOTA performance of Client with the least computation time
and memory consumption compared with the previous Transformer-based models. Our
code is available at https://github.com/daxin007/Client.
- Abstract（参考訳）: 長期時系列予測(LTSF)は現代社会において重要な側面であり、長期計画の促進と早期警戒システムの開発に重要な役割を果たしている。
多くのトランスフォーマーベースのモデルがltsfに最近導入されているが、クロスタイム依存の捕捉におけるアテンションモジュールの有効性については疑問が持たれている。
本研究では,この仮定を検証すべくマスクシリーズ実験をデザインし,従来の変圧器ベースモデルと線形モデルの両方に匹敵する先進モデルである「多変量長期時系列予測用クロス可変線形統合型変圧器」(client)を提案する。
クライアントはリニアモジュールを使用してトレンド情報とアテンションモジュールを学び、クロス変数依存関係をキャプチャする。
一方、埋め込み層と位置符号化層を単純化し、デコーダモジュールをプロジェクション層に置き換える。
本質的には、クライアントは非線形性と相互変数依存性を組み込んでおり、従来の線形モデルやトランスフォーマーベースのモデルとは別物となっている。
9つの実世界のデータセットによる大規模な実験により、以前のTransformerベースのモデルと比較して計算時間とメモリ消費の少ないクライアントのSOTA性能が確認された。
私たちのコードはhttps://github.com/daxin007/clientで利用可能です。
関連論文リスト
- LSEAttention is All You Need for Time Series Forecasting [0.0]
トランスフォーマーベースのアーキテクチャは自然言語処理とコンピュータビジョンにおいて顕著な成功を収めた。
変圧器モデルでよく見られるエントロピー崩壊とトレーニング不安定性に対処するアプローチである textbfLSEAttention を導入する。
論文 参考訳（メタデータ） (2024-10-31T09:09:39Z) - PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。
この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。
本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
論文 参考訳（メタデータ） (2024-08-20T01:56:07Z) - sTransformer: A Modular Approach for Extracting Inter-Sequential and Temporal Information for Time-Series Forecasting [6.434378359932152]
既存のTransformerベースのモデルを,(1)モデル構造の変更,(2)入力データの変更の2つのタイプに分類する。
我々は、シーケンシャル情報と時間情報の両方をフルにキャプチャするSequence and Temporal Convolutional Network(STCN)を導入する$textbfsTransformer$を提案する。
我々は,線形モデルと既存予測モデルとを長期時系列予測で比較し,新たな成果を得た。
論文 参考訳（メタデータ） (2024-08-19T06:23:41Z) - UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。
提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
論文 参考訳（メタデータ） (2024-06-07T14:39:28Z) - PDMLP: Patch-based Decomposed MLP for Long-Term Time Series Forecasting [0.0]
近年, Transformer アーキテクチャを改良し, 長期時系列予測(LTSF)タスクの有効性を実証する研究が進められている。
これらのモデルの有効性は、配列の局所性を向上する採用されたパッチ機構に大きく寄与する。
さらに、Patch機構で強化された単純な線形層は、複雑なTransformerベースのLTSFモデルより優れている可能性が示唆されている。
論文 参考訳（メタデータ） (2024-05-22T12:12:20Z) - Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳（メタデータ） (2024-02-04T06:55:55Z) - TACTiS-2: Better, Faster, Simpler Attentional Copulas for Multivariate Time Series [57.4208255711412]
パウラ理論に基づいて,最近導入されたトランスフォーマーに基づく注目パウラ(TACTiS)の簡易な目的を提案する。
結果から,実世界の予測タスクにまたがって,このモデルのトレーニング性能が大幅に向上し,最先端のパフォーマンスが達成できることが示唆された。
論文 参考訳（メタデータ） (2023-10-02T16:45:19Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳（メタデータ） (2023-01-05T13:59:29Z) - CLMFormer: Mitigating Data Redundancy to Revitalize Transformer-based
Long-Term Time Series Forecasting System [46.39662315849883]
時系列予測(LTSF)は,様々な応用において重要な役割を担っている。
既存のTransformerベースのモデルであるFedformerやInformerは、いくつかのエポックの後、検証セット上で最高のパフォーマンスを達成することが多い。
本稿では,カリキュラム学習とメモリ駆動デコーダの導入により,この問題に対処する新しい手法を提案する。
論文 参考訳（メタデータ） (2022-07-16T04:05:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。