論文の概要: WaveRoRA: Wavelet Rotary Route Attention for Multivariate Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2410.22649v1
- Date: Wed, 30 Oct 2024 02:36:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-31 14:27:06.770185
- Title: WaveRoRA: Wavelet Rotary Route Attention for Multivariate Time Series Forecasting
- Title（参考訳）: WaveRoRA:多変量時系列予測のためのウェーブレット回転路注意
- Authors: Aobo Liang, Yan Sun,
- Abstract要約: 本稿では,時系列データの複雑な時間依存性をモデル化するウェーブレット学習フレームワークを提案する。
ウェーブレット領域は時間と周波数情報を統合し、異なるスケールでの信号の局所特性の分析を可能にする。
回転路注意機構(Rotary Route Attention, RoRA)を提案する。
- 参考スコア（独自算出の注目度）: 2.5101466436574302
- License:
- Abstract: In recent years, Transformer-based models (Transformers) have achieved significant success in multivariate time series forecasting (MTSF). However, previous works focus on extracting features either from the time domain or the frequency domain, which inadequately captures the trends and periodic characteristics. To address this issue, we propose a wavelet learning framework to model complex temporal dependencies of the time series data. The wavelet domain integrates both time and frequency information, allowing for the analysis of local characteristics of signals at different scales. Additionally, the Softmax self-attention mechanism used by Transformers has quadratic complexity, which leads to excessive computational costs when capturing long-term dependencies. Therefore, we propose a novel attention mechanism: Rotary Route Attention (RoRA). Unlike Softmax attention, RoRA utilizes rotary position embeddings to inject relative positional information to sequence tokens and introduces a small number of routing tokens $r$ to aggregate information from the $KV$ matrices and redistribute it to the $Q$ matrix, offering linear complexity. We further propose WaveRoRA, which leverages RoRA to capture inter-series dependencies in the wavelet domain. We conduct extensive experiments on eight real-world datasets. The results indicate that WaveRoRA outperforms existing state-of-the-art models while maintaining lower computational costs.
- Abstract（参考訳）: 近年,Transformerベースのモデル(Transformer)は多変量時系列予測(MTSF)において大きな成功を収めている。
しかし、過去の研究は、時間領域または周波数領域から特徴を抽出することに重点を置いており、それは傾向や周期的特性を不十分に捉えている。
この問題に対処するために,時系列データの複雑な時間依存性をモデル化するウェーブレット学習フレームワークを提案する。
ウェーブレット領域は時間と周波数情報を統合し、異なるスケールでの信号の局所特性の分析を可能にする。
さらに、Transformersが使用するSoftmax自己アテンションメカニズムは2次複雑さを持ち、長期依存関係をキャプチャする際の計算コストが過大になる。
そこで我々は,ロータリールート注意(Rotary Route Attention, RoRA)という新しい注意機構を提案する。
ソフトマックスの注目とは違って、RoRAは相対的な位置情報をシーケンシャルトークンに注入するために回転位置埋め込みを使用し、$KV$行列から情報を集約し、それを$Q$行列に再配布するために、少数のルーティングトークンを$r$で導入する。
さらに、RoRAを利用してウェーブレット領域のシリーズ間依存関係をキャプチャするWaveRoRAを提案する。
8つの実世界のデータセットについて広範な実験を行った。
その結果、WaveRoRAは計算コストを抑えつつ既存の最先端モデルよりも優れていたことが示唆された。
関連論文リスト
- MixLinear: Extreme Low Resource Multivariate Time Series Forecasting with 0.1K Parameters [6.733646592789575]
時系列予測(LTSF)は、パターンや傾向を特定するために、大量の時系列データを分析することによって、長期的な価値を予測する。
トランスフォーマーベースのモデルは高い予測精度を提供するが、ハードウェア制約のあるデバイスにデプロイするには計算集約的すぎることが多い。
資源制約のあるデバイスに特化して設計された超軽量時系列予測モデルであるMixLinearを提案する。
論文 参考訳（メタデータ） (2024-10-02T23:04:57Z) - PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。
この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。
本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
論文 参考訳（メタデータ） (2024-08-20T01:56:07Z) - Rough Transformers: Lightweight Continuous-Time Sequence Modelling with Path Signatures [46.58170057001437]
本稿では,入力シーケンスの連続時間表現で動作するトランスフォーマーモデルのバリエーションであるRough Transformerを紹介する。
様々な時系列関連タスクにおいて、Rough Transformersはベニラアテンションよりも常に優れています。
論文 参考訳（メタデータ） (2024-05-31T14:00:44Z) - FAITH: Frequency-domain Attention In Two Horizons for Time Series Forecasting [13.253624747448935]
時系列予測は、産業機器の保守、気象学、エネルギー消費、交通流、金融投資など、様々な分野で重要な役割を果たしている。
現在のディープラーニングベースの予測モデルは、予測結果と基礎的真実の間に大きな違いを示すことが多い。
本稿では、時系列をトレンドと季節成分に分解する2つのホライズンズにおける周波数領域注意モデルを提案する。
論文 参考訳（メタデータ） (2024-05-22T02:37:02Z) - ATFNet: Adaptive Time-Frequency Ensembled Network for Long-term Time Series Forecasting [7.694820760102176]
ATFNetは、時間ドメインモジュールと周波数ドメインモジュールを組み合わせた革新的なフレームワークである。
本稿では,2つのモジュール間の重み調整機構であるドミナント・ハーモニック・シリーズ・エナジー・ウェイトリングを紹介する。
我々の複素数値スペクトル注意機構は、異なる周波数の組み合わせ間の複雑な関係を識別するための新しいアプローチを提供する。
論文 参考訳（メタデータ） (2024-04-08T04:41:39Z) - Frequency-domain MLPs are More Effective Learners in Time Series
Forecasting [67.60443290781988]
時系列予測は、金融、交通、エネルギー、医療など、さまざまな産業領域において重要な役割を果たしてきた。
最多ベースの予測手法は、ポイントワイドマッピングと情報のボトルネックに悩まされる。
本稿では、時系列予測のための周波数領域上に構築された、シンプルで効果的なアーキテクチャであるFreTSを提案する。
論文 参考訳（メタデータ） (2023-11-10T17:05:13Z) - Grouped self-attention mechanism for a memory-efficient Transformer [64.0125322353281]
天気予報、電力消費、株式市場などの現実世界のタスクには、時間とともに変化するデータの予測が含まれる。
時系列データは通常、その周期的特性と時間的長期依存性のために、長いシーケンスで長い観察期間にわたって記録される。
我々はGSA(Grouped Self-Attention)とCCA(Compressed Cross-Attention)の2つの新しいモジュールを提案する。
提案モデルでは,既存の手法に匹敵する計算量と性能の低減が効果的に示された。
論文 参考訳（メタデータ） (2022-10-02T06:58:49Z) - W-Transformers : A Wavelet-based Transformer Framework for Univariate
Time Series Forecasting [7.075125892721573]
我々はウェーブレットベースのトランスフォーマーエンコーダアーキテクチャを用いて,非定常時系列のトランスフォーマーモデルを構築した。
各種ドメインから公開されているベンチマーク時系列データセットについて,本フレームワークの評価を行った。
論文 参考訳（メタデータ） (2022-09-08T17:39:38Z) - HyperTime: Implicit Neural Representation for Time Series [131.57172578210256]
暗黙の神経表現(INR)は、データの正確で解像度に依存しないエンコーディングを提供する強力なツールとして最近登場した。
本稿では、INRを用いて時系列の表現を分析し、再構成精度とトレーニング収束速度の点で異なるアクティベーション関数を比較した。
本稿では,INRを利用して時系列データセット全体の圧縮潜在表現を学習するハイパーネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-08-11T14:05:51Z) - Deep Cellular Recurrent Network for Efficient Analysis of Time-Series
Data with Spatial Information [52.635997570873194]
本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。
提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
論文 参考訳（メタデータ） (2021-01-12T20:08:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。