論文の概要: WaveRoRA: Wavelet Rotary Route Attention for Multivariate Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2410.22649v2
• Date: Thu, 21 Nov 2024 03:34:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 17:07:42.161704
• Title: WaveRoRA: Wavelet Rotary Route Attention for Multivariate Time Series Forecasting
• Title（参考訳）: WaveRoRA:多変量時系列予測のためのウェーブレット回転路注意
• Authors: Aobo Liang, Yan Sun, Nadra Guizani,
• Abstract要約: 本稿では,時系列データの複雑な時間依存性をモデル化するウェーブレット学習フレームワークを提案する。 ウェーブレット領域は時間と周波数情報を統合し、異なるスケールでの信号の局所特性の分析を可能にする。 回転路注意機構(Rotary Route Attention, RoRA)を提案する。
• 参考スコア（独自算出の注目度）: 4.680374146155483
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, Transformer-based models (Transformers) have achieved significant success in multivariate time series forecasting (MTSF). However, previous works focus on extracting features either from the time domain or the frequency domain, which inadequately captures the trends and periodic characteristics. To address this issue, we propose a wavelet learning framework to model complex temporal dependencies of the time series data. The wavelet domain integrates both time and frequency information, allowing for the analysis of local characteristics of signals at different scales. Additionally, the Softmax self-attention mechanism used by Transformers has quadratic complexity, which leads to excessive computational costs when capturing long-term dependencies. Therefore, we propose a novel attention mechanism: Rotary Route Attention (RoRA). Unlike Softmax attention, RoRA utilizes rotary position embeddings to inject relative positional information to sequence tokens and introduces a small number of routing tokens $r$ to aggregate information from the $KV$ matrices and redistribute it to the $Q$ matrix, offering linear complexity. We further propose WaveRoRA, which leverages RoRA to capture inter-series dependencies in the wavelet domain. We conduct extensive experiments on eight real-world datasets. The results indicate that WaveRoRA outperforms existing state-of-the-art models while maintaining lower computational costs. Our code is available at https://github.com/Leopold2333/WaveRoRA.
• Abstract（参考訳）: 近年,Transformerベースのモデル(Transformer)は多変量時系列予測(MTSF)において大きな成功を収めている。 しかし、過去の研究は、時間領域または周波数領域から特徴を抽出することに重点を置いており、それは傾向や周期的特性を不十分に捉えている。 この問題に対処するために,時系列データの複雑な時間依存性をモデル化するウェーブレット学習フレームワークを提案する。 ウェーブレット領域は時間と周波数情報を統合し、異なるスケールでの信号の局所特性の分析を可能にする。 さらに、Transformersが使用するSoftmax自己アテンションメカニズムは2次複雑さを持ち、長期依存関係をキャプチャする際の計算コストが過大になる。 そこで我々は,ロータリールート注意(Rotary Route Attention, RoRA)という新しい注意機構を提案する。 ソフトマックスの注目とは違って、RoRAは相対的な位置情報をシーケンシャルトークンに注入するために回転位置埋め込みを使用し、$KV$行列から情報を集約し、それを$Q$行列に再配布するために、少数のルーティングトークンを$r$で導入する。 さらに、RoRAを利用してウェーブレット領域のシリーズ間依存関係をキャプチャするWaveRoRAを提案する。 8つの実世界のデータセットについて広範な実験を行った。 その結果、WaveRoRAは計算コストを抑えつつ既存の最先端モデルよりも優れていたことが示唆された。 私たちのコードはhttps://github.com/Leopold2333/WaveRoRAで利用可能です。

関連論文リスト

• FRWKV:Frequency-Domain Linear Attention for Long-Term Time Series Forecasting [9.807623025167093]
  従来のトランスフォーマーは、2次複雑さのため、時系列時系列の予測において大きなボトルネックに直面している。 RWKVの$mathcalO(T)$リニアアテンションと周波数領域モデリングに着想を得てFRWKVを提案する。 本モデルでは,線形アテンション機構と周波数領域解析を統合し,アテンションパスにおける計算複雑性を$mathcalO(T)$とする。
  論文  参考訳（メタデータ） (2025-12-08T13:18:20Z)
• AWEMixer: Adaptive Wavelet-Enhanced Mixer Network for Long-Term Time Series Forecasting [12.450099337354017]
  適応ウェーブレット強化ミキサーネットワークであるAWEMixerを提案する。 周波数ルータは、Fast Fourier Transformによって達成された大域的周期パターンを利用して、局所化ウェーブレットサブバンドを適応的に重み付けする。 コヒーレントゲート融合ブロックは、多スケール時間表現による顕著な周波数特徴の選択的統合を実現する。
  論文  参考訳（メタデータ） (2025-11-06T11:27:12Z)
• WaveletDiff: Multilevel Wavelet Diffusion For Time Series Generation [15.28917997999402]
  WaveletDiffは、時系列データ固有の多重解像度構造を利用するために、ウェーブレット係数上で拡散モデルを直接訓練する新しいフレームワークである。 最先端の時間領域と周波数領域の生成手法を5つの異なるパフォーマンス指標で比較すると、一貫して性能が向上する。
  論文  参考訳（メタデータ） (2025-10-13T18:47:33Z)
• WDformer: A Wavelet-based Differential Transformer Model for Time Series Forecasting [21.222605948133893]
  時系列予測には,気象降雨予測,交通流解析,財務予測,運用負荷監視など,さまざまな応用がある。 時系列データのばらつきのため、時間領域や周波数領域のモデリングのみに依存するため、モデルがマルチドメイン情報を十分に活用する能力は制限される。 我々は,ウェーブレットに基づく微分変換器モデルであるWDformerを提案し,時系列データの多分解能解析を行った。
  論文  参考訳（メタデータ） (2025-09-25T02:43:51Z)
• MFRS: A Multi-Frequency Reference Series Approach to Scalable and Accurate Time-Series Forecasting [51.94256702463408]
  時系列予測は、周波数の異なる周期特性から導かれる。 マルチ周波数参照系列相関解析に基づく新しい時系列予測手法を提案する。 主要なオープンデータセットと合成データセットの実験は、最先端のパフォーマンスを示している。
  論文  参考訳（メタデータ） (2025-03-11T11:40:14Z)
• MixLinear: Extreme Low Resource Multivariate Time Series Forecasting with 0.1K Parameters [6.733646592789575]
  時系列予測(LTSF)は、パターンや傾向を特定するために、大量の時系列データを分析することによって、長期的な価値を予測する。 トランスフォーマーベースのモデルは高い予測精度を提供するが、ハードウェア制約のあるデバイスにデプロイするには計算集約的すぎることが多い。 資源制約のあるデバイスに特化して設計された超軽量時系列予測モデルであるMixLinearを提案する。
  論文  参考訳（メタデータ） (2024-10-02T23:04:57Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• Fourier Controller Networks for Real-Time Decision-Making in Embodied Learning [42.862705980039784]
  Transformerは、時間変化のある特徴をモデル化するための強化学習を約束している。 データ効率の低下と推論遅延の低さに悩まされている。 本稿では,周波数領域の新しい視点から課題を考察する。
  論文  参考訳（メタデータ） (2024-05-30T09:43:59Z)
• FAITH: Frequency-domain Attention In Two Horizons for Time Series Forecasting [13.253624747448935]
  時系列予測は、産業機器の保守、気象学、エネルギー消費、交通流、金融投資など、様々な分野で重要な役割を果たしている。 現在のディープラーニングベースの予測モデルは、予測結果と基礎的真実の間に大きな違いを示すことが多い。 本稿では、時系列をトレンドと季節成分に分解する2つのホライズンズにおける周波数領域注意モデルを提案する。
  論文  参考訳（メタデータ） (2024-05-22T02:37:02Z)
• ATFNet: Adaptive Time-Frequency Ensembled Network for Long-term Time Series Forecasting [7.694820760102176]
  ATFNetは、時間ドメインモジュールと周波数ドメインモジュールを組み合わせた革新的なフレームワークである。 本稿では,2つのモジュール間の重み調整機構であるドミナント・ハーモニック・シリーズ・エナジー・ウェイトリングを紹介する。 我々の複素数値スペクトル注意機構は、異なる周波数の組み合わせ間の複雑な関係を識別するための新しいアプローチを提供する。
  論文  参考訳（メタデータ） (2024-04-08T04:41:39Z)
• WFTNet: Exploiting Global and Local Periodicity in Long-term Time Series Forecasting [61.64303388738395]
  本稿では,長期連続予測のためのWavelet-Fourier Transform Network (WFTNet)を提案する。 さまざまな時系列データセットのテストでは、WFTNetは他の最先端のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-09-20T13:44:18Z)
• W-Transformers : A Wavelet-based Transformer Framework for Univariate Time Series Forecasting [7.075125892721573]
  我々はウェーブレットベースのトランスフォーマーエンコーダアーキテクチャを用いて,非定常時系列のトランスフォーマーモデルを構築した。 各種ドメインから公開されているベンチマーク時系列データセットについて,本フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2022-09-08T17:39:38Z)
• HyperTime: Implicit Neural Representation for Time Series [131.57172578210256]
  暗黙の神経表現(INR)は、データの正確で解像度に依存しないエンコーディングを提供する強力なツールとして最近登場した。 本稿では、INRを用いて時系列の表現を分析し、再構成精度とトレーニング収束速度の点で異なるアクティベーション関数を比較した。 本稿では,INRを利用して時系列データセット全体の圧縮潜在表現を学習するハイパーネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-08-11T14:05:51Z)
• Random Feature Attention [69.4671822971207]
  ソフトマックス関数を近似するためにランダム特徴法を用いる線形時間空間アテンション RFA を提案する。 RFAは、従来のソフトマックスアテンションのドロップイン代替として使用することができ、オプションのゲーティング機構を通じて、遅延バイアスで直接学習する方法を提供する。 言語モデリングと機械翻訳の実験は、RFAが強力なトランスのベースラインと類似またはより良いパフォーマンスを達成することを実証します。
  論文  参考訳（メタデータ） (2021-03-03T02:48:56Z)
• Radflow: A Recurrent, Aggregated, and Decomposable Model for Networks of Time Series [77.47313102926017]
  Radflowは、お互いに影響を与える時系列ネットワークの新しいモデルである。 それは3つの重要なアイデアを具現化します:時間に依存するノード埋め込み、マルチヘッドの注意を持つ隣接するノードからの影響の流れの集約、および時系列の多層分解を得るための繰り返しニューラルネットワーク。 radflowは異なる傾向や季節パターンを学習でき、欠落したノードやエッジに対して頑健であり、ネットワークの隣人間の時間パターンの相関は影響強度を反映している。
  論文  参考訳（メタデータ） (2021-02-15T00:57:28Z)
• Deep Cellular Recurrent Network for Efficient Analysis of Time-Series Data with Spatial Information [52.635997570873194]
  本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。 提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
  論文  参考訳（メタデータ） (2021-01-12T20:08:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。