論文の概要: Introducing Spectral Attention for Long-Range Dependency in Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2410.20772v1
• Date: Mon, 28 Oct 2024 06:17:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:19:39.386027
• Title: Introducing Spectral Attention for Long-Range Dependency in Time Series Forecasting
• Title（参考訳）: 時系列予測における長距離依存性に対するスペクトルアテンションの導入
• Authors: Bong Gyun Kang, Dongjun Lee, HyunGi Kim, DoHyun Chung,
• Abstract要約: 最近の線形および変圧器ベースの予測器は時系列予測において優れた性能を示している。 時系列データにおける長距離依存関係を効果的に扱うことができないという点で制約されている。 本稿では,試料間の時間的相関を保った高速かつ効果的なスペクトル注意機構を提案する。
• 参考スコア（独自算出の注目度）: 8.458068118782519
• License:
• Abstract: Sequence modeling faces challenges in capturing long-range dependencies across diverse tasks. Recent linear and transformer-based forecasters have shown superior performance in time series forecasting. However, they are constrained by their inherent inability to effectively address long-range dependencies in time series data, primarily due to using fixed-size inputs for prediction. Furthermore, they typically sacrifice essential temporal correlation among consecutive training samples by shuffling them into mini-batches. To overcome these limitations, we introduce a fast and effective Spectral Attention mechanism, which preserves temporal correlations among samples and facilitates the handling of long-range information while maintaining the base model structure. Spectral Attention preserves long-period trends through a low-pass filter and facilitates gradient to flow between samples. Spectral Attention can be seamlessly integrated into most sequence models, allowing models with fixed-sized look-back windows to capture long-range dependencies over thousands of steps. Through extensive experiments on 11 real-world time series datasets using 7 recent forecasting models, we consistently demonstrate the efficacy of our Spectral Attention mechanism, achieving state-of-the-art results.
• Abstract（参考訳）: シーケンスモデリングは、様々なタスクにわたる長距離依存関係をキャプチャする際の課題に直面します。 最近の線形および変圧器ベースの予測器は時系列予測において優れた性能を示している。 しかし、これらは時系列データの長距離依存性を効果的に処理できない固有の性質に制約されており、主に予測に固定サイズの入力を使用するためである。 さらに、彼らは通常、連続したトレーニングサンプルの時間的関係を、ミニバッチにシャッフルすることで犠牲にする。 これらの制約を克服するために,サンプル間の時間的相関を保ち,ベースモデル構造を維持しながら長距離情報の取り扱いを容易にする,高速かつ効果的なスペクトル注意機構を導入する。 スペクトル注意(Spectral Attention)は、ローパスフィルタを通じて長期間の傾向を保ち、サンプル間の勾配を緩和する。 スペクトル注意(Spectral Attention)は、ほとんどのシーケンスモデルにシームレスに統合することができ、固定サイズのルックバックウィンドウを持つモデルでは、数千ステップにわたる長距離依存関係をキャプチャすることができる。 7つの最新の予測モデルを用いた11の実世界の時系列データセットに関する広範な実験を通じて、スペクトル注意機構の有効性を一貫して実証し、最先端の結果を得る。

関連論文リスト

• TimeBridge: Non-Stationarity Matters for Long-term Time Series Forecasting [49.6208017412376]
  TimeBridgeは、非定常性と依存性モデリングの間のギャップを埋めるために設計された新しいフレームワークである。 TimeBridgeは、短期予測と長期予測の両方において、最先端のパフォーマンスを一貫して達成する。
  論文  参考訳（メタデータ） (2024-10-06T10:41:03Z)
• Multiscale Representation Enhanced Temporal Flow Fusion Model for Long-Term Workload Forecasting [19.426131129034115]
  本稿では,自己指導型マルチスケール表現学習を利用して,長期および短期のワークロードパターンを抽出する新しいフレームワークを提案する。 長期履歴はマルチスケール表現によって符号化され、短期観測は時流融合によってモデル化される。
  論文  参考訳（メタデータ） (2024-07-29T04:42:18Z)
• FAITH: Frequency-domain Attention In Two Horizons for Time Series Forecasting [13.253624747448935]
  時系列予測は、産業機器の保守、気象学、エネルギー消費、交通流、金融投資など、様々な分野で重要な役割を果たしている。 現在のディープラーニングベースの予測モデルは、予測結果と基礎的真実の間に大きな違いを示すことが多い。 本稿では、時系列をトレンドと季節成分に分解する2つのホライズンズにおける周波数領域注意モデルを提案する。
  論文  参考訳（メタデータ） (2024-05-22T02:37:02Z)
• Multi-Scale Dilated Convolution Network for Long-Term Time Series Forecasting [17.132063819650355]
  時系列の周期と傾向を捉えるために,MSDCN(Multi Scale Dilated Convolution Network)を提案する。 指数関数的に増加する拡張と異なるカーネルサイズを持つ異なる畳み込みブロックを設計し、異なるスケールで時系列データをサンプリングする。 提案手法の有効性を検証するため,8つの長期時系列予測ベンチマークデータセットを用いて実験を行った。
  論文  参考訳（メタデータ） (2024-05-09T02:11:01Z)
• TSLANet: Rethinking Transformers for Time Series Representation Learning [19.795353886621715]
  時系列データは、その固有の長短の依存関係によって特徴づけられる。 本稿では,時系列タスクの普遍的畳み込みモデルとして,新しい時系列軽量ネットワーク(TSLANet)を導入する。 我々の実験では、TSLANetは分類、予測、異常検出にまたがる様々なタスクにおいて最先端のモデルよりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-04-12T13:41:29Z)
• Adapting to Length Shift: FlexiLength Network for Trajectory Prediction [53.637837706712794]
  軌道予測は、自律運転、ロボット工学、シーン理解など、様々な応用において重要な役割を果たしている。 既存のアプローチは主に、一般に標準入力時間を用いて、公開データセットの予測精度を高めるために、コンパクトなニューラルネットワークの開発に重点を置いている。 本稿では,様々な観測期間に対する既存の軌道予測の堅牢性を高めるための,汎用的で効果的なフレームワークFlexiLength Network(FLN)を紹介する。
  論文  参考訳（メタデータ） (2024-03-31T17:18:57Z)
• Graph Spatiotemporal Process for Multivariate Time Series Anomaly Detection with Missing Values [67.76168547245237]
  本稿では,グラフ時間過程と異常スコアラを用いて異常を検出するGST-Proという新しいフレームワークを提案する。 実験結果から,GST-Pro法は時系列データ中の異常を効果的に検出し,最先端の手法より優れていることがわかった。
  論文  参考訳（メタデータ） (2024-01-11T10:10:16Z)
• Spatiotemporal-Linear: Towards Universal Multivariate Time Series Forecasting [10.404951989266191]
  本稿ではSTL(Spatio-Temporal-Linear)フレームワークを紹介する。 STLは、Linearベースのアーキテクチャを拡張するために、時間組込みと空間インフォームドのバイパスをシームレスに統合する。 実証的な証拠は、さまざまな観測時間と予測期間とデータセットにわたって、LinearとTransformerのベンチマークを上回り、STLの成果を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-12-22T17:46:34Z)
• Grouped self-attention mechanism for a memory-efficient Transformer [64.0125322353281]
  天気予報、電力消費、株式市場などの現実世界のタスクには、時間とともに変化するデータの予測が含まれる。 時系列データは通常、その周期的特性と時間的長期依存性のために、長いシーケンスで長い観察期間にわたって記録される。 我々はGSA(Grouped Self-Attention)とCCA(Compressed Cross-Attention)の2つの新しいモジュールを提案する。 提案モデルでは,既存の手法に匹敵する計算量と性能の低減が効果的に示された。
  論文  参考訳（メタデータ） (2022-10-02T06:58:49Z)
• Deep Autoregressive Models with Spectral Attention [74.08846528440024]
  本稿では,深部自己回帰モデルとスペクトル注意(SA)モジュールを組み合わせた予測アーキテクチャを提案する。 時系列の埋め込みをランダムなプロセスの発生としてスペクトル領域に特徴付けることにより,グローバルな傾向と季節パターンを同定することができる。 時系列に対するグローバルとローカルの2つのスペクトルアテンションモデルは、この情報を予測の中に統合し、スペクトルフィルタリングを行い、時系列のノイズを除去する。
  論文  参考訳（メタデータ） (2021-07-13T11:08:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。