論文の概要: Fi$^2$VTS: Time Series Forecasting Via Capturing Intra- and Inter-Variable Variations in the Frequency Domain
- arxiv url: http://arxiv.org/abs/2407.21275v5
- Date: Sun, 3 Nov 2024 04:17:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-08 13:51:33.601480
- Title: Fi$^2$VTS: Time Series Forecasting Via Capturing Intra- and Inter-Variable Variations in the Frequency Domain
- Title（参考訳）: Fi$^2$VTS:周波数領域内および周波数間変動をキャプチャする時系列予測
- Authors: Rujia Shen, Yang Yang, Yaoxion Lin, Liangliang Liu, Boran Wang, Yi Guan, Jingchi Jiang,
- Abstract要約: 時系列予測(TSF)は、電気変換、医療モニタリング、作物の生育など、様々な応用において重要な役割を果たしている。
TSFのディープラーニング手法の進歩にもかかわらず、長期連続を予測する能力は依然として制限されている。
これはtextbfintra- および textbfinter- textbfVariations をキャプチャするために textbfFrequency ドメインの観点を活用するものだ。
- 参考スコア（独自算出の注目度）: 6.61394789494625
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Time series forecasting (TSF) plays a crucial role in various applications, including electricity transformation, medical monitoring, and crop growth. Despite the advancements in deep learning methods for TSF, their capacity to predict long-term series remains constrained. This limitation arises from the failure to account for both intra- and inter-variable variations meanwhile. To mitigate this challenge, we introduce the Fi$^2$VBlock, which leverages a \textbf{F}requency domain perspective to capture \textbf{i}ntra- and \textbf{i}nter-variable \textbf{V}ariations. After transforming into the frequency domain via the Frequency Transform Module, the Frequency Cross Attention between the real and imaginary parts is designed to obtain enhanced frequency representations and capture intra-variable variations. Furthermore, Inception blocks are employed to integrate information, thus capturing correlations across different variables. Our backbone network, Fi$^2$VTS, employs a residual architecture by concatenating multiple Fi$^2$VBlocks, thereby preventing degradation issues. Theoretically, we demonstrate that Fi$^2$VTS achieves a substantial reduction in both time and memory complexity, decreasing from $\mathcal{O}(L^2)$ to $\mathcal{O}(L)$ per Fi$^2$VBlock computation. Empirical evaluations on three benchmark datasets reveal that Fi$^2$VTS delivers an overall relative Mean Squared Error (MSE) reduction of 30\% and an overall relative Mean Absolute Error (MAE) reduction of 22\% when compared to the latest state-of-the-art methods. The implementation code is accessible at \url{https://github.com/HITshenrj/Fi2VTS}.
- Abstract（参考訳）: 時系列予測(TSF)は、電気変換、医療モニタリング、作物の生育など、様々な応用において重要な役割を果たしている。
TSFのディープラーニング手法の進歩にもかかわらず、長期連続を予測する能力は依然として制限されている。
この制限は、変量内と変量内の両方を考慮できないことから生じる。
この課題を軽減するために、Fi$^2$VBlockを導入し、これは \textbf{F} の周波数領域の観点を利用して \textbf{i}ntra- と \textbf{i}nter-variable \textbf{V}ariations をキャプチャする。
周波数変換モジュールを介して周波数領域に変換された後、実部と虚部の間の周波数交差注意は、拡張された周波数表現を取得し、可変内変動を捉えるように設計されている。
さらに、インセプションブロックを使用して情報を統合し、異なる変数間の相関をキャプチャする。
我々のバックボーンネットワークであるFi$^2$VTSは、複数のFi$^2$VBlocksを連結して残留アーキテクチャを採用し、劣化問題を防止する。
理論的には、Fi$^2$VTSは時間とメモリの複雑さを大幅に減らし、$\mathcal{O}(L^2)$から$\mathcal{O}(L)$ per Fi$^2$VBlock計算に還元する。
3つのベンチマークデータセットに対する実証的な評価により、Fi$^2$VTSは平均正方誤差(MSE)を30倍に、平均絶対誤差(MAE)を22倍に下げる。
実装コードは \url{https://github.com/HITshenrj/Fi2VTS} で参照できる。
関連論文リスト
- A Statistical Analysis of Deep Federated Learning for Intrinsically Low-dimensional Data [32.98264375121064]
Federated Learning (FL)は、協調機械学習における画期的なパラダイムとして登場した。
本稿では,2段階サンプリングモデルにおけるディープフェデレート回帰の一般化特性について検討する。
論文 参考訳（メタデータ） (2024-10-28T01:36:25Z) - Online Learning and Information Exponents: On The Importance of Batch size, and Time/Complexity Tradeoffs [24.305423716384272]
我々は,1パス勾配勾配(SGD)を有する2層ニューラルネットワークの繰り返し時間に対するバッチサイズの影響について検討した。
大規模なバッチで勾配更新を行うことで、サンプル全体の複雑さを変えることなく、トレーニング時間を最小化できることが示される。
低次元常微分方程式(ODE)のシステムにより、トレーニングの進捗を追跡できることを示す。
論文 参考訳（メタデータ） (2024-06-04T09:44:49Z) - Leveraging 2D Information for Long-term Time Series Forecasting with Vanilla Transformers [55.475142494272724]
時系列予測は、様々な領域における複雑な力学の理解と予測に不可欠である。
GridTSTは、革新的な多方向性の注意を用いた2つのアプローチの利点を組み合わせたモデルである。
このモデルは、さまざまな現実世界のデータセットに対して、常に最先端のパフォーマンスを提供する。
論文 参考訳（メタデータ） (2024-05-22T16:41:21Z) - TSLANet: Rethinking Transformers for Time Series Representation Learning [19.795353886621715]
時系列データは、その固有の長短の依存関係によって特徴づけられる。
本稿では,時系列タスクの普遍的畳み込みモデルとして,新しい時系列軽量ネットワーク(TSLANet)を導入する。
我々の実験では、TSLANetは分類、予測、異常検出にまたがる様々なタスクにおいて最先端のモデルよりも優れていることを示した。
論文 参考訳（メタデータ） (2024-04-12T13:41:29Z) - CARD: Channel Aligned Robust Blend Transformer for Time Series
Forecasting [50.23240107430597]
本稿では,CARD(Channel Aligned Robust Blend Transformer)という特殊なトランスを設計する。
まず、CARDはチャネルに沿ったアテンション構造を導入し、信号間の時間的相関をキャプチャする。
第二に、マルチスケール知識を効率的に活用するために、異なる解像度のトークンを生成するトークンブレンドモジュールを設計する。
第3に,潜在的な過度な問題を軽減するため,時系列予測のためのロバストな損失関数を導入する。
論文 参考訳（メタデータ） (2023-05-20T05:16:31Z) - SViTT: Temporal Learning of Sparse Video-Text Transformers [65.93031164906812]
SViTTは,多フレーム推論が可能な疎ビデオテキストアーキテクチャであり,注目度の高い単純変換器よりもはるかに低コストである。
SViTTは、自己注意におけるトークン間のクエリキー通信を制限するエッジ空間と、非形式的視覚トークンを破棄する空間の2つの形式を採用している。
論文 参考訳（メタデータ） (2023-04-18T08:17:58Z) - FeDXL: Provable Federated Learning for Deep X-Risk Optimization [105.17383135458897]
我々は、既存のアルゴリズムが適用できないXリスクのファミリーを最適化するために、新しい連邦学習(FL)問題に取り組む。
Xリスクに対するFLアルゴリズムを設計する際の課題は、複数のマシンに対する目的の非可逆性と、異なるマシン間の相互依存にある。
論文 参考訳（メタデータ） (2022-10-26T00:23:36Z) - TimesNet: Temporal 2D-Variation Modeling for General Time Series
Analysis [80.56913334060404]
時系列解析は、天気予報、異常検出、行動認識などの応用において非常に重要である。
従来の手法では、1D時系列から直接これを達成しようと試みていた。
複雑な経時的変化を、複数の経時的変化と経時的変化に明らかにする。
論文 参考訳（メタデータ） (2022-10-05T12:19:51Z) - Long-term Leap Attention, Short-term Periodic Shift for Video
Classification [41.87505528859225]
ビデオトランスは、静的な視覚変換器よりも計算負荷が大きい。
本稿では,ビデオトランスフォーマーのための長期的textbftextitLeap Attention'(LAN),短期的textbftextitPeriodic Shift'(textitP-Shift)モジュールであるLAPSを提案する。
論文 参考訳（メタデータ） (2022-07-12T13:30:15Z) - On Multivariate Singular Spectrum Analysis and its Variants [23.517864567789353]
本稿では,多変量特異解析 (mSSA) の変種を導入,解析する。
我々は、計算とサンプル外予測の両方に対して平均2乗誤差を1/sqrtmin(N, T )T$として効果的に設定する。
ベンチマークデータセットでは、我々のmSSAの変種は最先端のニューラルネットワーク時系列手法と競合する。
論文 参考訳（メタデータ） (2020-06-24T03:17:01Z) - A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian
Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。
この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
論文 参考訳（メタデータ） (2020-06-09T02:05:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。