論文の概要: FATE: Focal-modulated Attention Encoder for Multivariate Time-series Forecasting
- arxiv url: http://arxiv.org/abs/2408.11336v2
- Date: Sun, 15 Jun 2025 07:50:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-17 17:28:44.696758
- Title: FATE: Focal-modulated Attention Encoder for Multivariate Time-series Forecasting
- Title(参考訳): FATE:多変量時系列予測のための焦点変調アテンションエンコーダ
- Authors: Tajamul Ashraf, Janibul Bashir,
- Abstract要約: 気候は、海面の上昇、氷河の融解、ますます極端な気候パターンなど、21世紀の最も急進的な世界的な課題の1つである。
正確な予測はこれらの現象を監視し、緩和戦略を支援するために重要である。
CNN、RNN、アテンションベースのトランスフォーマーなど、最近の時系列予測のためのデータ駆動モデルでは、依存関係と限定並列化に苦戦している。
本研究は,時系列予測のための修正注意文(FATE)を提示する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Climate change stands as one of the most pressing global challenges of the twenty-first century, with far-reaching consequences such as rising sea levels, melting glaciers, and increasingly extreme weather patterns. Accurate forecasting is critical for monitoring these phenomena and supporting mitigation strategies. While recent data-driven models for time-series forecasting, including CNNs, RNNs, and attention-based transformers, have shown promise, they often struggle with sequential dependencies and limited parallelization, especially in long-horizon, multivariate meteorological datasets. In this work, we present Focal Modulated Attention Encoder (FATE), a novel transformer architecture designed for reliable multivariate time-series forecasting. Unlike conventional models, FATE introduces a tensorized focal modulation mechanism that explicitly captures spatiotemporal correlations in time-series data. We further propose two modulation scores that offer interpretability by highlighting critical environmental features influencing predictions. We benchmark FATE across seven diverse real-world datasets including ETTh1, ETTm2, Traffic, Weather5k, USA-Canada, Europe, and LargeST datasets, and show that it consistently outperforms all state-of-the-art methods, including temperature datasets. Our ablation studies also demonstrate that FATE generalizes well to broader multivariate time-series forecasting tasks. For reproducible research, code is released at https://github.com/Tajamul21/FATE.
- Abstract(参考訳): 気候変動は、海面の上昇、氷河の融解、そしてますます極端な気象パターンなど、21世紀の最も急進的な世界的な課題の1つである。
正確な予測はこれらの現象を監視し、緩和戦略を支援するために重要である。
時系列予測のための最近のデータ駆動モデル(CNN、RNN、アテンションベースのトランスフォーマーなど)は、将来性を示しているが、特に長期の多変量気象データセットにおいて、シーケンシャルな依存関係と限定的な並列化に苦しむことが多い。
本研究では,信頼性のある多変量時系列予測のために設計された新しいトランスフォーマアーキテクチャであるFocal Modulated Attention Encoder (FATE)を提案する。
従来のモデルとは異なり、FATEは時系列データの時空間相関を明示的にキャプチャするテンソル化焦点変調機構を導入している。
さらに,予測に影響を及ぼす重要な環境特徴を強調することにより,解釈可能性を提供する2つの変調スコアを提案する。
ETTh1、ETTm2、Traffic、Weather5k、USA-Canada、Europe、LargeSTを含む7つの現実世界のデータセットでFATEをベンチマークし、温度データセットを含む最先端の手法を一貫して上回っていることを示す。
我々のアブレーション研究は、FATEがより広範な多変量時系列予測タスクによく当てはまることを示した。
再現可能な研究のために、コードはhttps://github.com/Tajamul21/FATEで公開されている。
関連論文リスト
- Accurate Prediction of Temperature Indicators in Eastern China Using a Multi-Scale CNN-LSTM-Attention model [0.0]
マルチスケールの畳み込み型CNN-LSTM-Attentionアーキテクチャに基づく天気予報モデルを提案する。
このモデルは、畳み込みニューラルネットワーク(CNN)、Long Short-Term Memory(LSTM)ネットワーク、およびアテンションメカニズムを統合している。
実験結果から, モデルが高精度に温度変動を予測できることが示唆された。
論文 参考訳(メタデータ) (2024-12-11T00:42:31Z) - Tackling Data Heterogeneity in Federated Time Series Forecasting [61.021413959988216]
時系列予測は、エネルギー消費予測、病気の伝染モニタリング、天気予報など、様々な実世界の応用において重要な役割を果たす。
既存のほとんどのメソッドは、分散デバイスから中央クラウドサーバに大量のデータを収集する、集中的なトレーニングパラダイムに依存しています。
本稿では,情報合成データを補助的知識キャリアとして生成することにより,データの均一性に対処する新しいフレームワークであるFed-TRENDを提案する。
論文 参考訳(メタデータ) (2024-11-24T04:56:45Z) - Deep Learning for Weather Forecasting: A CNN-LSTM Hybrid Model for Predicting Historical Temperature Data [7.559331742876793]
本研究では,畳み込みニューラルネットワーク(CNN)とLong Short-Term Memory(LSTM)を併用したハイブリッドモデルを提案する。
CNNは空間的特徴抽出に利用され、LSTMは時間的依存を処理し、予測精度と安定性が大幅に向上する。
論文 参考訳(メタデータ) (2024-10-19T03:38:53Z) - Weather Prediction Using CNN-LSTM for Time Series Analysis: A Case Study on Delhi Temperature Data [0.0]
本研究では,デリー地域の温度予測精度を高めるために,ハイブリッドCNN-LSTMモデルを提案する。
モデルの構築とトレーニングには,包括的データ前処理や探索分析など,直接的および間接的手法を併用した。
実験結果から,CNN-LSTMモデルが従来の予測手法よりも精度と安定性の両面で優れていたことが示唆された。
論文 参考訳(メタデータ) (2024-09-14T11:06:07Z) - Generating Fine-Grained Causality in Climate Time Series Data for Forecasting and Anomaly Detection [67.40407388422514]
我々は、TBN Granger Causalityという概念的微粒因果モデルを設計する。
次に, TBN Granger Causality を生成的に発見する TacSas という, エンドツーエンドの深部生成モデルを提案する。
気候予報のための気候指標ERA5と、極度気象警報のためのNOAAの極端気象基準でTacSasを試験する。
論文 参考訳(メタデータ) (2024-08-08T06:47:21Z) - PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
私たちはaを提案します。
フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。
我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
論文 参考訳(メタデータ) (2024-06-04T13:51:08Z) - Learning Robust Precipitation Forecaster by Temporal Frame Interpolation [65.5045412005064]
本研究では,空間的不一致に対するレジリエンスを示す頑健な降水予測モデルを構築した。
提案手法は,textit4cast'23コンペティションの移行学習リーダーボードにおいて,textit1位を確保したモデルにおいて,予測精度が大幅に向上した。
論文 参考訳(メタデータ) (2023-11-30T08:22:08Z) - Residual Corrective Diffusion Modeling for Km-scale Atmospheric Downscaling [58.456404022536425]
気象・気候からの物理的危険予知技術の現状には、粗い解像度のグローバルな入力によって駆動される高価なkmスケールの数値シミュレーションが必要である。
ここでは、コスト効率のよい機械学習代替手段として、このようなグローバルな入力をkmスケールにダウンスケールするために、生成拡散アーキテクチャを探索する。
このモデルは、台湾上空の地域気象モデルから2kmのデータを予測するために訓練され、世界25kmの再解析に基づいている。
論文 参考訳(メタデータ) (2023-09-24T19:57:22Z) - Mitigating Cold-start Forecasting using Cold Causal Demand Forecasting
Model [10.132124789018262]
我々は、因果推論とディープラーニングモデルを統合するCDF-cold(Cold Causal Demand Forecasting)フレームワークを紹介する。
実験により,CDF-coldフレームワークは,多変量時系列データの将来値を予測する上で,最先端の予測モデルより優れていることが示された。
論文 参考訳(メタデータ) (2023-06-15T16:36:34Z) - SERT: A Transfomer Based Model for Spatio-Temporal Sensor Data with
Missing Values for Environmental Monitoring [0.0]
センサーから収集されたデータは、故障した機器やメンテナンス上の問題によって、しばしば値が失われる。
計算を必要とせず、欠落したデータを処理しながら、多変量時間予測を行うことのできる2つのモデルを提案する。
論文 参考訳(メタデータ) (2023-06-05T17:06:23Z) - ClimaX: A foundation model for weather and climate [51.208269971019504]
ClimaXは気象と気候科学のディープラーニングモデルである。
気候データセットの自己教師型学習目標で事前トレーニングすることができる。
気候や気候の様々な問題に対処するために、微調整が可能である。
論文 参考訳(メタデータ) (2023-01-24T23:19:01Z) - TENT: Tensorized Encoder Transformer for Temperature Forecasting [3.498371632913735]
天気予報のためのトランスフォーマーアーキテクチャに基づく新しいモデルを提案する。
元の変換器と3D畳み込みニューラルネットワークと比較して、提案したTENTモデルは、気象データの基本となる複雑なパターンをより良くモデル化できることを示す。
2つの実生活気象データセットの実験を行う。
論文 参考訳(メタデータ) (2021-06-28T14:17:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。