論文の概要: VARMA-Enhanced Transformer for Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2509.04782v1
• Date: Fri, 05 Sep 2025 03:32:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-08 14:27:25.46823
• Title: VARMA-Enhanced Transformer for Time Series Forecasting
• Title（参考訳）: 時系列予測のためのVARMA強化変圧器
• Authors: Jiajun Song, Xiaoou Liu,
• Abstract要約: VARMAformerは、古典的な時系列分析の原理で、クロスアテンションのみのフレームワークの効率を相乗化する新しいアーキテクチャである。 これらの古典的な洞察を現代のバックボーンに融合させることで、VARMAformerはグローバル、長距離の依存関係と局所的な統計構造の両方をキャプチャする。
• 参考スコア（独自算出の注目度）: 4.982130518684668
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based models have significantly advanced time series forecasting. Recent work, like the Cross-Attention-only Time Series transformer (CATS), shows that removing self-attention can make the model more accurate and efficient. However, these streamlined architectures may overlook the fine-grained, local temporal dependencies effectively captured by classical statistical models like Vector AutoRegressive Moving Average model (VARMA). To address this gap, we propose VARMAformer, a novel architecture that synergizes the efficiency of a cross-attention-only framework with the principles of classical time series analysis. Our model introduces two key innovations: (1) a dedicated VARMA-inspired Feature Extractor (VFE) that explicitly models autoregressive (AR) and moving-average (MA) patterns at the patch level, and (2) a VARMA-Enhanced Attention (VE-atten) mechanism that employs a temporal gate to make queries more context-aware. By fusing these classical insights into a modern backbone, VARMAformer captures both global, long-range dependencies and local, statistical structures. Through extensive experiments on widely-used benchmark datasets, we demonstrate that our model consistently outperforms existing state-of-the-art methods. Our work validates the significant benefit of integrating classical statistical insights into modern deep learning frameworks for time series forecasting.
• Abstract（参考訳）: トランスフォーマーベースのモデルでは、時系列予測が大幅に進歩している。 最近の研究、例えばCATS(Cross-Attention-only Time Series transformer)は、自己注意を取り除くことでモデルをより正確かつ効率的にすることができることを示している。 しかしながら、これらの合理化されたアーキテクチャは、Vector AutoRegressive moving Average Model (VARMA)のような古典的な統計モデルによって効果的に捉えられた、きめ細かい局所的依存関係を見落としてしまう可能性がある。 このギャップに対処するために,古典的時系列解析の原理を取り入れたクロスアテンションのみのフレームワークの効率を相乗化する新しいアーキテクチャであるVARMAformerを提案する。 本モデルでは,(1)自己回帰(AR)と移動平均(MA)パターンをパッチレベルで明示的にモデル化する専用のVFE(VARMA-inspired Feature Extractor)と,(VE-atten)メカニズムを用いた時間ゲートを用いたクエリのコンテキスト認識を実現する。 これらの古典的な洞察を現代のバックボーンに融合させることで、VARMAformerはグローバル、長距離の依存関係と局所的な統計構造の両方をキャプチャする。 広く使われているベンチマークデータセットに関する広範な実験を通じて、我々のモデルは既存の最先端手法よりも一貫して優れていることを実証する。 我々の研究は、時系列予測のための現代のディープラーニングフレームワークに古典的な統計的知見を統合することの意義を検証している。

関連論文リスト

• WAVE: Weighted Autoregressive Varying Gate for Time Series Forecasting [9.114664059026767]
  本稿では,AR(Autoregressive Varying GatE attention mechanism)とMA(Moving-average)を併用した重み付き自己回帰Varying GatEアテンション機構を提案する。 様々な注意機構に適応し、時系列データの中で長距離および局所的な時間パターンをキャプチャする能力を強化し、分離することができる。
  論文  参考訳（メタデータ） (2024-10-04T05:45:50Z)
• UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
  フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。 提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
  論文  参考訳（メタデータ） (2024-06-07T14:39:28Z)
• Are Self-Attentions Effective for Time Series Forecasting? [4.990206466948269]
  時系列予測は、複数のドメインやさまざまなシナリオにわたるアプリケーションにとって不可欠である。 近年の研究では、より単純な線形モデルは、複雑なトランスフォーマーベースのアプローチよりも優れていることが示されている。 我々は、新しいアーキテクチャ、クロスアテンションのみの時系列変換器(CATS)を導入する。 提案モデルでは,平均二乗誤差が最小であり,既存のモデルに比べてパラメータが少ないため,性能が向上する。
  論文  参考訳（メタデータ） (2024-05-27T06:49:39Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Parsimony or Capability? Decomposition Delivers Both in Long-term Time Series Forecasting [46.63798583414426]
  時系列予測(LTSF)は時系列分析において重要なフロンティアである。 本研究は, 分析的および実証的な証拠から, 分解が過剰なモデルインフレーションを包含する鍵であることを実証する。 興味深いことに、時系列データの本質的なダイナミクスに分解を合わせることで、提案モデルは既存のベンチマークより優れている。
  論文  参考訳（メタデータ） (2024-01-22T13:15:40Z)
• Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting [54.04430089029033]
  本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。 Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。 このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-12T12:29:32Z)
• Generative Modeling of Regular and Irregular Time Series Data via Koopman VAEs [50.25683648762602]
  モデルの新しい設計に基づく新しい生成フレームワークであるKoopman VAEを紹介する。 クープマン理論に触発され、線形写像を用いて潜在条件事前力学を表現する。 KoVAEは、いくつかの挑戦的な合成および実世界の時系列生成ベンチマークにおいて、最先端のGANおよびVAEメソッドより優れている。
  論文  参考訳（メタデータ） (2023-10-04T07:14:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。