論文の概要: PENGUIN: Enhancing Transformer with Periodic-Nested Group Attention for Long-term Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2508.13773v2
- Date: Fri, 22 Aug 2025 15:38:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-25 12:20:05.377344
- Title: PENGUIN: Enhancing Transformer with Periodic-Nested Group Attention for Long-term Time Series Forecasting
- Title（参考訳）: PENGUIN:長期連続予測のための周期的グループ注意による変圧器の強化
- Authors: Tian Sun, Yuqi Chen, Weiwei Sun,
- Abstract要約: 本稿では,PENGUINという,シンプルで効果的なグループ注意機構を提案する。
提案手法は, 周期パターンを明示的にモデル化することの重要性を強調し, 実効時系列モデリングに相対的注意バイアスを取り入れることである。
さまざまなベンチマークの実験により、PENGUINはTransformerベースのモデルとTransformerベースのモデルの両方を一貫して上回っていることが示されている。
- 参考スコア（独自算出の注目度）: 3.161024408916268
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-term time series forecasting (LTSF) is a fundamental task with wide-ranging applications. Although Transformer-based models have made significant breakthroughs in forecasting, their effectiveness for time series forecasting remains debatable. In this paper, we revisit the significance of self-attention and propose a simple yet effective mechanism, Periodic-Nested Group Attention, namely PENGUIN. Our approach highlights the importance of explicitly modeling periodic patterns and incorporating relative attention bias for effective time series modeling. To this end, we introduce a periodic-nested relative attention bias that captures periodic structures directly. To handle multiple coexisting periodicities (e.g., daily and weekly cycles), we design a grouped attention mechanism, where each group targets a specific periodicity using a multi-query attention mechanism. Extensive experiments across diverse benchmarks demonstrate that PENGUIN consistently outperforms both MLP-based and Transformer-based models.
- Abstract（参考訳）: 長期時系列予測(LTSF)は広範囲のアプリケーションにおいて基本的な課題である。
Transformerベースのモデルは予測に大きなブレークスルーをもたらしたが、時系列予測の有効性は相変わらず議論の余地がある。
本稿では,自己注意の重要性を再考し,PENGUINという,シンプルで効果的なグループ注意機構を提案する。
提案手法は, 周期パターンを明示的にモデル化することの重要性を強調し, 実効時系列モデリングに相対的注意バイアスを取り入れることである。
この目的のために、周期的な構造を直接キャプチャする周期的な相対的注意バイアスを導入する。
複数の共存周期(例えば、日・週の周期)を扱うために、グループ化されたアテンション機構を設計し、各グループで特定の周期をターゲットとしたマルチクエリアテンション機構を設計する。
様々なベンチマークによる大規模な実験により、PENGUINはMLPベースのモデルとTransformerベースのモデルの両方を一貫して上回っていることが示されている。
関連論文リスト
- PHAT: Modeling Period Heterogeneity for Multivariate Time Series Forecasting [30.347634829157766]
実世界のデータの周期性をモデル化するためのPHAT(Period Heterogeneity-Aware Transformer)を提案する。
バケット内の相互作用を制限し、クロスバケット接続をマスキングすることにより、PHATは一貫性のない期間からの干渉を効果的に回避する。
実世界の14のデータセットのPHATを18のベースラインに対して評価し,既存の手法よりも有意に優れていることを示した。
論文 参考訳（メタデータ） (2026-01-31T10:58:09Z) - PeriodNet: Boosting the Potential of Attention Mechanism for Time Series Forecasting [15.752636750230053]
本稿では、隣接した周期を解析するための周期注意機構とスパース周期注意機構を組み込んだ周期ネットを提案する。
PeriodNetは、従来のエンコーダ・デコーダ・トランスフォーマーアーキテクチャに基づく他のモデルと比較して、長さ720の時系列を予測する場合、相対的に22%の改善を実現している。
論文 参考訳（メタデータ） (2025-11-23T14:47:38Z) - Chronos-2: From Univariate to Universal Forecasting [52.753731922908905]
Chronos-2は、一変量、多変量、共変量による予測タスクをゼロショットで処理できる事前訓練されたモデルである。
fev-bench、GIFT-Eval、Chronos Benchmark IIの3つの総合ベンチマークで最先端のパフォーマンスを提供する。
Chronos-2のコンテキスト内学習能力は、現実世界の予測パイプラインで"as is"として使用できる汎用予測モデルとして確立されている。
論文 参考訳（メタデータ） (2025-10-17T17:00:53Z) - A Unified Frequency Domain Decomposition Framework for Interpretable and Robust Time Series Forecasting [81.73338008264115]
時系列予測の現在のアプローチは、時間領域であれ周波数領域であれ、主に線形層やトランスフォーマーに基づいたディープラーニングモデルを使用する。
本稿では,多種多様な時系列を数学的に抽象化する統合周波数領域分解フレームワークFIREを提案する。
火は長期予測ベンチマークで最先端のモデルを一貫して上回る。
論文 参考訳（メタデータ） (2025-10-11T09:59:25Z) - VARMA-Enhanced Transformer for Time Series Forecasting [4.982130518684668]
VARMAformerは、古典的な時系列分析の原理で、クロスアテンションのみのフレームワークの効率を相乗化する新しいアーキテクチャである。
これらの古典的な洞察を現代のバックボーンに融合させることで、VARMAformerはグローバル、長距離の依存関係と局所的な統計構造の両方をキャプチャする。
論文 参考訳（メタデータ） (2025-09-05T03:32:51Z) - MFRS: A Multi-Frequency Reference Series Approach to Scalable and Accurate Time-Series Forecasting [51.94256702463408]
時系列予測は、周波数の異なる周期特性から導かれる。
マルチ周波数参照系列相関解析に基づく新しい時系列予測手法を提案する。
主要なオープンデータセットと合成データセットの実験は、最先端のパフォーマンスを示している。
論文 参考訳（メタデータ） (2025-03-11T11:40:14Z) - TimesBERT: A BERT-Style Foundation Model for Time Series Understanding [72.64824086839631]
GPTスタイルのモデルは時系列予測の基礎モデルとして位置づけられている。
BERTスタイルのアーキテクチャは時系列理解のために完全にアンロックされていない。
時系列の汎用表現を学ぶために TimesBERT を設計する。
私たちのモデルは、さまざまなドメインにまたがる2600億のタイムポイントで事前トレーニングされています。
論文 参考訳（メタデータ） (2025-02-28T17:14:44Z) - FlexTSF: A Universal Forecasting Model for Time Series with Variable Regularities [17.164913785452367]
我々は,より優れた一般化を持ち,正規時間と不規則時間の両方をサポートする普遍時系列予測モデルFlexTSFを提案する。
12のデータセットの実験では、FlexTSFは、それぞれ通常の時系列と不規則時系列のために設計された最先端の予測モデルより優れていることが示されている。
論文 参考訳（メタデータ） (2024-10-30T16:14:09Z) - Introducing Spectral Attention for Long-Range Dependency in Time Series Forecasting [36.577411683455786]
最近の線形および変圧器ベースの予測器は時系列予測において優れた性能を示している。
時系列データにおける長距離依存関係を効果的に扱うことができないという点で制約されている。
本稿では,試料間の時間的相関を保った高速かつ効果的なスペクトル注意機構を提案する。
論文 参考訳（メタデータ） (2024-10-28T06:17:20Z) - Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
我々は時系列の統一予測のための因果変換器Timer-XLを提案する。
大規模な事前トレーニングに基づいて、Timer-XLは最先端のゼロショット性能を達成する。
論文 参考訳（メタデータ） (2024-10-07T07:27:39Z) - FAITH: Frequency-domain Attention In Two Horizons for Time Series Forecasting [13.253624747448935]
時系列予測は、産業機器の保守、気象学、エネルギー消費、交通流、金融投資など、様々な分野で重要な役割を果たしている。
現在のディープラーニングベースの予測モデルは、予測結果と基礎的真実の間に大きな違いを示すことが多い。
本稿では、時系列をトレンドと季節成分に分解する2つのホライズンズにおける周波数領域注意モデルを提案する。
論文 参考訳（メタデータ） (2024-05-22T02:37:02Z) - Towards Expressive Spectral-Temporal Graph Neural Networks for Time Series Forecasting [101.5022396668152]
スペクトル時間グラフニューラルネットワークは、ほとんどの時系列予測モデルの基礎となる、有望な抽象化である。
我々は、スペクトル時間GNNの表現力を高める理論的枠組みを確立する。
本研究は,GNNをベースとした時系列モデルにおいて,より広範に表現可能なGNNモデルを考案するための道筋をたどるものである。
論文 参考訳（メタデータ） (2023-05-11T05:56:38Z) - Model-Attentive Ensemble Learning for Sequence Modeling [86.4785354333566]
シーケンスモデリング(MAES)のためのモデル・アテンティブ・アンサンブル・ラーニングを提案する。
MAESは、異なるシーケンスダイナミクスの専門家を専門とし、予測を適応的に重み付けるために、注目ベースのゲーティングメカニズムを利用する時系列の専門家の混合物です。
MAESが時系列シフトを受けるデータセットの人気シーケンスモデルを大幅に上回ることを示す。
論文 参考訳（メタデータ） (2021-02-23T05:23:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。