論文の概要: PENGUIN: Enhancing Transformer with Periodic-Nested Group Attention for Long-term Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2508.13773v1
• Date: Tue, 19 Aug 2025 12:19:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-20 15:36:31.91313
• Title: PENGUIN: Enhancing Transformer with Periodic-Nested Group Attention for Long-term Time Series Forecasting
• Title（参考訳）: PENGUIN:長期連続予測のための周期的グループ注意による変圧器の強化
• Authors: Tian Sun, Yuqi Chen, Weiwei Sun,
• Abstract要約: 本稿では,PENGUINという,シンプルで効果的なグループ注意機構を提案する。 提案手法は, 周期パターンを明示的にモデル化することの重要性を強調し, 実効時系列モデリングに相対的注意バイアスを取り入れることである。 さまざまなベンチマークの実験により、PENGUINはTransformerベースのモデルとTransformerベースのモデルの両方を一貫して上回っていることが示されている。
• 参考スコア（独自算出の注目度）: 3.3558166626763977
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-term time series forecasting (LTSF) is a fundamental task with wide-ranging applications. Although Transformer-based models have made significant breakthroughs in forecasting, their effectiveness for time series forecasting remains debatable. In this paper, we revisit the significance of self-attention and propose a simple yet effective mechanism, Periodic-Nested Group Attention, namely PENGUIN. Our approach highlights the importance of explicitly modeling periodic patterns and incorporating relative attention bias for effective time series modeling. To this end, we introduce a periodic-nested relative attention bias that captures periodic structures directly. To handle multiple coexisting periodicities (e.g., daily and weekly cycles), we design a grouped attention mechanism, where each group targets a specific periodicity using a multi-query attention mechanism. Extensive experiments across diverse benchmarks demonstrate that PENGUIN consistently outperforms both MLP-based and Transformer-based models.
• Abstract（参考訳）: 長期時系列予測(LTSF)は広範囲のアプリケーションにおいて基本的な課題である。 Transformerベースのモデルは予測に大きなブレークスルーをもたらしたが、時系列予測の有効性は相変わらず議論の余地がある。 本稿では,自己注意の重要性を再考し,PENGUINという,シンプルで効果的なグループ注意機構を提案する。 提案手法は, 周期パターンを明示的にモデル化することの重要性を強調し, 実効時系列モデリングに相対的注意バイアスを取り入れることである。 この目的のために、周期的な構造を直接キャプチャする周期的な相対的注意バイアスを導入する。 複数の共存周期(例えば、日・週の周期)を扱うために、グループ化されたアテンション機構を設計し、各グループで特定の周期をターゲットとしたマルチクエリアテンション機構を設計する。 様々なベンチマークによる大規模な実験により、PENGUINはMLPベースのモデルとTransformerベースのモデルの両方を一貫して上回っていることが示されている。

関連論文リスト

• MFRS: A Multi-Frequency Reference Series Approach to Scalable and Accurate Time-Series Forecasting [51.94256702463408]
  時系列予測は、周波数の異なる周期特性から導かれる。 マルチ周波数参照系列相関解析に基づく新しい時系列予測手法を提案する。 主要なオープンデータセットと合成データセットの実験は、最先端のパフォーマンスを示している。
  論文  参考訳（メタデータ） (2025-03-11T11:40:14Z)
• TimesBERT: A BERT-Style Foundation Model for Time Series Understanding [72.64824086839631]
  GPTスタイルのモデルは時系列予測の基礎モデルとして位置づけられている。 BERTスタイルのアーキテクチャは時系列理解のために完全にアンロックされていない。 時系列の汎用表現を学ぶために TimesBERT を設計する。 私たちのモデルは、さまざまなドメインにまたがる2600億のタイムポイントで事前トレーニングされています。
  論文  参考訳（メタデータ） (2025-02-28T17:14:44Z)
• FlexTSF: A Universal Forecasting Model for Time Series with Variable Regularities [17.164913785452367]
  我々は,より優れた一般化を持ち,正規時間と不規則時間の両方をサポートする普遍時系列予測モデルFlexTSFを提案する。 12のデータセットの実験では、FlexTSFは、それぞれ通常の時系列と不規則時系列のために設計された最先端の予測モデルより優れていることが示されている。
  論文  参考訳（メタデータ） (2024-10-30T16:14:09Z)
• Introducing Spectral Attention for Long-Range Dependency in Time Series Forecasting [36.577411683455786]
  最近の線形および変圧器ベースの予測器は時系列予測において優れた性能を示している。 時系列データにおける長距離依存関係を効果的に扱うことができないという点で制約されている。 本稿では,試料間の時間的相関を保った高速かつ効果的なスペクトル注意機構を提案する。
  論文  参考訳（メタデータ） (2024-10-28T06:17:20Z)
• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための因果変換器Timer-XLを提案する。 大規模な事前トレーニングに基づいて、Timer-XLは最先端のゼロショット性能を達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• FAITH: Frequency-domain Attention In Two Horizons for Time Series Forecasting [13.253624747448935]
  時系列予測は、産業機器の保守、気象学、エネルギー消費、交通流、金融投資など、様々な分野で重要な役割を果たしている。 現在のディープラーニングベースの予測モデルは、予測結果と基礎的真実の間に大きな違いを示すことが多い。 本稿では、時系列をトレンドと季節成分に分解する2つのホライズンズにおける周波数領域注意モデルを提案する。
  論文  参考訳（メタデータ） (2024-05-22T02:37:02Z)
• Towards Expressive Spectral-Temporal Graph Neural Networks for Time Series Forecasting [101.5022396668152]
  スペクトル時間グラフニューラルネットワークは、ほとんどの時系列予測モデルの基礎となる、有望な抽象化である。 我々は、スペクトル時間GNNの表現力を高める理論的枠組みを確立する。 本研究は,GNNをベースとした時系列モデルにおいて,より広範に表現可能なGNNモデルを考案するための道筋をたどるものである。
  論文  参考訳（メタデータ） (2023-05-11T05:56:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。