論文の概要: PeriodNet: Boosting the Potential of Attention Mechanism for Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2511.19497v1
• Date: Sun, 23 Nov 2025 14:47:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-26 17:37:04.045314
• Title: PeriodNet: Boosting the Potential of Attention Mechanism for Time Series Forecasting
• Title（参考訳）: PeriodNet: 時系列予測における注意メカニズムの可能性を高める
• Authors: Bowen Zhao, Huanlai Xing, Zhiwen Xiao, Jincheng Peng, Li Feng, Xinhan Wang, Rong Qu, Hui Li,
• Abstract要約: 本稿では、隣接した周期を解析するための周期注意機構とスパース周期注意機構を組み込んだ周期ネットを提案する。 PeriodNetは、従来のエンコーダ・デコーダ・トランスフォーマーアーキテクチャに基づく他のモデルと比較して、長さ720の時系列を予測する場合、相対的に22%の改善を実現している。
• 参考スコア（独自算出の注目度）: 15.752636750230053
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The attention mechanism has demonstrated remarkable potential in sequence modeling, exemplified by its successful application in natural language processing with models such as Bidirectional Encoder Representations from Transformers (BERT) and Generative Pre-trained Transformer (GPT). Despite these advancements, its utilization in time series forecasting (TSF) has yet to meet expectations. Exploring a better network structure for attention in TSF holds immense significance across various domains. In this paper, we present PeriodNet with a brand new structure to forecast univariate and multivariate time series. PeriodNet incorporates period attention and sparse period attention mechanism for analyzing adjacent periods. It enhances the mining of local characteristics, periodic patterns, and global dependencies. For efficient cross-variable modeling, we introduce an iterative grouping mechanism which can directly reduce the cross-variable redundancy. To fully leverage the extracted features on the encoder side, we redesign the entire architecture of the vanilla Transformer and propose a period diffuser for precise multi-period prediction. Through comprehensive experiments conducted on eight datasets, we demonstrate that PeriodNet outperforms six state-of-the-art models in both univariate and multivariate TSF scenarios in terms of mean square error and mean absolute error. In particular, PeriodNet achieves a relative improvement of 22% when forecasting time series with a length of 720, in comparison to other models based on the conventional encoder-decoder Transformer architecture.
• Abstract（参考訳）: このアテンションメカニズムは、自然言語処理において、BERT(Bidirectional Encoder Representations from Transformers)やGPT(Generative Pre-trained Transformer)といったモデルを用いて、シーケンスモデリングに顕著な可能性を実証している。 これらの進歩にもかかわらず、時系列予測(TSF)における利用はまだ期待に届いていない。 TSFにおいて、より優れたネットワーク構造を探索することは、様々な領域において大きな意味を持つ。 本稿では,一変量および多変量時系列を予測するための新しい構造を持つ PeriodNet を提案する。 PeriodNetは、隣接する周期を分析するために、周期注意とスパース周期注意機構を組み込んでいる。 これは、局所的な特徴、周期的なパターン、グローバルな依存関係のマイニングを強化する。 効率的なクロス変数モデリングのために、クロス変数の冗長性を直接的に低減できる反復的グループ化機構を導入する。 エンコーダ側で抽出した特徴をフル活用するために,バニラ変換器のアーキテクチャ全体を再設計し,正確な多周期予測のための周期ディフューザを提案する。 8つのデータセットで実施した総合的な実験により、平均二乗誤差と平均絶対誤差の両方で、A periodNetは最先端の6つのモデルより優れていることを示した。 具体的には,従来のエンコーダ・デコーダ・トランスフォーマーアーキテクチャに基づく他のモデルと比較して,時系列を720の長で予測する場合の22%の相対的な改善を実現している。

関連論文リスト

• EDformer: Embedded Decomposition Transformer for Interpretable Multivariate Time Series Predictions [4.075971633195745]
  本稿では,時系列予測タスクのための組込みトランス「EDformer」を提案する。 基本要素を変更することなく、Transformerアーキテクチャを再利用し、その構成部品の有能な機能について検討する。 このモデルは、複雑な実世界の時系列データセットの精度と効率の観点から、最先端の予測結果を得る。
  論文  参考訳（メタデータ） (2024-12-16T11:13:57Z)
• LATST: Are Transformers Necessarily Complex for Time-Series Forecasting [0.0]
  トランスフォーマーベースのアーキテクチャは自然言語処理とコンピュータビジョンにおいて顕著な成功を収めた。 これまでの研究では、伝統的な注意機構が、この領域におけるそれらの有効性を制限する重要な要素として特定されてきた。 本稿では,トランスフォーマーを用いた時系列予測において,エントロピー崩壊を緩和し,不安定性をトレーニングするための新しいアプローチであるLATSTを紹介する。
  論文  参考訳（メタデータ） (2024-10-31T09:09:39Z)
• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための因果変換器Timer-XLを提案する。 大規模な事前トレーニングに基づいて、Timer-XLは最先端のゼロショット性能を達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Parsimony or Capability? Decomposition Delivers Both in Long-term Time Series Forecasting [46.63798583414426]
  時系列予測(LTSF)は時系列分析において重要なフロンティアである。 本研究は, 分析的および実証的な証拠から, 分解が過剰なモデルインフレーションを包含する鍵であることを実証する。 興味深いことに、時系列データの本質的なダイナミクスに分解を合わせることで、提案モデルは既存のベンチマークより優れている。
  論文  参考訳（メタデータ） (2024-01-22T13:15:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。