論文の概要: Self-Gating Attention for Efficient Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2607.02344v1
• Date: Thu, 02 Jul 2026 15:49:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.908756
• Title: Self-Gating Attention for Efficient Time Series Forecasting
• Title（参考訳）: 効率的な時系列予測のためのセルフゲーティング注意
• Authors: Dezheng Wang, Tong Chen, Wei Yuan, Congyan Chen, Shihua Li, Hongzhi Yin,
• Abstract要約: 時系列予測における自己注意マップは、しばしば異なるタイムスタンプにまたがる冗長なパターンを含む。 本稿では,共有学習行列と入力依存残差成分で注目スコアを表すプラグイン・アンド・プレイアテンション機構であるセルフゲーティング・アテンション(SGA)を提案する。
• 参考スコア（独自算出の注目度）: 32.21325858238185
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer architectures have shown strong potential in time series forecasting, where multi-head self-attention is widely used to capture temporal dependencies across historical timestamps. However, standard self-attention has quadratic time and memory complexity with respect to the look-back length. This cost may limit its use in resource-constrained or high-throughput forecasting systems, where fast and memory-efficient inference is important. Through qualitative and quantitative analyses, we observe that self-attention maps in time series forecasting often contain redundant patterns across different timestamps. This phenomenon can be related to the repeated temporal patterns and relatively stable temporal correlations in many real-world time series. Motivated by this observation, we propose Self-Gating Attention (SGA), a plug-and-play attention mechanism that represents the attention score with a shared learnable matrix and an input-dependent residual component. The shared matrix captures common attention patterns, while the residual component captures input-dependent variations. In this way, SGA avoids the query and key projections used in standard attention score computation, leading to linear time and score-matrix memory complexity with respect to the look-back length. We integrate SGA into several forecasting backbones and compare it with standard self-attention and lightweight attention variants on nine publicly available real-world datasets covering electricity, finance, weather, medical monitoring, human activity, and climate records. The results show that SGA improves inference efficiency on public benchmarks while maintaining competitive forecasting performance against state-of-the-art attention mechanisms. These benchmark results provide deployment-oriented evidence.
• Abstract（参考訳）: トランスフォーマーアーキテクチャは時系列予測において強い可能性を示しており、歴史的タイムスタンプ間の時間的依存関係を捉えるために、マルチヘッドの自己注意が広く使用されている。 しかし、標準的な自己注意は、ルックバック長に関して2次時間とメモリの複雑さを持つ。 このコストは、高速でメモリ効率のよい推論が重要であるリソース制約や高スループットの予測システムでの使用を制限する可能性がある。 定性的かつ定量的な分析を通して、時系列予測における自己注意マップは、異なるタイムスタンプにまたがる冗長なパターンを含むことが多いことを観察する。 この現象は多くの実世界の時系列において、繰り返しの時間的パターンと比較的安定した時間的相関に関連付けられる。 本研究の目的は,共有学習可能な行列と入力依存残差成分で注目スコアを表すプラグイン・アンド・プレイ・アテンション機構であるセルフゲーティング・アテンション(SGA)を提案することである。 共有マトリックスは一般的な注意パターンをキャプチャし、残りのコンポーネントは入力依存のバリエーションをキャプチャする。 このように、SGAは標準アテンションスコア計算で使用されるクエリやキープロジェクションを回避し、リニア時間とスコア行列メモリの複雑さをルックバック長に関して引き起こす。 我々は、SGAをいくつかの予測バックボーンに統合し、電気、金融、天気、医療モニタリング、人的活動、気候記録を含む9つの公開現実データセット上で、標準的な自己注意と軽量な注意の亜種と比較する。 その結果、SGAは、最先端の注意機構に対する競争予測性能を維持しつつ、公開ベンチマークの推論効率を向上することを示した。 これらのベンチマーク結果は、デプロイメント指向の証拠を提供する。

関連論文リスト

• TiWeaver: Unified Temporal Dynamics Modeling via Contextual Patching [15.279995924017458]
  TiWeaverは、時間的ダイナミクスと細粒度チャネル間の依存関係を適応的に扱うように設計された統合フレームワークである。 12のリアルタイム時系列データセット上でTiWeaverを評価し、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-06-02T04:06:12Z)
• MFRS: A Multi-Frequency Reference Series Approach to Scalable and Accurate Time-Series Forecasting [51.94256702463408]
  時系列予測は、周波数の異なる周期特性から導かれる。 マルチ周波数参照系列相関解析に基づく新しい時系列予測手法を提案する。 主要なオープンデータセットと合成データセットの実験は、最先端のパフォーマンスを示している。
  論文  参考訳（メタデータ） (2025-03-11T11:40:14Z)
• Powerformer: A Transformer with Weighted Causal Attention for Time-series Forecasting [50.298817606660826]
  我々は,非因果重みをスムーズな重み付き崩壊に応じて再加重する因果重みに置き換える新しいトランスフォーマーであるPowerformerを紹介する。 我々の実証実験の結果,Powerformer は公開時系列ベンチマークで最先端の精度を達成できた。 分析の結果、トレーニング中にモデルの局所性バイアスが増幅され、時系列データとパワールールに基づく注意の相互作用が示されることがわかった。
  論文  参考訳（メタデータ） (2025-02-10T04:42:11Z)
• TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
  時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。 本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
  論文  参考訳（メタデータ） (2024-02-04T13:10:51Z)
• Learning Time-aware Graph Structures for Spatially Correlated Time Series Forecasting [30.93275270960829]
  本稿では時系列間の時間認識相関を抽出する時間認識グラフ構造学習(TagSL)を提案する。 グラフ畳み込みに基づくGated Recurrent Unit (GCGRU) も提案する。 最後に,TagSLとGCGRUを組み合わせたTGCRN(Time-aware Graph Convolutional Recurrent Network)という統合フレームワークを導入し,マルチステップ時間予測のためのエンコーダデコーダアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-12-27T04:23:43Z)
• Learning Multi-graph Structure for Temporal Knowledge Graph Reasoning [3.3571415078869955]
  本稿では,LMS(Learning Multi-graph Structure)に着目した革新的な推論手法を提案する。 LMSは、タイムスタンプに沿って効果的にエンティティ表現をマージするための適応ゲートを組み込んでいる。 また、タイムスタンプのセマンティクスをグラフアテンション計算や時間認識デコーダに統合する。
  論文  参考訳（メタデータ） (2023-12-04T08:23:09Z)
• Grouped self-attention mechanism for a memory-efficient Transformer [64.0125322353281]
  天気予報、電力消費、株式市場などの現実世界のタスクには、時間とともに変化するデータの予測が含まれる。 時系列データは通常、その周期的特性と時間的長期依存性のために、長いシーケンスで長い観察期間にわたって記録される。 我々はGSA(Grouped Self-Attention)とCCA(Compressed Cross-Attention)の2つの新しいモジュールを提案する。 提案モデルでは,既存の手法に匹敵する計算量と性能の低減が効果的に示された。
  論文  参考訳（メタデータ） (2022-10-02T06:58:49Z)
• An Unsupervised Short- and Long-Term Mask Representation for Multivariate Time Series Anomaly Detection [2.387411589813086]
  本稿では,教師なし短時間・長期マスク表現学習(SLMR)に基づく異常検出手法を提案する。 実験により,本手法の性能は,実世界の3つのデータセットにおいて,他の最先端モデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-08-19T09:34:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。