論文の概要: PSformer: Parameter-efficient Transformer with Segment Attention for Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2411.01419v1
• Date: Sun, 03 Nov 2024 03:04:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:42:19.437448
• Title: PSformer: Parameter-efficient Transformer with Segment Attention for Time Series Forecasting
• Title（参考訳）: PSformer: 時系列予測のためのセグメンテーションアテンション付きパラメータ効率変換器
• Authors: Yanlong Wang, Jian Xu, Fei Ma, Shao-Lun Huang, Danny Dongning Sun, Xiao-Ping Zhang,
• Abstract要約: 時間予測は、高次元のデータと長期の依存関係によってしばしば複雑になる、さまざまな領域において重要な課題である。 本稿では,パラメータ共有(PS)と空間時間注意(SegAtt)という,時系列予測のための新しいトランスフォーマーアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 21.033660755921737
• License:
• Abstract: Time series forecasting remains a critical challenge across various domains, often complicated by high-dimensional data and long-term dependencies. This paper presents a novel transformer architecture for time series forecasting, incorporating two key innovations: parameter sharing (PS) and Spatial-Temporal Segment Attention (SegAtt). We also define the time series segment as the concatenation of sequence patches from the same positions across different variables. The proposed model, PSformer, reduces the number of training parameters through the parameter sharing mechanism, thereby improving model efficiency and scalability. The introduction of SegAtt could enhance the capability of capturing local spatio-temporal dependencies by computing attention over the segments, and improve global representation by integrating information across segments. The combination of parameter sharing and SegAtt significantly improves the forecasting performance. Extensive experiments on benchmark datasets demonstrate that PSformer outperforms popular baselines and other transformer-based approaches in terms of accuracy and scalability, establishing itself as an accurate and scalable tool for time series forecasting.
• Abstract（参考訳）: 時系列予測は、高次元のデータと長期の依存関係によってしばしば複雑になる、様々な領域において重要な課題である。 本稿では,パラメータ共有(PS)と空間時間セグメントアテンション(SegAtt)という,時系列予測のための新しいトランスフォーマーアーキテクチャを提案する。 また、時系列セグメントを、異なる変数をまたいだ同じ位置からのシーケンスパッチの連結として定義する。 提案モデルであるPSformerは,パラメータ共有機構を通じてトレーニングパラメータ数を削減し,モデル効率とスケーラビリティを向上させる。 SegAttの導入により、セグメント上の注意を計算することで、局所的な時空間依存関係をキャプチャする能力が向上し、セグメント間で情報を統合することで、グローバル表現を改善することができる。 パラメータ共有とSegAttの組み合わせは予測性能を大幅に改善する。 ベンチマークデータセットに関する大規模な実験は、PSformerが一般的なベースラインやその他のトランスフォーマーベースのアプローチを精度とスケーラビリティで上回り、時系列予測の正確でスケーラブルなツールとして確立していることを示している。

関連論文リスト

• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための生成変換器Timer-XLを提案する。 Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• Leveraging 2D Information for Long-term Time Series Forecasting with Vanilla Transformers [55.475142494272724]
  時系列予測は、様々な領域における複雑な力学の理解と予測に不可欠である。 GridTSTは、革新的な多方向性の注意を用いた2つのアプローチの利点を組み合わせたモデルである。 このモデルは、さまざまな現実世界のデータセットに対して、常に最先端のパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-05-22T16:41:21Z)
• Attention as Robust Representation for Time Series Forecasting [23.292260325891032]
  多くの実用化には時系列予測が不可欠である。 トランスフォーマーの重要な特徴、注意機構、データ表現を強化するために動的に埋め込みを融合させ、しばしば注意重みを副産物の役割に還元する。 提案手法は,時系列の主表現として注目重みを高くし,データポイント間の時間的関係を利用して予測精度を向上させる。
  論文  参考訳（メタデータ） (2024-02-08T03:00:50Z)
• TACTiS-2: Better, Faster, Simpler Attentional Copulas for Multivariate Time Series [57.4208255711412]
  パウラ理論に基づいて,最近導入されたトランスフォーマーに基づく注目パウラ(TACTiS)の簡易な目的を提案する。 結果から,実世界の予測タスクにまたがって,このモデルのトレーニング性能が大幅に向上し,最先端のパフォーマンスが達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-10-02T16:45:19Z)
• Stecformer: Spatio-temporal Encoding Cascaded Transformer for Multivariate Long-term Time Series Forecasting [11.021398675773055]
  本稿では,特徴抽出とターゲット予測の観点から,問題の完全な解決法を提案する。 抽出のために,半適応グラフを含む効率的な時間的符号化抽出器を設計し,十分な時間的情報を取得する。 予測のために、異なる間隔間の相関を強化するためにカスケードデ予測器(CDP)を提案する。
  論文  参考訳（メタデータ） (2023-05-25T13:00:46Z)
• DRAformer: Differentially Reconstructed Attention Transformer for Time-Series Forecasting [7.805077630467324]
  時系列予測は、機器ライフサイクル予測、天気予報、交通フロー予測など、多くの現実シナリオにおいて重要な役割を果たす。 最近の研究から、様々なトランスフォーマーモデルが時系列予測において顕著な結果を示したことが観察できる。 しかし、時系列予測タスクにおけるトランスフォーマーモデルの性能を制限する問題がまだ残っている。
  論文  参考訳（メタデータ） (2022-06-11T10:34:29Z)
• Preformer: Predictive Transformer with Multi-Scale Segment-wise Correlations for Long-Term Time Series Forecasting [29.89267034806925]
  トランスフォーマーに基づく手法は、長期の時系列予測において大きな可能性を秘めている。 本稿では, Em Preformer と呼ばれる予測型トランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-23T08:49:35Z)
• Cluster-and-Conquer: A Framework For Time-Series Forecasting [94.63501563413725]
  本稿では,高次元時系列データを予測するための3段階フレームワークを提案する。 当社のフレームワークは非常に汎用的で,各ステップで時系列予測やクラスタリングが利用可能です。 単純な線形自己回帰モデルでインスタンス化されると、いくつかのベンチマークデータセットで最先端の結果が得られる。
  論文  参考訳（メタデータ） (2021-10-26T20:41:19Z)
• Transformer Hawkes Process [79.16290557505211]
  本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。 THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。 本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
  論文  参考訳（メタデータ） (2020-02-21T13:48:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。