論文の概要: BasisFormer: Attention-based Time Series Forecasting with Learnable and
Interpretable Basis
- arxiv url: http://arxiv.org/abs/2310.20496v2
- Date: Thu, 18 Jan 2024 16:51:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-19 19:44:44.962202
- Title: BasisFormer: Attention-based Time Series Forecasting with Learnable and
Interpretable Basis
- Title(参考訳): BasisFormer:学習可能かつ解釈可能なBasisによる注意ベースの時系列予測
- Authors: Zelin Ni and Hang Yu and Shizhan Liu and Jianguo Li and Weiyao Lin
- Abstract要約: ベースは、時系列予測のための現代のディープラーニングベースのモデルにおいて、不可欠な部分となっている。
本稿では,学習可能なベースと解釈可能なベースを活用する,エンドツーエンドの時系列予測アーキテクチャであるBasisFormerを提案する。
- 参考スコア(独自算出の注目度): 27.023255232163166
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bases have become an integral part of modern deep learning-based models for
time series forecasting due to their ability to act as feature extractors or
future references. To be effective, a basis must be tailored to the specific
set of time series data and exhibit distinct correlation with each time series
within the set. However, current state-of-the-art methods are limited in their
ability to satisfy both of these requirements simultaneously. To address this
challenge, we propose BasisFormer, an end-to-end time series forecasting
architecture that leverages learnable and interpretable bases. This
architecture comprises three components: First, we acquire bases through
adaptive self-supervised learning, which treats the historical and future
sections of the time series as two distinct views and employs contrastive
learning. Next, we design a Coef module that calculates the similarity
coefficients between the time series and bases in the historical view via
bidirectional cross-attention. Finally, we present a Forecast module that
selects and consolidates the bases in the future view based on the similarity
coefficients, resulting in accurate future predictions. Through extensive
experiments on six datasets, we demonstrate that BasisFormer outperforms
previous state-of-the-art methods by 11.04\% and 15.78\% respectively for
univariate and multivariate forecasting tasks. Code is available at:
\url{https://github.com/nzl5116190/Basisformer}
- Abstract(参考訳): ベースは、特徴抽出器や将来の参照として機能するため、時系列予測のための現代のディープラーニングベースのモデルに不可欠な部分となっている。
有効にするために、基底は特定の時系列データのセットに合わせて調整され、集合内の各時系列と異なる相関関係を示す必要がある。
しかしながら、現在の最先端の手法は、両方の要件を同時に満たす能力に制限されている。
この課題に対処するために,学習可能かつ解釈可能なベースを活用したエンドツーエンド時系列予測アーキテクチャであるbaseformerを提案する。
このアーキテクチャは3つのコンポーネントから構成される: まず、適応的な自己教師型学習を通じてベースを取得し、時系列の歴史的および将来のセクションを2つの異なるビューとして扱い、対照的な学習を採用する。
次に,歴史的視点における時系列と基底の類似度係数を双方向の相互注意により計算するコーフモジュールを設計する。
最後に、類似度係数に基づいて、将来の視点でベースを選択・統合し、正確な将来の予測を可能にする予測モジュールを提案する。
6つのデータセットに関する広範な実験を通して、BasisFormerは、単変量および多変量予測タスクにおいて、それぞれ11.04\%と15.78\%の従来の最先端メソッドよりも優れていることを示した。
コードは以下の通り。 \url{https://github.com/nzl5116190/Basisformer}
関連論文リスト
- TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [70.38241681764738]
時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。
本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
論文 参考訳(メタデータ) (2024-02-04T13:10:51Z) - Pushing the Limits of Pre-training for Time Series Forecasting in the
CloudOps Domain [54.67888148566323]
クラウドオペレーションドメインから,大規模時系列予測データセットを3つ導入する。
強力なゼロショットベースラインであり、モデルとデータセットサイズの両方において、さらなるスケーリングの恩恵を受けています。
これらのデータセットと結果を取得することは、古典的および深層学習のベースラインを事前訓練された方法と比較した総合的なベンチマーク結果の集合である。
論文 参考訳(メタデータ) (2023-10-08T08:09:51Z) - Few-Shot Forecasting of Time-Series with Heterogeneous Channels [4.635820333232681]
本研究では,時間的埋め込みを組み込んだ置換不変な深部集合ブロックからなるモデルを開発する。
実験を通して、我々のモデルはより単純なシナリオから実行されたベースラインよりも優れた一般化を提供することを示す。
論文 参考訳(メタデータ) (2022-04-07T14:02:15Z) - Boosted Ensemble Learning based on Randomized NNs for Time Series
Forecasting [0.0]
時系列予測は、特に時系列が複数の季節性、非線形傾向、変動の変動を表現する場合、難しい問題である。
本稿では,ランダムなニューラルネットワークに基づくアンサンブル学習を提案する。
論文 参考訳(メタデータ) (2022-03-02T09:43:18Z) - TACTiS: Transformer-Attentional Copulas for Time Series [76.71406465526454]
時間変化量の推定は、医療や金融などの分野における意思決定の基本的な構成要素である。
本稿では,アテンションベースデコーダを用いて関節分布を推定する多元的手法を提案する。
本研究では,本モデルが実世界の複数のデータセットに対して最先端の予測を生成することを示す。
論文 参考訳(メタデータ) (2022-02-07T21:37:29Z) - Cluster-and-Conquer: A Framework For Time-Series Forecasting [94.63501563413725]
本稿では,高次元時系列データを予測するための3段階フレームワークを提案する。
当社のフレームワークは非常に汎用的で,各ステップで時系列予測やクラスタリングが利用可能です。
単純な線形自己回帰モデルでインスタンス化されると、いくつかのベンチマークデータセットで最先端の結果が得られる。
論文 参考訳(メタデータ) (2021-10-26T20:41:19Z) - Interpretable Feature Construction for Time Series Extrinsic Regression [0.028675177318965035]
一部のアプリケーション領域では、対象変数が数値であり、その問題は時系列外部回帰(TSER)として知られている。
TSERの文脈における頑健で解釈可能な特徴構築と選択のためのベイズ法の拡張を提案する。
私たちのアプローチは、TSERに取り組むためのリレーショナルな方法を利用します:(i)、リレーショナルデータスキームに格納されている時系列の多様で単純な表現を構築し、(ii)二次テーブルからデータを「フラット化」するために解釈可能な機能を構築するためにプロポジション化技術を適用します。
論文 参考訳(メタデータ) (2021-03-15T08:12:19Z) - Predicting Temporal Sets with Deep Neural Networks [50.53727580527024]
本稿では,時間集合予測のためのディープニューラルネットワークに基づく統合解を提案する。
ユニークな視点は、セットレベルの共起グラフを構築することで要素関係を学ぶことである。
我々は,要素や集合の時間依存性を適応的に学習するアテンションベースのモジュールを設計する。
論文 参考訳(メタデータ) (2020-06-20T03:29:02Z) - Connecting the Dots: Multivariate Time Series Forecasting with Graph
Neural Networks [91.65637773358347]
多変量時系列データに特化して設計された汎用グラフニューラルネットワークフレームワークを提案する。
グラフ学習モジュールを用いて,変数間の一方向関係を自動的に抽出する。
提案手法は,4つのベンチマークデータセットのうち3つにおいて,最先端のベースライン手法よりも優れている。
論文 参考訳(メタデータ) (2020-05-24T04:02:18Z) - A Deep Structural Model for Analyzing Correlated Multivariate Time
Series [11.009809732645888]
相関した多変量時系列入力を処理できる深層学習構造時系列モデルを提案する。
モデルは、トレンド、季節性、イベントコンポーネントを明示的に学習し、抽出する。
我々は,様々な時系列データセットに関する総合的な実験を通して,そのモデルと最先端のいくつかの手法を比較した。
論文 参考訳(メタデータ) (2020-01-02T18:48:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。