論文の概要: Triformer: Triangular, Variable-Specific Attentions for Long Sequence Multivariate Time Series Forecasting--Full Version

• arxiv url: http://arxiv.org/abs/2204.13767v1
• Date: Thu, 28 Apr 2022 20:41:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-03 07:58:30.000307
• Title: Triformer: Triangular, Variable-Specific Attentions for Long Sequence Multivariate Time Series Forecasting--Full Version
• Title（参考訳）: Triformer: 長周期多変量時系列予測のための三角形・可変特有注意--フルバージョン
• Authors: Razvan-Gabriel Cirstea, Chenjuan Guo, Bin Yang, Tung Kieu, Xuanyi Dong, Shirui Pan
• Abstract要約: 本稿では,高い効率と精度を確保するために,三角形,可変特性に着目した注意点を提案する。 我々はTriformerが精度と効率の両方で最先端の手法より優れていることを示す。
• 参考スコア（独自算出の注目度）: 50.43914511877446
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A variety of real-world applications rely on far future information to make decisions, thus calling for efficient and accurate long sequence multivariate time series forecasting. While recent attention-based forecasting models show strong abilities in capturing long-term dependencies, they still suffer from two key limitations. First, canonical self attention has a quadratic complexity w.r.t. the input time series length, thus falling short in efficiency. Second, different variables' time series often have distinct temporal dynamics, which existing studies fail to capture, as they use the same model parameter space, e.g., projection matrices, for all variables' time series, thus falling short in accuracy. To ensure high efficiency and accuracy, we propose Triformer, a triangular, variable-specific attention. (i) Linear complexity: we introduce a novel patch attention with linear complexity. When stacking multiple layers of the patch attentions, a triangular structure is proposed such that the layer sizes shrink exponentially, thus maintaining linear complexity. (ii) Variable-specific parameters: we propose a light-weight method to enable distinct sets of model parameters for different variables' time series to enhance accuracy without compromising efficiency and memory usage. Strong empirical evidence on four datasets from multiple domains justifies our design choices, and it demonstrates that Triformer outperforms state-of-the-art methods w.r.t. both accuracy and efficiency. This is an extended version of "Triformer: Triangular, Variable-Specific Attentions for Long Sequence Multivariate Time Series Forecasting", to appear in IJCAI 2022 [Cirstea et al., 2022a], including additional experimental results.
• Abstract（参考訳）: 様々な現実世界のアプリケーションは、決定を行うために将来的な情報に頼るため、効率的で正確なロングシーケンスの時系列予測を要求する。 最近の注意に基づく予測モデルでは、長期的な依存関係を捉える能力が強いが、それでも2つの重要な制限に苦しんでいる。 第一に、正準自己注意は入力時系列の長さの2次複雑さを持つため、効率が低下する。 第二に、異なる変数の時系列は、しばしば異なる時間ダイナミクスを持ち、既存の研究では捉えられず、同じモデルパラメータ空間(例えば射影行列)を全ての変数の時系列に対して使用するため、精度が低くなる。 高い効率性と精度を確保するため,三角形の可変特化注意点であるTriformerを提案する。 (i)線形複雑性:線形複雑性を伴う新しいパッチアテンションを導入する。 パッチアテンションの複数の層を積み重ねる際には, 層径が指数関数的に小さくなり, 線形複雑性が維持されるような三角形構造が提案される。 変数固有のパラメータ: 異なる変数の時系列に対して異なるモデルパラメータの集合を有効化し、効率とメモリ使用率を損なうことなく精度を向上させる軽量な手法を提案する。 複数のドメインからの4つのデータセットに関する強い実証的証拠は、設計選択を正当化し、Triformerが精度と効率の両方において最先端の手法より優れていることを示す。 これは"Triformer: Triangular, Variable-Specific Attentions for Long Sequence Multivariate Time Series Forecasting"の拡張版で、さらなる実験結果を含むIJCAI 2022(Cirstea et al., 2022a)に表示される。

関連論文リスト

• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための生成変換器Timer-XLを提案する。 Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• DeepLINK-T: deep learning inference for time series data using knockoffs and LSTM [7.831716013866564]
  本研究では,時系列データ(DeepLink-T)に対するノックオフを用いた新しいディープラーニング推論手法を提案する。 これは、所定のレベルで偽発見率(FDR)を制御しながら、回帰において重要な時系列変数の選択に焦点を当てる。 DeepLink-Tの3つの重要な要素は、1)時系列のノックオフ変数を生成するLong Short-Term Memory(LSTM)オートエンコーダ、2)オリジナル変数とノックオフ変数の両方を使用したLSTM予測ネットワーク、3)FDR制御による変数選択のためのノックオフフレームワークの適用である。
  論文  参考訳（メタデータ） (2024-04-05T17:47:50Z)
• Generative Time Series Forecasting with Diffusion, Denoise, and Disentanglement [51.55157852647306]
  時系列予測は多くのアプリケーションにおいて非常に重要な課題である。 実世界の時系列データが短時間に記録されることが一般的であり、これはディープモデルと限られたノイズのある時系列との間に大きなギャップをもたらす。 本稿では,生成モデルを用いた時系列予測問題に対処し,拡散,雑音,ゆがみを備えた双方向変分自動エンコーダを提案する。
  論文  参考訳（メタデータ） (2023-01-08T12:20:46Z)
• DBA: Efficient Transformer with Dynamic Bilinear Low-Rank Attention [53.02648818164273]
  動的双線形低ランク注意(DBA)という,効率的かつ効果的な注意機構を提案する。 DBAは入力感度の動的射影行列によってシーケンス長を圧縮し、線形時間と空間の複雑さを実現する。 様々なシーケンス長条件のタスクに対する実験は、DBAが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2022-11-24T03:06:36Z)
• Gait Recognition in the Wild with Multi-hop Temporal Switch [81.35245014397759]
  野生での歩行認識は、より実践的な問題であり、マルチメディアとコンピュータビジョンのコミュニティの注目を集めています。 本稿では,現実のシーンにおける歩行パターンの効果的な時間的モデリングを実現するために,新しいマルチホップ時間スイッチ方式を提案する。
  論文  参考訳（メタデータ） (2022-09-01T10:46:09Z)
• Sketching as a Tool for Understanding and Accelerating Self-attention for Long Sequences [52.6022911513076]
  トランスフォーマーベースのモデルは、自己アテンションモジュールの二次空間と時間的複雑さのために、長いシーケンスを処理するのに効率的ではない。 我々はLinformerとInformerを提案し、低次元投影と行選択により2次複雑性を線形(モジュラー対数因子)に還元する。 理論的解析に基づいて,Skeinformerを提案することにより,自己注意の促進と,自己注意への行列近似の精度の向上を図ることができる。
  論文  参考訳（メタデータ） (2021-12-10T06:58:05Z)
• Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting [25.417560221400347]
  長周期時系列予測(LSTF)は高い予測能力を必要とする。 最近の研究は、予測能力を高めるトランスフォーマーの可能性を示しています。 我々は3つの特徴を有するlstf用効率的なトランスフォーマーモデル,informerを設計した。
  論文  参考訳（メタデータ） (2020-12-14T11:43:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。