論文の概要: TEAFormers: TEnsor-Augmented Transformers for Multi-Dimensional Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2410.20439v1
• Date: Sun, 27 Oct 2024 13:32:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:19:40.933146
• Title: TEAFormers: TEnsor-Augmented Transformers for Multi-Dimensional Time Series Forecasting
• Title（参考訳）: TEAFormers:TEnsor-Augmented Transformer for Multi-dimensional Time Series Forecasting
• Authors: Linghang Kong, Elynn Chen, Yuzhou Chen, Yuefeng Han,
• Abstract要約: 多次元時系列データは、経済学、金融学、気候科学などの分野でますます普及している。 従来のTransformerモデルはシーケンシャルなデータに適応しているが、これらの多次元構造を効果的に保存していない。 本稿では,Transformer フレームワークにテンソル展開と圧縮を組み込んだ新しい手法である Vectors-Augmented Transformer (TEAFormer) を紹介する。
• 参考スコア（独自算出の注目度）: 14.43696537295348
• License:
• Abstract: Multi-dimensional time series data, such as matrix and tensor-variate time series, are increasingly prevalent in fields such as economics, finance, and climate science. Traditional Transformer models, though adept with sequential data, do not effectively preserve these multi-dimensional structures, as their internal operations in effect flatten multi-dimensional observations into vectors, thereby losing critical multi-dimensional relationships and patterns. To address this, we introduce the Tensor-Augmented Transformer (TEAFormer), a novel method that incorporates tensor expansion and compression within the Transformer framework to maintain and leverage the inherent multi-dimensional structures, thus reducing computational costs and improving prediction accuracy. The core feature of the TEAFormer, the Tensor-Augmentation (TEA) module, utilizes tensor expansion to enhance multi-view feature learning and tensor compression for efficient information aggregation and reduced computational load. The TEA module is not just a specific model architecture but a versatile component that is highly compatible with the attention mechanism and the encoder-decoder structure of Transformers, making it adaptable to existing Transformer architectures. Our comprehensive experiments, which integrate the TEA module into three popular time series Transformer models across three real-world benchmarks, show significant performance enhancements, highlighting the potential of TEAFormers for cutting-edge time series forecasting.
• Abstract（参考訳）: 多次元時系列データ(行列やテンソル変量時系列など)は、経済、金融、気候科学などの分野でますます普及している。 従来のトランスフォーマーモデルは、シーケンシャルなデータに適応するが、これらの多次元構造を効果的に保存することはできず、その内部操作は事実上、多次元の観測をベクトルに平らにすることで、重要な多次元の関係やパターンを失う。 そこで本研究では,テンソル拡張圧縮を Transformer フレームワークに組み込んだ Tensor-Augmented Transformer (TEAFormer) を提案する。 TEAFormerのコア機能であるTensor-Augmentation (TEA)モジュールは、テンソル拡張を利用してマルチビュー特徴学習とテンソル圧縮を強化し、効率的な情報集約と計算負荷の削減を実現している。 TEAモジュールは単なるモデルアーキテクチャではなく、トランスフォーマーのアテンション機構やエンコーダ・デコーダ構造と高い互換性を持つ汎用コンポーネントであり、既存のトランスフォーマーアーキテクチャに適応できる。 TEAモジュールを3つの実世界のベンチマークで有名な3つの時系列Transformerモデルに統合した総合的な実験では、パフォーマンスが大幅に向上し、最先端の時系列予測におけるTAAFormerの可能性が強調された。

関連論文リスト

• LSEAttention is All You Need for Time Series Forecasting [0.0]
  トランスフォーマーベースのアーキテクチャは自然言語処理とコンピュータビジョンにおいて顕著な成功を収めた。 変圧器モデルでよく見られるエントロピー崩壊とトレーニング不安定性に対処するアプローチである textbfLSEAttention を導入する。
  論文  参考訳（メタデータ） (2024-10-31T09:09:39Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
  フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。 提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
  論文  参考訳（メタデータ） (2024-06-07T14:39:28Z)
• iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
  iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。 iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
  論文  参考訳（メタデータ） (2023-10-10T13:44:09Z)
• DuETT: Dual Event Time Transformer for Electronic Health Records [14.520791492631114]
  我々はDuETTアーキテクチャを紹介した。これは、時間とイベントの両タイプにまたがるように設計されたトランスフォーマーの拡張である。 DuETTは集約された入力を使用し、スパース時系列は一定長さの正規シーケンスに変換される。 本モデルでは,MIMIC-IV と PhysioNet-2012 EHR データセットを用いて,複数の下流タスクにおける最先端のディープラーニングモデルより優れています。
  論文  参考訳（メタデータ） (2023-04-25T17:47:48Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• A K-variate Time Series Is Worth K Words: Evolution of the Vanilla Transformer Architecture for Long-term Multivariate Time Series Forecasting [52.33042819442005]
  トランスフォーマーはMTSFのデファクトソリューションとなっている。 本研究では,MTSFトランスフォーマーアーキテクチャにおける現在のトークン化戦略がトランスフォーマーのトークン帰納バイアスを無視していることを指摘した。 バニラMTSF変圧器の基本構造について一連の進化を行った。 驚いたことに、進化した単純変圧器アーキテクチャは非常に効果的であり、バニラMTSF変圧器の過密現象を回避することに成功している。
  論文  参考訳（メタデータ） (2022-12-06T07:00:31Z)
• TCCT: Tightly-Coupled Convolutional Transformer on Time Series Forecasting [6.393659160890665]
  本稿では, 密結合型畳み込み変換器(TCCT)と3つのTCCTアーキテクチャを提案する。 実世界のデータセットに対する我々の実験は、我々のTCCTアーキテクチャが既存の最先端トランスフォーマーモデルの性能を大幅に改善できることを示している。
  論文  参考訳（メタデータ） (2021-08-29T08:49:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。