論文の概要: Knowledge-enhanced Transformer for Multivariate Long Sequence Time-series Forecasting

• arxiv url: http://arxiv.org/abs/2411.11046v1
• Date: Sun, 17 Nov 2024 11:53:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:35:09.896822
• Title: Knowledge-enhanced Transformer for Multivariate Long Sequence Time-series Forecasting
• Title（参考訳）: 多変量長系列時系列予測のための知識強調変換器
• Authors: Shubham Tanaji Kakde, Rony Mitra, Jasashwi Mandal, Manoj Kumar Tiwari,
• Abstract要約: 本研究では,変数間の概念的関係をよく定義された知識グラフ内にカプセル化する新しい手法を提案する。 PatchTST, Autoformer, Informer, Vanilla Transformer などのセマンティックアーキテクチャへの統合の影響について検討する。 この拡張により、変数間の固有の構造的関係に対処するトランスフォーマーベースのアーキテクチャが強化される。
• 参考スコア（独自算出の注目度）: 4.645182684813973
• License:
• Abstract: Multivariate Long Sequence Time-series Forecasting (LSTF) has been a critical task across various real-world applications. Recent advancements focus on the application of transformer architectures attributable to their ability to capture temporal patterns effectively over extended periods. However, these approaches often overlook the inherent relationships and interactions between the input variables that could be drawn from their characteristic properties. In this paper, we aim to bridge this gap by integrating information-rich Knowledge Graph Embeddings (KGE) with state-of-the-art transformer-based architectures. We introduce a novel approach that encapsulates conceptual relationships among variables within a well-defined knowledge graph, forming dynamic and learnable KGEs for seamless integration into the transformer architecture. We investigate the influence of this integration into seminal architectures such as PatchTST, Autoformer, Informer, and Vanilla Transformer. Furthermore, we thoroughly investigate the performance of these knowledge-enhanced architectures along with their original implementations for long forecasting horizons and demonstrate significant improvement in the benchmark results. This enhancement empowers transformer-based architectures to address the inherent structural relation between variables. Our knowledge-enhanced approach improves the accuracy of multivariate LSTF by capturing complex temporal and relational dynamics across multiple domains. To substantiate the validity of our model, we conduct comprehensive experiments using Weather and Electric Transformer Temperature (ETT) datasets.
• Abstract（参考訳）: 多変量長時系列時系列予測(LSTF)は,様々な実世界のアプリケーションにおいて重要な課題である。 近年の進歩は、時間的パターンを効果的に捉える能力に起因したトランスフォーマーアーキテクチャの適用に焦点が当てられている。 しかしながら、これらのアプローチは、その特性から引き出すことができる入力変数間の固有の関係と相互作用をしばしば見落としている。 本稿では,情報リッチな知識グラフ埋め込み(KGE)と最先端のトランスフォーマーベースのアーキテクチャを統合することで,このギャップを埋めることを目指している。 本稿では,変数間の概念的関係をよく定義された知識グラフ内にカプセル化し,動的かつ学習可能なKGEをトランスフォーマーアーキテクチャにシームレスに統合する手法を提案する。 PatchTST, Autoformer, Informer, Vanilla Transformer などのセマンティックアーキテクチャへの統合の影響について検討する。 さらに,これらの知識を付加したアーキテクチャの性能と,長期予測のための独自の実装を徹底的に検討し,ベンチマーク結果の大幅な改善を示す。 この拡張により、変数間の固有の構造的関係に対処するトランスフォーマーベースのアーキテクチャが強化される。 我々の知識強化アプローチは、複数の領域にわたる複雑な時間的およびリレーショナルダイナミクスをキャプチャすることで、多変量LSTFの精度を向上させる。 本モデルの有効性を確認するため,気象・電気変圧器温度(ETT)データセットを用いた総合的な実験を行った。

関連論文リスト

• TEAFormers: TEnsor-Augmented Transformers for Multi-Dimensional Time Series Forecasting [14.43696537295348]
  多次元時系列データは、経済学、金融学、気候科学などの分野でますます普及している。 従来のTransformerモデルはシーケンシャルなデータに適応しているが、これらの多次元構造を効果的に保存していない。 本稿では,Transformer フレームワークにテンソル展開と圧縮を組み込んだ新しい手法である Vectors-Augmented Transformer (TEAFormer) を紹介する。
  論文  参考訳（メタデータ） (2024-10-27T13:32:12Z)
• What Does It Mean to Be a Transformer? Insights from a Theoretical Hessian Analysis [8.008567379796666]
  Transformerアーキテクチャは、間違いなくディープラーニングに革命をもたらした。 中心となる注意ブロックは、ディープラーニングにおける他のほとんどのアーキテクチャコンポーネントと形式と機能の違いです。 これらの外向きの表現の背後にある根本原因と、それらを管理する正確なメカニズムは、まだ理解されていないままである。
  論文  参考訳（メタデータ） (2024-10-14T18:15:02Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• Skip-Layer Attention: Bridging Abstract and Detailed Dependencies in Transformers [56.264673865476986]
  本稿では、Transformerモデルを強化するためのSLA(Skip-Layer Attention)を提案する。 SLAは、高レベルの抽象機能と低レベルの詳細の間の依存関係をキャプチャするモデルの能力を改善します。 我々の実装は、与えられたレイヤ内のクエリが、現在のレイヤと前のレイヤの両方のキーと値とやり取りできるようにすることで、Transformerの機能を拡張します。
  論文  参考訳（メタデータ） (2024-06-17T07:24:38Z)
• A Systematic Review for Transformer-based Long-term Series Forecasting [7.414422194379818]
  トランスフォーマーアーキテクチャは、意味的相関を抽出する最も成功したソリューションであることが証明されている。 様々なバリエーションにより、トランスフォーマーアーキテクチャは長期的な時系列予測タスクを処理できるようになった。
  論文  参考訳（メタデータ） (2023-10-31T06:37:51Z)
• Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
  トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。 最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。 Transformerモデルをより効率的にすることに注力している。
  論文  参考訳（メタデータ） (2023-02-27T18:18:13Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• Rich CNN-Transformer Feature Aggregation Networks for Super-Resolution [50.10987776141901]
  近年の視覚変換器と自己注意は,様々なコンピュータビジョンタスクにおいて有望な成果を上げている。 我々は,CNNの局所的特徴とトランスフォーマーが捉えた長距離依存性を活用する,超解像(SR)タスクのための効果的なハイブリッドアーキテクチャを提案する。 提案手法は,多数のベンチマークデータセットから最先端のSR結果を得る。
  論文  参考訳（メタデータ） (2022-03-15T06:52:25Z)
• Multi-Exit Vision Transformer for Dynamic Inference [88.17413955380262]
  視覚変換器のバックボーンの動的推論に使用できる早期出口分岐のための7つの異なるアーキテクチャを提案する。 提案したアーキテクチャのそれぞれが,精度と速度のトレードオフにおいて有用であることを示す。
  論文  参考訳（メタデータ） (2021-06-29T09:01:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。