論文の概要: Transformer Multivariate Forecasting: Less is More?

• arxiv url: http://arxiv.org/abs/2401.00230v2
• Date: Thu, 7 Mar 2024 10:25:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-08 17:17:46.175202
• Title: Transformer Multivariate Forecasting: Less is More?
• Title（参考訳）: Transformer Multivariate Forecasting: より少ないか?
• Authors: Jingjing Xu, Caesar Wu, Yuan-Fang Li, Pascal Bouvry
• Abstract要約: 本稿では,実行効率を最適化しながら予測精度を高めるために冗長な情報を削減することに焦点を当てる。 このフレームワークは、5つの最先端(SOTA)モデルと4つの多様な実世界のデータセットによって評価される。 PCA+Crossformer(PCA+Crossformer)は平均平方誤差(MSE)を33.3%減らし、平均で49.2%減らす。
• 参考スコア（独自算出の注目度）: 42.558736426375056
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the domain of multivariate forecasting, transformer models stand out as powerful apparatus, displaying exceptional capabilities in handling messy datasets from real-world contexts. However, the inherent complexity of these datasets, characterized by numerous variables and lengthy temporal sequences, poses challenges, including increased noise and extended model runtime. This paper focuses on reducing redundant information to elevate forecasting accuracy while optimizing runtime efficiency. We propose a novel transformer forecasting framework enhanced by Principal Component Analysis (PCA) to tackle this challenge. The framework is evaluated by five state-of-the-art (SOTA) models and four diverse real-world datasets. Our experimental results demonstrate the framework's ability to minimize prediction errors across all models and datasets while significantly reducing runtime. From the model perspective, one of the PCA-enhanced models: PCA+Crossformer, reduces mean square errors (MSE) by 33.3% and decreases runtime by 49.2% on average. From the dataset perspective, the framework delivers 14.3% MSE and 76.6% runtime reduction on Electricity datasets, as well as 4.8% MSE and 86.9% runtime reduction on Traffic datasets. This study aims to advance various SOTA models and enhance transformer-based time series forecasting for intricate data. Code is available at: https://github.com/jingjing-unilu/PCA_Transformer.
• Abstract（参考訳）: 多変量予測の領域では、トランスフォーマーモデルは強力な装置として際立っており、現実世界のコンテキストから散らばったデータセットを扱う特別な能力を示している。 しかし、これらのデータセットの本質的な複雑さは、多数の変数と長い時間的シーケンスによって特徴づけられ、ノイズの増加や拡張モデルランタイムなどの課題を提起する。 本稿では,実行効率を最適化しながら予測精度を高めるために冗長な情報を削減することに焦点を当てる。 本稿では、主成分分析(pca)によって強化された新しいトランスフォーマー予測フレームワークを提案する。 このフレームワークは、5つの最先端(SOTA)モデルと4つの多様な実世界のデータセットによって評価される。 実験の結果、フレームワークがすべてのモデルやデータセットで予測エラーを最小限に抑えつつ、ランタイムを大幅に削減できることを示した。 PCA+Crossformer(PCA+Crossformer)は平均平方誤差(MSE)を33.3%減らし、平均で49.2%減らす。 データセットの観点から、このフレームワークは、Electricityデータセットで14.3%のMSEと76.6%のランタイム削減、およびトラフィックデータセットで4.8%のMSEと86.9%のランタイム削減を提供する。 本研究の目的は,様々なSOTAモデルを開発し,複雑なデータに対するトランスフォーマーに基づく時系列予測を強化することである。 コードは、https://github.com/jingjing-unilu/PCA_Transformer.comで入手できる。

関連論文リスト

• Less is more: Embracing sparsity and interpolation with Esiformer for time series forecasting [19.8447763392479]
  実世界のアプリケーションから生成された時系列データは、常に高いばらつきと多くのノイズを示す。 本稿では,元のデータに適用し,データ全体のばらつきを低減し,ノイズの影響を軽減するEsiformerを提案する。 MSEを6.5%,MAEを5.8%削減した。
  論文  参考訳（メタデータ） (2024-10-08T06:45:47Z)
• Learning Augmentation Policies from A Model Zoo for Time Series Forecasting [58.66211334969299]
  本稿では,強化学習に基づく学習可能なデータ拡張手法であるAutoTSAugを紹介する。 限界サンプルを学習可能なポリシーで強化することにより、AutoTSAugは予測性能を大幅に改善する。
  論文  参考訳（メタデータ） (2024-09-10T07:34:19Z)
• Are Self-Attentions Effective for Time Series Forecasting? [4.990206466948269]
  時系列予測は、複数のドメインやさまざまなシナリオにわたるアプリケーションにとって不可欠である。 近年の研究では、より単純な線形モデルは、複雑なトランスフォーマーベースのアプローチよりも優れていることが示されている。 我々は、新しいアーキテクチャ、クロスアテンションのみの時系列変換器(CATS)を導入する。 提案モデルでは,平均二乗誤差が最小であり,既存のモデルに比べてパラメータが少ないため,性能が向上する。
  論文  参考訳（メタデータ） (2024-05-27T06:49:39Z)
• Attention as Robust Representation for Time Series Forecasting [23.292260325891032]
  多くの実用化には時系列予測が不可欠である。 トランスフォーマーの重要な特徴、注意機構、データ表現を強化するために動的に埋め込みを融合させ、しばしば注意重みを副産物の役割に還元する。 提案手法は,時系列の主表現として注目重みを高くし,データポイント間の時間的関係を利用して予測精度を向上させる。
  論文  参考訳（メタデータ） (2024-02-08T03:00:50Z)
• A Transformer-based Framework For Multi-variate Time Series: A Remaining Useful Life Prediction Use Case [4.0466311968093365]
  本研究は,時系列予測のためのエンコーダ変換アーキテクチャに基づくフレームワークを提案する。 C-MAPPSベンチマークデータセットの4セットすべてに対して,提案手法の有効性を検証した。 機械寿命の初期段階と劣化経路のモデル認識を可能にするため, 新たな拡張窓手法が提案された。
  論文  参考訳（メタデータ） (2023-08-19T02:30:35Z)
• A Meta-Learning Approach to Predicting Performance and Data Requirements [163.4412093478316]
  本稿では,モデルが目標性能に達するために必要なサンプル数を推定する手法を提案する。 モデル性能を推定するデファクト原理であるパワー法則が,小さなデータセットを使用する場合の誤差が大きいことが判明した。 本稿では,2つのデータを異なる方法で処理するPPL法について紹介する。
  論文  参考訳（メタデータ） (2023-03-02T21:48:22Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• Towards Data-Efficient Detection Transformers [77.43470797296906]
  我々は、ほとんどの検出トランスフォーマーが、小さなデータセットで大きなパフォーマンス低下に悩まされていることを示す。 我々はデータ効率に影響を与える要因を、データ効率のRCNNから代表DETRへのステップバイステップ遷移によって実証的に分析する。 本稿では,よりリッチな監視とデータ効率向上を目的とした,シンプルながら効果的なラベル拡張手法を提案する。
  論文  参考訳（メタデータ） (2022-03-17T17:56:34Z)
• Towards physically consistent data-driven weather forecasting: Integrating data assimilation with equivariance-preserving deep spatial transformers [2.7998963147546148]
  一般的なデータ駆動天気予報モデルと統合する3つのコンポーネントを提案する。 これらのコンポーネントは,1) 等価性を維持するためにU-NETの潜伏空間に付加された深部空間トランスフォーマー,2) ノイズ観測を取り込み,次の予測に対する初期条件を改善するデータ同化アルゴリズム,3) 複数段階のアルゴリズムにより,短時間で予測の精度が向上する。
  論文  参考訳（メタデータ） (2021-03-16T23:15:00Z)
• Transformer Hawkes Process [79.16290557505211]
  本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。 THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。 本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
  論文  参考訳（メタデータ） (2020-02-21T13:48:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。