論文の概要: Towards Efficient Large Scale Spatial-Temporal Time Series Forecasting via Improved Inverted Transformers

• arxiv url: http://arxiv.org/abs/2503.10858v1
• Date: Thu, 13 Mar 2025 20:14:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:06:32.546800
• Title: Towards Efficient Large Scale Spatial-Temporal Time Series Forecasting via Improved Inverted Transformers
• Title（参考訳）: 改良型逆変換器による大規模時空間時系列予測の効率化に向けて
• Authors: Jiarui Sun, Chin-Chia Michael Yeh, Yujie Fan, Xin Dai, Xiran Fan, Zhimeng Jiang, Uday Singh Saini, Vivian Lai, Junpeng Wang, Huiyuan Chen, Zhongfang Zhuang, Yan Zheng, Girish Chowdhary,
• Abstract要約: EiFormerは、計算複雑性を線形スケールに削減しつつ、iTransformerの適応能力を維持できる改良された逆変換器アーキテクチャである。 我々の重要な革新は、モデル表現性を犠牲にすることなく冗長な計算を除去するための注意機構の再構築である。 本手法は,大規模な時系列処理が不可欠である産業アプリケーションにおいて,トランスフォーマーによる予測の実践的展開を可能にする。
• 参考スコア（独自算出の注目度）: 33.176126599147466
• License:
• Abstract: Time series forecasting at scale presents significant challenges for modern prediction systems, particularly when dealing with large sets of synchronized series, such as in a global payment network. In such systems, three key challenges must be overcome for accurate and scalable predictions: 1) emergence of new entities, 2) disappearance of existing entities, and 3) the large number of entities present in the data. The recently proposed Inverted Transformer (iTransformer) architecture has shown promising results by effectively handling variable entities. However, its practical application in large-scale settings is limited by quadratic time and space complexity ($O(N^2)$) with respect to the number of entities $N$. In this paper, we introduce EiFormer, an improved inverted transformer architecture that maintains the adaptive capabilities of iTransformer while reducing computational complexity to linear scale ($O(N)$). Our key innovation lies in restructuring the attention mechanism to eliminate redundant computations without sacrificing model expressiveness. Additionally, we incorporate a random projection mechanism that not only enhances efficiency but also improves prediction accuracy through better feature representation. Extensive experiments on the public LargeST benchmark dataset and a proprietary large-scale time series dataset demonstrate that EiFormer significantly outperforms existing methods in both computational efficiency and forecasting accuracy. Our approach enables practical deployment of transformer-based forecasting in industrial applications where handling time series at scale is essential.
• Abstract（参考訳）: スケールでの時系列予測は、特にグローバルペイメントネットワークのような大規模な同期シリーズを扱う場合、現代の予測システムにとって大きな課題となる。 このようなシステムでは、正確でスケーラブルな予測のために3つの重要な課題を克服しなければならない。 1)新しい実体の出現 2)既存の実体の消滅、及び 3)データに存在する多数のエンティティ。 最近提案されたInverted Transformer (iTransformer)アーキテクチャは、変数エンティティを効果的に扱うことで、有望な結果を示している。 しかし、大規模な設定における実用的応用は、エンティティの数に関して2次時間と空間の複雑さ(O(N^2)$)によって制限される。 本稿では,iTransformerの適応性を維持しつつ,計算複雑性を線形スケール(O(N)$)に低減した改良型逆変換器アーキテクチャであるEiFormerを紹介する。 我々の重要な革新は、モデル表現性を犠牲にすることなく冗長な計算を除去するための注意機構の再構築である。 さらに、効率を向上するだけでなく、特徴表現の改善により予測精度を向上させるランダムプロジェクション機構を組み込んだ。 パブリックなLargeSTベンチマークデータセットとプロプライエタリな大規模時系列データセットに関する大規模な実験は、EiFormerが計算効率と予測精度の両方で既存の手法を著しく上回っていることを示している。 本手法は,大規模な時系列処理が不可欠である産業アプリケーションにおいて,トランスフォーマーによる予測の実践的展開を可能にする。

関連論文リスト

• LSEAttention is All You Need for Time Series Forecasting [0.0]
  トランスフォーマーベースのアーキテクチャは自然言語処理とコンピュータビジョンにおいて顕著な成功を収めた。 これまでの研究では、伝統的な注意機構が、この領域におけるそれらの有効性を制限する重要な要素として特定されてきた。 本稿では,トランスフォーマーを用いた時系列予測において,エントロピー崩壊を緩和し,不安定性をトレーニングするための新しいアプローチであるLATSTを紹介する。
  論文  参考訳（メタデータ） (2024-10-31T09:09:39Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• Adaptive Point Transformer [88.28498667506165]
  Adaptive Point Cloud Transformer (AdaPT) は、適応トークン選択機構によって強化された標準PTモデルである。 AdaPTは推論中のトークン数を動的に削減し、大きな点雲の効率的な処理を可能にする。
  論文  参考訳（メタデータ） (2024-01-26T13:24:45Z)
• Bitformer: An efficient Transformer with bitwise operation-based attention for Big Data Analytics at low-cost low-precision devices [2.484958184370265]
  本稿では,従来の浮動小数点行列乗算をビット演算に置き換える新しいアテンション機構であるBitformerモデルを提案する。 浮動小数点演算の典型的な$O(n2d)$複雑性から、ビット演算を特徴づける$O(n2T)$複雑性への移行は、この利点を裏付けるものである。
  論文  参考訳（メタデータ） (2023-11-22T16:20:24Z)
• RegFormer: An Efficient Projection-Aware Transformer Network for Large-Scale Point Cloud Registration [73.69415797389195]
  本稿では,大規模クラウドアライメントのためのエンドツーエンドトランス (RegFormer) ネットワークを提案する。 具体的には、プロジェクション対応階層変換器を提案し、長距離依存を捕捉し、外乱をフィルタする。 我々の変圧器は線形複雑であり、大規模シーンでも高い効率が保証される。
  論文  参考訳（メタデータ） (2023-03-22T08:47:37Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• Robust representations of oil wells' intervals via sparse attention mechanism [2.604557228169423]
  正規化変換器(Reguformers)と呼ばれる効率的な変換器のクラスを導入する。 私たちの実験の焦点は、石油とガスのデータ、すなわちウェルログにあります。 このような問題に対する我々のモデルを評価するために、20以上の井戸からなるウェルログからなる産業規模のオープンデータセットで作業する。
  論文  参考訳（メタデータ） (2022-12-29T09:56:33Z)
• CloudAttention: Efficient Multi-Scale Attention Scheme For 3D Point Cloud Learning [81.85951026033787]
  この作業にトランスフォーマーをセットし、それらを形状分類と部分およびシーンセグメンテーションのための階層的なフレームワークに組み込む。 また、各イテレーションにおけるサンプリングとグループ化を活用して、効率的でダイナミックなグローバルなクロスアテンションを計算します。 提案した階層モデルは,最先端の形状分類を平均精度で達成し,従来のセグメンテーション法と同等の結果を得る。
  論文  参考訳（メタデータ） (2022-07-31T21:39:15Z)
• TCCT: Tightly-Coupled Convolutional Transformer on Time Series Forecasting [6.393659160890665]
  本稿では, 密結合型畳み込み変換器(TCCT)と3つのTCCTアーキテクチャを提案する。 実世界のデータセットに対する我々の実験は、我々のTCCTアーキテクチャが既存の最先端トランスフォーマーモデルの性能を大幅に改善できることを示している。
  論文  参考訳（メタデータ） (2021-08-29T08:49:31Z)
• Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting [25.417560221400347]
  長周期時系列予測(LSTF)は高い予測能力を必要とする。 最近の研究は、予測能力を高めるトランスフォーマーの可能性を示しています。 我々は3つの特徴を有するlstf用効率的なトランスフォーマーモデル,informerを設計した。
  論文  参考訳（メタデータ） (2020-12-14T11:43:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。