論文の概要: NAST: Non-Autoregressive Spatial-Temporal Transformer for Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2102.05624v1
• Date: Wed, 10 Feb 2021 18:36:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-11 17:28:24.173717
• Title: NAST: Non-Autoregressive Spatial-Temporal Transformer for Time Series Forecasting
• Title（参考訳）: NAST: 時系列予測のための非自動空間時空間変換器
• Authors: Kai Chen, Guang Chen, Dan Xu, Lijun Zhang, Yuyao Huang, Alois Knoll
• Abstract要約: 本研究は時系列予測のための非自己回帰変換アーキテクチャを提案する最初の試みである。 本稿では,空間的注意と時間的注意のギャップを埋めるために,学習した時間的影響マップを用いて橋を架ける新しい時間的注意機構を提案する。
• 参考スコア（独自算出の注目度）: 24.510978166050293
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although Transformer has made breakthrough success in widespread domains especially in Natural Language Processing (NLP), applying it to time series forecasting is still a great challenge. In time series forecasting, the autoregressive decoding of canonical Transformer models could introduce huge accumulative errors inevitably. Besides, utilizing Transformer to deal with spatial-temporal dependencies in the problem still faces tough difficulties.~To tackle these limitations, this work is the first attempt to propose a Non-Autoregressive Transformer architecture for time series forecasting, aiming at overcoming the time delay and accumulative error issues in the canonical Transformer. Moreover, we present a novel spatial-temporal attention mechanism, building a bridge by a learned temporal influence map to fill the gaps between the spatial and temporal attention, so that spatial and temporal dependencies can be processed integrally. Empirically, we evaluate our model on diversified ego-centric future localization datasets and demonstrate state-of-the-art performance on both real-time and accuracy.
• Abstract（参考訳）: Transformerは、特に自然言語処理(NLP)の分野で画期的な成功を収めていますが、時系列予測に適用することは依然として大きな課題です。 時系列予測では、標準変圧器モデルの自己回帰復号は必然的に巨大な累積誤差をもたらす可能性がある。 これらの制約に対処するため、本研究は、時系列予測のための非自己回帰トランスフォーマーアーキテクチャを提案する最初の試みであり、標準変換器における時間遅延と累積誤差問題を克服することを目的としている。 さらに,空間的・時間的依存を一体的に処理できるように,空間的・時間的依存のギャップを埋めるために,学習した時間的影響マップによって橋を架ける新しい時間的注意機構を提案する。 実験的に,エゴ中心の将来のローカライゼーションデータセットの多様化に関するモデルを評価し,実時間と精度の両面で最先端の性能を示す。

関連論文リスト

• Two Steps Forward and One Behind: Rethinking Time Series Forecasting with Deep Learning [7.967995669387532]
  Transformerは、人工知能ニューラルネットワークの世界に革命をもたらした、非常に成功したディープラーニングモデルである。 時系列予測領域に適用したトランスフォーマーモデルの有効性について検討する。 性能が良く、より複雑でない代替モデル一式を提案する。
  論文  参考訳（メタデータ） (2023-04-10T12:47:42Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• Non-stationary Transformers: Rethinking the Stationarity in Time Series Forecasting [87.89275357540119]
  本稿では,2つの相互依存モジュールを持つ汎用フレームワークとして,非定常変圧器を提案する。 このフレームワークは、Transformerの49.43% MSE、Informerの47.34%、Reformerの46.89%を削減します。
  論文  参考訳（メタデータ） (2022-05-28T12:27:27Z)
• Are Transformers Effective for Time Series Forecasting? [13.268196448051308]
  近年、時系列予測(TSF)タスクのためのTransformerベースのソリューションが急増している。 本研究は,Transformer-based techniqueが長期時系列予測に適した解であるかどうかを考察する。 変換器をベースとした解の長期予測精度が比較的高いことは,変換器アーキテクチャの時間的関係抽出能力とはほとんど関係がないことがわかった。
  論文  参考訳（メタデータ） (2022-05-26T17:17:08Z)
• A Differential Attention Fusion Model Based on Transformer for Time Series Forecasting [4.666618110838523]
  時系列予測は、機器ライフサイクル予測、天気予報、交通流予測などの分野で広く利用されている。 一部の学者は、この強力な並列トレーニング能力のために、Transformerを時系列予測に適用しようと試みている。 既存のTransformerメソッドは、予測において決定的な役割を果たす小さな時間セグメントに十分な注意を払わない。
  論文  参考訳（メタデータ） (2022-02-23T10:33:12Z)
• ETSformer: Exponential Smoothing Transformers for Time-series Forecasting [35.76867542099019]
  時系列予測のための変換器の改良に指数的スムース化の原理を利用する新しい時系列変換器アーキテクチャであるETSFormerを提案する。 特に,時系列予測における古典的指数的スムージング手法に着想を得て,バニラ変圧器の自己保持機構を置き換えるために,新しい指数的スムージングアテンション(ESA)と周波数アテンション(FA)を提案する。
  論文  参考訳（メタデータ） (2022-02-03T02:50:44Z)
• Temporal Attention Augmented Transformer Hawkes Process [4.624987488467739]
  新しいタイプのトランスフォーマーベースホークスプロセスモデル、テンポラルアテンション強化トランスフォーマーホークスプロセス(TAA-THP)を考案した。 従来の点積アテンション構造を修正し、テンポラルエンコーディングをアテンション構造に導入する。 提案したTAA-THPモデルの性能を評価するために, 広範囲の合成および実生活データセットについて多数の実験を行った。
  論文  参考訳（メタデータ） (2021-12-29T09:45:23Z)
• Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting [68.86835407617778]
  Autoformerは、Auto-Correlation機構を備えた、新しい分解アーキテクチャである。 長期的な予測では、Autoformerは6つのベンチマークで相対的に改善され、最先端の精度が得られる。
  論文  参考訳（メタデータ） (2021-06-24T13:43:43Z)
• Supporting Optimal Phase Space Reconstructions Using Neural Network Architecture for Time Series Modeling [68.8204255655161]
  位相空間特性を暗黙的に学習する機構を持つ人工ニューラルネットワークを提案する。 私たちのアプローチは、ほとんどの最先端戦略と同じくらいの競争力があるか、あるいは優れているかのどちらかです。
  論文  参考訳（メタデータ） (2020-06-19T21:04:47Z)
• Spatial-Temporal Transformer Networks for Traffic Flow Forecasting [74.76852538940746]
  本稿では,長期交通予測の精度を向上させるため,時空間変圧器ネットワーク(STTN)の新たなパラダイムを提案する。 具体的には、有向空間依存を動的にモデル化することにより、空間変換器と呼ばれる新しいグラフニューラルネットワークを提案する。 提案モデルにより,長期間にわたる空間的依存関係に対する高速かつスケーラブルなトレーニングが可能になる。
  論文  参考訳（メタデータ） (2020-01-09T10:21:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。