論文の概要: Parallel Spatio-Temporal Attention-Based TCN for Multivariate Time Series Prediction

• arxiv url: http://arxiv.org/abs/2203.00971v1
• Date: Wed, 2 Mar 2022 09:27:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-03 13:49:06.481618
• Title: Parallel Spatio-Temporal Attention-Based TCN for Multivariate Time Series Prediction
• Title（参考訳）: 多変量時系列予測のための並列時空間アテンションベースTCN
• Authors: Fan Jin, Ke Zhang, Yipan Huang, Yifei Zhu, Baiping Chen
• Abstract要約: 予測ウィンドウの拡張を支援するために注意を払っているリカレントニューラルネットワークは、このタスクの最先端技術である。 それらの消失する勾配、短い記憶、シリアルアーキテクチャは、複雑なデータによる長距離予測にRNNを根本的に不適当にしている、と我々は主張する。 そこで我々は,PSTA-TCNというフレームワークを提案する。これは並列時間的注意機構を組み合わして,動的内部相関を積み重ねたTCNバックボーンから抽出する。
• 参考スコア（独自算出の注目度）: 4.211344046281808
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As industrial systems become more complex and monitoring sensors for everything from surveillance to our health become more ubiquitous, multivariate time series prediction is taking an important place in the smooth-running of our society. A recurrent neural network with attention to help extend the prediction windows is the current-state-of-the-art for this task. However, we argue that their vanishing gradients, short memories, and serial architecture make RNNs fundamentally unsuited to long-horizon forecasting with complex data. Temporal convolutional networks (TCNs) do not suffer from gradient problems and they support parallel calculations, making them a more appropriate choice. Additionally, they have longer memories than RNNs, albeit with some instability and efficiency problems. Hence, we propose a framework, called PSTA-TCN, that combines a parallel spatio-temporal attention mechanism to extract dynamic internal correlations with stacked TCN backbones to extract features from different window sizes. The framework makes full use parallel calculations to dramatically reduce training times, while substantially increasing accuracy with stable prediction windows up to 13 times longer than the status quo.
• Abstract（参考訳）: 産業システムはより複雑になり、監視から健康まであらゆるものを監視するセンサーがよりユビキタスになるにつれて、多変量時系列予測は社会の円滑な運営において重要な位置を占めています。 予測ウィンドウの拡張に注意を払っているリカレントニューラルネットワークは、このタスクの最先端である。 しかし、それらの消失する勾配、短い記憶、シリアルアーキテクチャにより、RNNは複雑なデータによる長期予測に基本的に適していないと論じる。 時間畳み込みネットワーク(TCN)は勾配問題に悩まされず、並列計算をサポートしており、より適切な選択となっている。 さらに、RNNよりも長い記憶を持ち、不安定性と効率性の問題がある。 そこで我々は,PSTA-TCNと呼ばれるフレームワークを提案する。このフレームワークは,動的内部相関を積み重ねたTCNバックボーンから抽出し,異なるウィンドウサイズから特徴を抽出する。 このフレームワークは、並列計算をフル活用してトレーニング時間を劇的に削減すると同時に、現在よりも最大13倍長い安定した予測ウィンドウで精度を大幅に向上させる。

関連論文リスト

• Parallelized Spatiotemporal Binding [47.67393266882402]
  逐次入力のための最初の時間並列化可能なスロット学習アーキテクチャであるPSB(Parallelizable Spatiotemporal Binder)を導入する。 従来のRNNベースのアプローチとは異なり、PSBは全ての時間ステップを並列に、スロットとして知られるオブジェクト中心の表現を生成する。 現状と比較して、我々のアーキテクチャはより長いシーケンスで安定したトレーニングを行い、トレーニング速度が60%向上する並列化を実現し、教師なしの2Dおよび3Dオブジェクト中心のシーン分解と理解に匹敵する性能を得る。
  論文  参考訳（メタデータ） (2024-02-26T23:16:34Z)
• Time-Parameterized Convolutional Neural Networks for Irregularly Sampled Time Series [26.77596449192451]
  不規則にサンプリングされた時系列は、いくつかのアプリケーション領域でユビキタスであり、スパースであり、完全に観測されていない、非整合的な観察に繋がる。 標準シーケンシャルニューラルネットワーク(RNN)と畳み込みニューラルネットワーク(CNN)は、観測時間間の定期的な間隔を考慮し、不規則な時系列モデリングに重大な課題を提起する。 時間的に不規則なカーネルを用いて畳み込み層をパラメータ化する。
  論文  参考訳（メタデータ） (2023-08-06T21:10:30Z)
• A Distance Correlation-Based Approach to Characterize the Effectiveness of Recurrent Neural Networks for Time Series Forecasting [1.9950682531209158]
  距離相関の多元的指標を用いて,RNN成分と時系列特性をリンクする手法を提案する。 RNN活性化層が時系列のラグ構造をよく学習していることを実証的に示す。 また,アクティベーション層は移動平均およびヘテロスケダティック時系列過程を適切にモデル化できないことを示す。
  論文  参考訳（メタデータ） (2023-07-28T22:32:08Z)
• Resurrecting Recurrent Neural Networks for Long Sequences [45.800920421868625]
  リカレントニューラルネットワーク(RNN)は、長いシーケンスに対する高速な推論を提供するが、最適化が難しく、訓練が遅い。 深部状態空間モデル(SSM)は、最近、長いシーケンスモデリングタスクにおいて非常によく機能することが示されている。 本稿では,信号伝搬の標準的な引数を用いた深部RNNの設計により,長距離推論タスクにおける深部SSMの性能を回復できることを示す。
  論文  参考訳（メタデータ） (2023-03-11T08:53:11Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Space-Time Graph Neural Networks with Stochastic Graph Perturbations [100.31591011966603]
  時空間グラフニューラルネットワーク(ST-GNN)は、時間変動データの効率的なグラフ表現を学習する。 本稿では,ST-GNNの特性を再検討し,安定なグラフ安定性を示す。 解析の結果,ST-GNNは時間変化グラフ上での移動学習に適していることが示唆された。
  論文  参考訳（メタデータ） (2022-10-28T16:59:51Z)
• Scalable Spatiotemporal Graph Neural Networks [14.415967477487692]
  グラフニューラルネットワーク(GNN)は、しばしば予測アーキテクチャのコアコンポーネントである。 ほとんどの時間前GNNでは、計算複雑性はグラフ内のリンクの回数のシーケンスの長さの2乗係数までスケールする。 本稿では,時間的・空間的両方のダイナミックスを効率的に符号化するスケーラブルなアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-09-14T09:47:38Z)
• Space-Time Graph Neural Networks [104.55175325870195]
  本研究では、時空間グラフニューラルネットワーク(ST-GNN)を導入し、時間変動ネットワークデータの時空間トポロジを共同処理する。 解析の結果,システムのネットワークトポロジと時間進化の変動はST-GNNの性能に大きく影響しないことがわかった。
  論文  参考訳（メタデータ） (2021-10-06T16:08:44Z)
• Multi-Graph Convolutional-Recurrent Neural Network (MGC-RNN) for Short-Term Forecasting of Transit Passenger Flow [7.9132565523269625]
  交通管理や群衆規制には, 短期的な旅客輸送の予測が不可欠である。 都市交通システムにおける乗客の流れを予測するために,革新的な深層学習手法であるMulti-Graph Convolutional-Recurrent Neural Network (MGC-NN)を提案する。
  論文  参考訳（メタデータ） (2021-07-28T08:41:12Z)
• Spatio-Temporal Graph Scattering Transform [54.52797775999124]
  グラフニューラルネットワークは、十分な高品質のトレーニングデータがないために、現実のシナリオでは実用的ではないかもしれない。 我々は時間的データを解析するための数学的に設計された新しいフレームワークを考案した。
  論文  参考訳（メタデータ） (2020-12-06T19:49:55Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。