論文の概要: Linear Attention is Enough in Spatial-Temporal Forecasting

• arxiv url: http://arxiv.org/abs/2408.09158v1
• Date: Sat, 17 Aug 2024 10:06:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-20 22:01:27.383610
• Title: Linear Attention is Enough in Spatial-Temporal Forecasting
• Title（参考訳）: 時空間予測における線形注意の意義
• Authors: Xinyu Ning,
• Abstract要約: 本稿では,道路ネットワークにおけるノードを独立した時空間トークンとして扱うことを提案する。 次に、それらをバニラ変換器に入力して、複雑な時空間パターンを学習します。 提案手法は,手頃な計算コストで最先端の性能を実現する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: As the most representative scenario of spatial-temporal forecasting tasks, the traffic forecasting task attracted numerous attention from machine learning community due to its intricate correlation both in space and time dimension. Existing methods often treat road networks over time as spatial-temporal graphs, addressing spatial and temporal representations independently. However, these approaches struggle to capture the dynamic topology of road networks, encounter issues with message passing mechanisms and over-smoothing, and face challenges in learning spatial and temporal relationships separately. To address these limitations, we propose treating nodes in road networks at different time steps as independent spatial-temporal tokens and feeding them into a vanilla Transformer to learn complex spatial-temporal patterns, design STformer achieving SOTA. Given its quadratic complexity, we introduce a variant NSTformer based on Nystr$\ddot{o}$m method to approximate self-attention with linear complexity but even slightly better than former in a few cases astonishingly. Extensive experimental results on traffic datasets demonstrate that the proposed method achieves state-of-the-art performance at an affordable computational cost. Our code will be made available.
• Abstract（参考訳）: 時空間予測タスクの最も代表的なシナリオとして、交通予測タスクは、空間と時間次元の両方において複雑な相関関係のため、機械学習コミュニティから多くの注目を集めた。 既存の方法では、時間とともに道路網を空間的時間グラフとして扱い、空間的時間的表現と時間的表現を独立に扱う。 しかし,これらの手法は,道路ネットワークの動的トポロジを捉えるのに苦労し,メッセージパッシング機構や過度なスムースメントの問題に遭遇し,空間的・時間的関係を別々に学習する際の課題に直面している。 これらの制約に対処するため,道路網内のノードを独立した時空間トークンとして扱い,複雑な時空間パターンを学習するためにバニラ変換器に供給することを提案する。 二次複雑性を考えると、Nystr$\ddot{o}$m 法に基づく変種 NSTformer を導入し、線形複雑性で自己注意を近似するが、驚くべきことにいくつかのケースでは前者よりも若干良い。 トラヒックデータセットの大規模な実験結果から,提案手法は安価な計算コストで最先端の性能を実現することを示す。 私たちのコードは利用可能になります。

関連論文リスト

• DSTCGCN: Learning Dynamic Spatial-Temporal Cross Dependencies for Traffic Forecasting [7.3669718660909735]
  本研究では,動的空間依存と時間依存を協調的に学習する動的時空間グラフ畳み込みネットワークを提案する。 6つの実世界のデータセットの実験は、DSTCGCNが最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2023-07-02T08:53:10Z)
• Adaptive Hierarchical SpatioTemporal Network for Traffic Forecasting [70.66710698485745]
  本稿では,AHSTN(Adaptive Hierarchical SpatioTemporal Network)を提案する。 AHSTNは空間階層を利用し、マルチスケール空間相関をモデル化する。 2つの実世界のデータセットの実験により、AHSTNはいくつかの強いベースラインよりも優れたパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2023-06-15T14:50:27Z)
• Dynamic Graph Convolutional Network with Attention Fusion for Traffic Flow Prediction [10.3426659705376]
  本稿では,同期時空間相関をモデル化するための注意融合型動的グラフ畳み込みネットワークを提案する。 我々は、4つの実世界の交通データセットにおいて、我々の手法が18のベースライン法と比較して最先端の性能を上回ることを示す広範な実験を行った。
  論文  参考訳（メタデータ） (2023-02-24T12:21:30Z)
• PDFormer: Propagation Delay-Aware Dynamic Long-Range Transformer for Traffic Flow Prediction [78.05103666987655]
  空間時空間グラフニューラルネットワーク(GNN)モデルは、この問題を解決する最も有望な方法の1つである。 本稿では,交通流の正確な予測を行うために,遅延を意識した動的長距離トランスフォーマー(PDFormer)を提案する。 提案手法は,最先端の性能を達成するだけでなく,計算効率の競争力も発揮できる。
  論文  参考訳（メタデータ） (2023-01-19T08:42:40Z)
• Spatio-Temporal Joint Graph Convolutional Networks for Traffic Forecasting [75.10017445699532]
  近年、時間グラフモデリング問題として交通予測の定式化に焦点が移っている。 本稿では,道路網における交通予測の精度向上のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-11-25T08:45:14Z)
• Space Meets Time: Local Spacetime Neural Network For Traffic Flow Forecasting [11.495992519252585]
  このような相関関係は普遍的であり、交通流において重要な役割を担っていると我々は主張する。 交通センサの局所的時空間コンテキストを構築するための新しい時空間学習フレームワークを提案する。 提案したSTNNモデルは、目に見えない任意のトラフィックネットワークに適用できる。
  論文  参考訳（メタデータ） (2021-09-11T09:04:35Z)
• Spatial-Temporal Graph ODE Networks for Traffic Flow Forecasting [22.421667339552467]
  時空間予測は幅広い応用において大きな注目を集めており、交通流予測は標準的で典型的な例である。 既存の研究は通常、浅いグラフ畳み込みネットワーク(GNN)と時間的抽出モジュールを使用して、それぞれ空間的および時間的依存関係をモデル化する。 テンソル型常微分方程式(ODE)を用いて時空間ダイナミクスを捉える時空間グラフ正規微分方程式ネットワーク(STGODE)を提案する。 我々は,複数の実世界の交通データセット上でモデルを評価し,最先端のベースライン上で優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-06-24T11:48:45Z)
• Spatial-Temporal Fusion Graph Neural Networks for Traffic Flow Forecasting [35.072979313851235]
  交通流の空間的-時間的データ予測は複雑な空間的依存性と道路間の時間的パターンの動的傾向のために難しい課題である。 既存のフレームワークは通常、与えられた空間隣接グラフと、空間的および時間的相関をモデル化する洗練されたメカニズムを利用する。 本稿では,交通流予測のための空間時間融合グラフニューラルネットワーク(STFGNN)を提案する。
  論文  参考訳（メタデータ） (2020-12-15T14:03:17Z)
• Constructing Geographic and Long-term Temporal Graph for Traffic Forecasting [88.5550074808201]
  交通予測のための地理・長期時間グラフ畳み込み型ニューラルネットワーク(GLT-GCRNN)を提案する。 本研究では,地理的・長期的時間的パターンを共有する道路間のリッチな相互作用を学習する交通予測のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-23T03:50:46Z)
• A Spatial-Temporal Attentive Network with Spatial Continuity for Trajectory Prediction [74.00750936752418]
  空間連続性をもつ空間時間減衰ネットワーク(STAN-SC)という新しいモデルを提案する。 まず、最も有用かつ重要な情報を探るために、空間的時間的注意機構を提示する。 第2に、生成軌道の空間的連続性を維持するために、シーケンスと瞬間状態情報に基づく共同特徴系列を実行する。
  論文  参考訳（メタデータ） (2020-03-13T04:35:50Z)
• Spatial-Temporal Transformer Networks for Traffic Flow Forecasting [74.76852538940746]
  本稿では,長期交通予測の精度を向上させるため,時空間変圧器ネットワーク(STTN)の新たなパラダイムを提案する。 具体的には、有向空間依存を動的にモデル化することにより、空間変換器と呼ばれる新しいグラフニューラルネットワークを提案する。 提案モデルにより,長期間にわたる空間的依存関係に対する高速かつスケーラブルなトレーニングが可能になる。
  論文  参考訳（メタデータ） (2020-01-09T10:21:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。