論文の概要: Spatial-Temporal Large Language Model for Traffic Prediction

• arxiv url: http://arxiv.org/abs/2401.10134v4
• Date: Sun, 7 Jul 2024 23:57:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 02:58:36.782558
• Title: Spatial-Temporal Large Language Model for Traffic Prediction
• Title（参考訳）: 交通予測のための時空間大言語モデル
• Authors: Chenxi Liu, Sun Yang, Qianxiong Xu, Zhishuai Li, Cheng Long, Ziyue Li, Rui Zhao,
• Abstract要約: 交通予測のための時空間大言語モデル(ST-LLM)を提案する。 ST-LLMでは,各位置の時間ステップをトークンとして定義し,空間的位置とグローバルな時間的パターンを学習するための空間的時間的埋め込みを設計する。 実トラフィックデータセットの実験において、ST-LLMは最先端のモデルより優れた空間時空間学習器である。
• 参考スコア（独自算出の注目度）: 21.69991612610926
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traffic prediction, an essential component for intelligent transportation systems, endeavours to use historical data to foresee future traffic features at specific locations. Although existing traffic prediction models often emphasize developing complex neural network structures, their accuracy has not improved. Recently, large language models have shown outstanding capabilities in time series analysis. Differing from existing models, LLMs progress mainly through parameter expansion and extensive pretraining while maintaining their fundamental structures. Motivated by these developments, we propose a Spatial-Temporal Large Language Model (ST-LLM) for traffic prediction. In the ST-LLM, we define timesteps at each location as tokens and design a spatial-temporal embedding to learn the spatial location and global temporal patterns of these tokens. Additionally, we integrate these embeddings by a fusion convolution to each token for a unified spatial-temporal representation. Furthermore, we innovate a partially frozen attention strategy to adapt the LLM to capture global spatial-temporal dependencies for traffic prediction. Comprehensive experiments on real traffic datasets offer evidence that ST-LLM is a powerful spatial-temporal learner that outperforms state-of-the-art models. Notably, the ST-LLM also exhibits robust performance in both few-shot and zero-shot prediction scenarios. The code is publicly available at https://github.com/ChenxiLiu-HNU/ST-LLM.
• Abstract（参考訳）: 交通予測は、インテリジェントな交通システムにとって不可欠な要素であり、特定の場所で将来の交通の特徴を予見するために歴史的なデータを使用する努力である。 既存のトラフィック予測モデルは複雑なニューラルネットワーク構造の開発を強調することが多いが、精度は改善されていない。 近年,大規模言語モデルは時系列解析において優れた能力を示している。 既存のモデルと異なり、LLMは主にパラメータ拡張と広範な事前訓練を通じて、基本構造を維持しながら進行する。 これらの発展を動機として,交通予測のための時空間大言語モデル(ST-LLM)を提案する。 ST-LLMでは,各位置の時間ステップをトークンとして定義し,空間的位置とグローバルな時間的パターンを学習するための空間的時間的埋め込みを設計する。 さらに、これらの埋め込みを各トークンに融合畳み込みにより統合し、空間的時間的表現を統一する。 さらに,LLMを適応させ,交通予測のためのグローバルな時空間依存性を捉えるために,部分的に凍結した注意戦略を革新する。 実トラフィックデータセットに関する総合的な実験は、ST-LLMが最先端モデルを上回る強力な時空間学習者であることを示す。 特にST-LLMは、少数ショットとゼロショットの予測シナリオの両方で堅牢なパフォーマンスを示している。 コードはhttps://github.com/ChenxiLiu-HNU/ST-LLMで公開されている。

関連論文リスト

• Adapting to Length Shift: FlexiLength Network for Trajectory Prediction [53.637837706712794]
  軌道予測は、自律運転、ロボット工学、シーン理解など、様々な応用において重要な役割を果たしている。 既存のアプローチは主に、一般に標準入力時間を用いて、公開データセットの予測精度を高めるために、コンパクトなニューラルネットワークの開発に重点を置いている。 本稿では,様々な観測期間に対する既存の軌道予測の堅牢性を高めるための,汎用的で効果的なフレームワークFlexiLength Network(FLN)を紹介する。
  論文  参考訳（メタデータ） (2024-03-31T17:18:57Z)
• AMP: Autoregressive Motion Prediction Revisited with Next Token Prediction for Autonomous Driving [59.94343412438211]
  本稿では,GPT方式の次のトークン動作予測を動作予測に導入する。 同種単位-ワードからなる言語データとは異なり、運転シーンの要素は複雑な空間的・時間的・意味的な関係を持つ可能性がある。 そこで本稿では,情報集約と位置符号化スタイルの異なる3つの因子化アテンションモジュールを用いて,それらの関係を捉えることを提案する。
  論文  参考訳（メタデータ） (2024-03-20T06:22:37Z)
• TPLLM: A Traffic Prediction Framework Based on Pretrained Large Language Models [27.306180426294784]
  大規模言語モデル(LLM)を利用した新しい交通予測フレームワークであるTPLLMを紹介する。 本フレームワークでは,Lonal Neural Networks (LoCNNs) に基づくシーケンス埋め込み層と,Graph Contemporalal Networks (GCNs) に基づくグラフ埋め込み層を構築し,シーケンスの特徴と空間的特徴を抽出する。 実世界の2つのデータセットの実験では、フルサンプルと数ショットの予測シナリオの両方で、満足できるパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-03-04T17:08:57Z)
• Spatio-Temporal Graph Neural Point Process for Traffic Congestion Event Prediction [16.530361912832763]
  本稿では,交通渋滞イベント予測のための時間グラフニューラルポイントプロセスフレームワークSTNPPを提案する。 提案手法は,既存の最先端手法と比較して優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-11-15T01:22:47Z)
• Transport-Hub-Aware Spatial-Temporal Adaptive Graph Transformer for Traffic Flow Prediction [10.722455633629883]
  本稿では交通流予測のためのトランスポート・ハブ対応時空間適応型グラフ変換器を提案する。 具体的には、動的空間依存を捉えるために、まず新しい空間自己認識モジュールを設計する。 また、トラフィックフローデータ中の動的時間パターンを検出するために、時間的自己アテンションモジュールを用いる。
  論文  参考訳（メタデータ） (2023-10-12T13:44:35Z)
• OpenSTL: A Comprehensive Benchmark of Spatio-Temporal Predictive Learning [67.07363529640784]
  提案するOpenSTLは,一般的なアプローチを再帰的モデルと再帰的モデルに分類する。 我々は, 合成移動物体軌道, 人間の動き, 運転シーン, 交通流, 天気予報など, さまざまな領域にわたるデータセットの標準評価を行う。 リカレントフリーモデルは、リカレントモデルよりも効率と性能のバランスが良いことがわかった。
  論文  参考訳（メタデータ） (2023-06-20T03:02:14Z)
• PDFormer: Propagation Delay-Aware Dynamic Long-Range Transformer for Traffic Flow Prediction [78.05103666987655]
  空間時空間グラフニューラルネットワーク(GNN)モデルは、この問題を解決する最も有望な方法の1つである。 本稿では,交通流の正確な予測を行うために,遅延を意識した動的長距離トランスフォーマー(PDFormer)を提案する。 提案手法は,最先端の性能を達成するだけでなく,計算効率の競争力も発揮できる。
  論文  参考訳（メタデータ） (2023-01-19T08:42:40Z)
• Spatio-Temporal Self-Supervised Learning for Traffic Flow Prediction [36.77135502344546]
  本稿では,新しいST-SSL(Spatio-Supervised Learning)トラフィック予測フレームワークを提案する。 我々のST-SSLは、時空間の畳み込みによって、空間と時間にまたがる情報を符号化する統合モジュール上に構築されている。 4つのベンチマークデータセットの実験では、ST-SSLは様々な最先端のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2022-12-07T10:02:01Z)
• Space Meets Time: Local Spacetime Neural Network For Traffic Flow Forecasting [11.495992519252585]
  このような相関関係は普遍的であり、交通流において重要な役割を担っていると我々は主張する。 交通センサの局所的時空間コンテキストを構築するための新しい時空間学習フレームワークを提案する。 提案したSTNNモデルは、目に見えない任意のトラフィックネットワークに適用できる。
  論文  参考訳（メタデータ） (2021-09-11T09:04:35Z)
• A Spatial-Temporal Attentive Network with Spatial Continuity for Trajectory Prediction [74.00750936752418]
  空間連続性をもつ空間時間減衰ネットワーク(STAN-SC)という新しいモデルを提案する。 まず、最も有用かつ重要な情報を探るために、空間的時間的注意機構を提示する。 第2に、生成軌道の空間的連続性を維持するために、シーケンスと瞬間状態情報に基づく共同特徴系列を実行する。
  論文  参考訳（メタデータ） (2020-03-13T04:35:50Z)
• Spatial-Temporal Transformer Networks for Traffic Flow Forecasting [74.76852538940746]
  本稿では,長期交通予測の精度を向上させるため,時空間変圧器ネットワーク(STTN)の新たなパラダイムを提案する。 具体的には、有向空間依存を動的にモデル化することにより、空間変換器と呼ばれる新しいグラフニューラルネットワークを提案する。 提案モデルにより,長期間にわたる空間的依存関係に対する高速かつスケーラブルなトレーニングが可能になる。
  論文  参考訳（メタデータ） (2020-01-09T10:21:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。