論文の概要: Spatial-Temporal Large Language Model for Traffic Prediction

• arxiv url: http://arxiv.org/abs/2401.10134v2
• Date: Tue, 23 Jan 2024 07:42:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-24 18:19:09.213846
• Title: Spatial-Temporal Large Language Model for Traffic Prediction
• Title（参考訳）: 交通予測のための時空間大言語モデル
• Authors: Chenxi Liu, Sun Yang, Qianxiong Xu, Zhishuai Li, Cheng Long, Ziyue Li, Rui Zhao
• Abstract要約: 交通予測のための時空間大言語モデル(ST-LLM)を提案する。 ST-LLMは各場所のタイムステップをトークンとして再定義し、時空間埋め込みモジュールを組み込む。 少数ショットとゼロショットの予測シナリオにおいて、堅牢なパフォーマンスを示す。
• 参考スコア（独自算出の注目度）: 22.78807405820044
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traffic prediction, a critical component for intelligent transportation systems, endeavors to foresee future traffic at specific locations using historical data. Although existing traffic prediction models often emphasize developing complex neural network structures, their accuracy has not seen improvements accordingly. Recently, Large Language Models (LLMs) have shown outstanding capabilities in time series analysis. Differing from existing models, LLMs progress mainly through parameter expansion and extensive pre-training while maintaining their fundamental structures. In this paper, we propose a Spatial-Temporal Large Language Model (ST-LLM) for traffic prediction. Specifically, ST-LLM redefines the timesteps at each location as tokens and incorporates a spatial-temporal embedding module to learn the spatial location and global temporal representations of tokens. Then these representations are fused to provide each token with unified spatial and temporal information. Furthermore, we propose a novel partially frozen attention strategy of the LLM, which is designed to capture spatial-temporal dependencies for traffic prediction. Comprehensive experiments on real traffic datasets offer evidence that ST-LLM outperforms state-of-the-art models. Notably, the ST-LLM also exhibits robust performance in both few-shot and zero-shot prediction scenarios.
• Abstract（参考訳）: 知的交通システムにとって重要な要素である交通予測は、歴史的データを用いて特定の場所における将来の交通を予測しようとしている。 既存のトラフィック予測モデルでは、複雑なニューラルネットワーク構造の開発が強調されることが多いが、その精度は改善されていない。 近年,Large Language Models (LLM) は時系列解析において優れた機能を示している。 既存のモデルと異なり、LLMは主にパラメータ拡張と広範な事前学習を通じて、基本構造を維持しながら進行する。 本稿では,交通予測のための時空間大言語モデル(ST-LLM)を提案する。 具体的には、st-llmは各場所の時間ステップをトークンとして再定義し、空間的-時間的埋め込みモジュールを組み込んでトークンの空間的位置と全体的時間的表現を学ぶ。 次にこれらの表現を融合して各トークンに空間情報と時間情報を統一する。 さらに,交通予測のための空間的時間的依存関係を捉えることを目的とした,LLMの新たな部分凍結注意戦略を提案する。 実際のトラフィックデータセットに関する包括的な実験は、st-llmが最先端モデルを上回る証拠を提供する。 特にST-LLMは、少数ショットとゼロショットの予測シナリオで堅牢なパフォーマンスを示す。

関連論文リスト

• Adapting to Length Shift: FlexiLength Network for Trajectory Prediction [53.637837706712794]
  軌道予測は、自律運転、ロボット工学、シーン理解など、様々な応用において重要な役割を果たしている。 既存のアプローチは主に、一般に標準入力時間を用いて、公開データセットの予測精度を高めるために、コンパクトなニューラルネットワークの開発に重点を置いている。 本稿では,様々な観測期間に対する既存の軌道予測の堅牢性を高めるための,汎用的で効果的なフレームワークFlexiLength Network(FLN)を紹介する。
  論文  参考訳（メタデータ） (2024-03-31T17:18:57Z)
• AMP: Autoregressive Motion Prediction Revisited with Next Token Prediction for Autonomous Driving [59.94343412438211]
  本稿では,GPT方式の次のトークン動作予測を動作予測に導入する。 同種単位-ワードからなる言語データとは異なり、運転シーンの要素は複雑な空間的・時間的・意味的な関係を持つ可能性がある。 そこで本稿では,情報集約と位置符号化スタイルの異なる3つの因子化アテンションモジュールを用いて,それらの関係を捉えることを提案する。
  論文  参考訳（メタデータ） (2024-03-20T06:22:37Z)
• TPLLM: A Traffic Prediction Framework Based on Pretrained Large Language Models [27.306180426294784]
  大規模言語モデル(LLM)を利用した新しい交通予測フレームワークであるTPLLMを紹介する。 本フレームワークでは,Lonal Neural Networks (LoCNNs) に基づくシーケンス埋め込み層と,Graph Contemporalal Networks (GCNs) に基づくグラフ埋め込み層を構築し,シーケンスの特徴と空間的特徴を抽出する。 実世界の2つのデータセットの実験では、フルサンプルと数ショットの予測シナリオの両方で、満足できるパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-03-04T17:08:57Z)
• Spatio-Temporal Graph Neural Point Process for Traffic Congestion Event Prediction [16.530361912832763]
  本稿では,交通渋滞イベント予測のための時間グラフニューラルポイントプロセスフレームワークSTNPPを提案する。 提案手法は,既存の最先端手法と比較して優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-11-15T01:22:47Z)
• Transport-Hub-Aware Spatial-Temporal Adaptive Graph Transformer for Traffic Flow Prediction [10.722455633629883]
  本稿では交通流予測のためのトランスポート・ハブ対応時空間適応型グラフ変換器を提案する。 具体的には、動的空間依存を捉えるために、まず新しい空間自己認識モジュールを設計する。 また、トラフィックフローデータ中の動的時間パターンを検出するために、時間的自己アテンションモジュールを用いる。
  論文  参考訳（メタデータ） (2023-10-12T13:44:35Z)
• OpenSTL: A Comprehensive Benchmark of Spatio-Temporal Predictive Learning [67.07363529640784]
  提案するOpenSTLは,一般的なアプローチを再帰的モデルと再帰的モデルに分類する。 我々は, 合成移動物体軌道, 人間の動き, 運転シーン, 交通流, 天気予報など, さまざまな領域にわたるデータセットの標準評価を行う。 リカレントフリーモデルは、リカレントモデルよりも効率と性能のバランスが良いことがわかった。
  論文  参考訳（メタデータ） (2023-06-20T03:02:14Z)
• PDFormer: Propagation Delay-Aware Dynamic Long-Range Transformer for Traffic Flow Prediction [78.05103666987655]
  空間時空間グラフニューラルネットワーク(GNN)モデルは、この問題を解決する最も有望な方法の1つである。 本稿では,交通流の正確な予測を行うために,遅延を意識した動的長距離トランスフォーマー(PDFormer)を提案する。 提案手法は,最先端の性能を達成するだけでなく,計算効率の競争力も発揮できる。
  論文  参考訳（メタデータ） (2023-01-19T08:42:40Z)
• Spatio-Temporal Self-Supervised Learning for Traffic Flow Prediction [36.77135502344546]
  本稿では,新しいST-SSL(Spatio-Supervised Learning)トラフィック予測フレームワークを提案する。 我々のST-SSLは、時空間の畳み込みによって、空間と時間にまたがる情報を符号化する統合モジュール上に構築されている。 4つのベンチマークデータセットの実験では、ST-SSLは様々な最先端のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2022-12-07T10:02:01Z)
• Space Meets Time: Local Spacetime Neural Network For Traffic Flow Forecasting [11.495992519252585]
  このような相関関係は普遍的であり、交通流において重要な役割を担っていると我々は主張する。 交通センサの局所的時空間コンテキストを構築するための新しい時空間学習フレームワークを提案する。 提案したSTNNモデルは、目に見えない任意のトラフィックネットワークに適用できる。
  論文  参考訳（メタデータ） (2021-09-11T09:04:35Z)
• A Spatial-Temporal Attentive Network with Spatial Continuity for Trajectory Prediction [74.00750936752418]
  空間連続性をもつ空間時間減衰ネットワーク(STAN-SC)という新しいモデルを提案する。 まず、最も有用かつ重要な情報を探るために、空間的時間的注意機構を提示する。 第2に、生成軌道の空間的連続性を維持するために、シーケンスと瞬間状態情報に基づく共同特徴系列を実行する。
  論文  参考訳（メタデータ） (2020-03-13T04:35:50Z)
• Spatial-Temporal Transformer Networks for Traffic Flow Forecasting [74.76852538940746]
  本稿では,長期交通予測の精度を向上させるため,時空間変圧器ネットワーク(STTN)の新たなパラダイムを提案する。 具体的には、有向空間依存を動的にモデル化することにより、空間変換器と呼ばれる新しいグラフニューラルネットワークを提案する。 提案モデルにより,長期間にわたる空間的依存関係に対する高速かつスケーラブルなトレーニングが可能になる。
  論文  参考訳（メタデータ） (2020-01-09T10:21:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。