論文の概要: TPLLM: A Traffic Prediction Framework Based on Pretrained Large Language
Models
- arxiv url: http://arxiv.org/abs/2403.02221v1
- Date: Mon, 4 Mar 2024 17:08:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 17:55:59.862015
- Title: TPLLM: A Traffic Prediction Framework Based on Pretrained Large Language
Models
- Title(参考訳): TPLLM: 事前訓練された大規模言語モデルに基づく交通予測フレームワーク
- Authors: Yilong Ren, Yue Chen, Shuai Liu, Boyue Wang, Haiyang Yu, and Zhiyong
Cui
- Abstract要約: 大規模言語モデル(LLM)を利用した新しい交通予測フレームワークであるTPLLMを紹介する。
本フレームワークでは,Lonal Neural Networks (LoCNNs) に基づくシーケンス埋め込み層と,Graph Contemporalal Networks (GCNs) に基づくグラフ埋め込み層を構築し,シーケンスの特徴と空間的特徴を抽出する。
実世界の2つのデータセットの実験では、フルサンプルと数ショットの予測シナリオの両方で、満足できるパフォーマンスを示している。
- 参考スコア(独自算出の注目度): 27.306180426294784
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Traffic prediction constitutes a pivotal facet within the purview of
Intelligent Transportation Systems (ITS), and the attainment of highly precise
predictions holds profound significance for efficacious traffic management. The
precision of prevailing deep learning-driven traffic prediction models
typically sees an upward trend with a rise in the volume of training data.
However, the procurement of comprehensive spatiotemporal datasets for traffic
is often fraught with challenges, primarily stemming from the substantial costs
associated with data collection and retention. Consequently, developing a model
that can achieve accurate predictions and good generalization ability in areas
with limited historical traffic data is a challenging problem. It is noteworthy
that the rapidly advancing pretrained Large Language Models (LLMs) of recent
years have demonstrated exceptional proficiency in cross-modality knowledge
transfer and few-shot learning. Recognizing the sequential nature of traffic
data, similar to language, we introduce TPLLM, a novel traffic prediction
framework leveraging LLMs. In this framework, we construct a sequence embedding
layer based on Convolutional Neural Networks (CNNs) and a graph embedding layer
based on Graph Convolutional Networks (GCNs) to extract sequence features and
spatial features, respectively. These are subsequently integrated to form
inputs that are suitable for LLMs. A Low-Rank Adaptation (LoRA) fine-tuning
approach is applied to TPLLM, thereby facilitating efficient learning and
minimizing computational demands. Experiments on two real-world datasets
demonstrate that TPLLM exhibits commendable performance in both full-sample and
few-shot prediction scenarios, effectively supporting the development of ITS in
regions with scarce historical traffic data.
- Abstract(参考訳): 交通予測は、インテリジェントトランスポーテーションシステム(ITS)のパービューにおいて重要な側面を占めており、高精度な予測の達成は、効率的な交通管理に重要な意味を持つ。
ディープラーニング駆動の交通予測モデルの精度は、通常、トレーニングデータの量が増加するにつれて上昇傾向を呈する。
しかしながら、トラフィックのための包括的な時空間データセットの調達には、主にデータ収集と保持に関連する実質的なコストに起因する課題が伴うことが多い。
その結果,過去のトラヒックデータに乏しい地域において,正確な予測と優れた一般化能力を実現するモデルの開発が課題となる。
近年の先進的な大規模言語モデル (LLM) は, クロスモダリティの知識伝達や数発の学習において, 極めて優れた能力を発揮している。
言語に類似したトラヒックデータの逐次的性質を認識し,llmを活用した新しいトラヒック予測フレームワークであるtpllmを導入する。
本稿では,畳み込みニューラルネットワーク(CNN)に基づくシーケンス埋め込み層とグラフ畳み込みニューラルネットワーク(GCN)に基づくグラフ埋め込み層を構築し,それぞれにシーケンスの特徴と空間的特徴を抽出する。
これらは後にLLMに適した入力を形成するために統合される。
低ランク適応(LoRA)ファインチューニングアプローチをTPLLMに適用することにより,効率的な学習と計算要求の最小化を実現する。
実世界の2つのデータセットの実験では、TPLLMはフルサンプルと少数ショットの予測シナリオの両方で高い性能を示し、歴史的交通量の少ない地域でのITSの開発を効果的に支援している。
関連論文リスト
- BjTT: A Large-scale Multimodal Dataset for Traffic Prediction [49.93028461584377]
従来の交通予測手法は、交通トレンドを予測するために、過去の交通データに依存している。
本研究では,交通システムを記述するテキストと生成モデルを組み合わせることで,交通生成にどのように応用できるかを考察する。
本稿では,テキスト・トラフィック生成のための最初の拡散モデルChatTrafficを提案する。
論文 参考訳(メタデータ) (2024-03-08T04:19:56Z) - Spatial-Temporal Large Language Model for Traffic Prediction [22.78807405820044]
交通予測のための時空間大言語モデル(ST-LLM)を提案する。
ST-LLMは各場所のタイムステップをトークンとして再定義し、時空間埋め込みモジュールを組み込む。
少数ショットとゼロショットの予測シナリオにおいて、堅牢なパフォーマンスを示す。
論文 参考訳(メタデータ) (2024-01-18T17:03:59Z) - Pre-training on Synthetic Driving Data for Trajectory Prediction [64.16991399882477]
我々は,データ可用性の制限の下で一般的な軌道予測表現を学習することの課題に取り組むことを目的としている。
我々はHD-mapのグラフ表現を利用し、ベクトル変換を適用して地図を再構成する。
我々は、拡張シーンに基づく軌道を生成するためにルールベースのモデルを用いる。
論文 参考訳(メタデータ) (2023-09-18T19:49:22Z) - PDFormer: Propagation Delay-Aware Dynamic Long-Range Transformer for
Traffic Flow Prediction [78.05103666987655]
空間時空間グラフニューラルネットワーク(GNN)モデルは、この問題を解決する最も有望な方法の1つである。
本稿では,交通流の正確な予測を行うために,遅延を意識した動的長距離トランスフォーマー(PDFormer)を提案する。
提案手法は,最先端の性能を達成するだけでなく,計算効率の競争力も発揮できる。
論文 参考訳(メタデータ) (2023-01-19T08:42:40Z) - NodeTrans: A Graph Transfer Learning Approach for Traffic Prediction [33.299309349152146]
少ないデータでトラフィック予測を解くために,新しいトランスファー学習手法を提案する。
まず、異なる道路ネットワークのノード固有の時空間トラフィックパターンをキャプチャできる時空間グラフニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2022-07-04T10:06:20Z) - Continuous-Time and Multi-Level Graph Representation Learning for
Origin-Destination Demand Prediction [52.0977259978343]
本稿では,原位置需要予測(CMOD)のための連続時間および多段階動的グラフ表現学習法を提案する。
状態ベクトルは、過去のトランザクション情報を保持し、最近発生したトランザクションに従って継続的に更新される。
北京地下鉄とニューヨークタクシーの2つの実世界のデータセットを用いて実験を行い、そのモデルが最先端のアプローチに対して優れていることを実証した。
論文 参考訳(メタデータ) (2022-06-30T03:37:50Z) - Transfer Learning Based Efficient Traffic Prediction with Limited
Training Data [3.689539481706835]
インターネットトラフィックの効率的な予測は、積極的な管理を確保するための自己組織化ネットワーク(SON)の不可欠な部分である。
限られた訓練データを用いたネットワークトラフィック予測における深部シーケンスモデルは、現在研究されている研究で広く研究されていない。
不適切な歴史データを用いた交通予測における深層移動学習手法の性能について検討・評価を行った。
論文 参考訳(メタデータ) (2022-05-09T14:44:39Z) - PreTraM: Self-Supervised Pre-training via Connecting Trajectory and Map [58.53373202647576]
軌道予測のための自己教師付き事前学習方式であるPreTraMを提案する。
1) トラジェクティブ・マップ・コントラクティブ・ラーニング(トラジェクティブ・コントラクティブ・ラーニング)、(2) トラジェクティブ・ラーニング(トラジェクティブ・コントラクティブ・ラーニング)、(2) トラジェクティブ・ラーニング(トラジェクティブ・ラーニング)、(2) トラジェクティブ・コントラクティブ・ラーニング(トラジェクティブ・ラーニング)、(2) トラジェクティブ・コントラクティブ・ラーニング(トラジェクティブ・ラーニング)の2つのパートから構成される。
AgentFormerやTrajectron++といった一般的なベースラインに加えて、PreTraMは、挑戦的なnuScenesデータセット上で、FDE-10でパフォーマンスを5.5%と6.9%向上させる。
論文 参考訳(メタデータ) (2022-04-21T23:01:21Z) - Few-Shot Traffic Prediction with Graph Networks using Locale as
Relational Inductive Biases [7.173242326298134]
多くの都市では、データ収集費用のため、利用可能なトラフィックデータの量は、最低限の要件以下である。
本稿では,グラフネットワーク(GN)に基づく深層学習モデルであるLocaleGnを開発した。
また、LocaleGnから学んだ知識が都市間で伝達可能であることも実証された。
論文 参考訳(メタデータ) (2022-03-08T09:46:50Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳(メタデータ) (2021-03-17T08:28:30Z) - Transfer Learning and Online Learning for Traffic Forecasting under
Different Data Availability Conditions: Alternatives and Pitfalls [7.489793155793319]
本研究の目的は,不在データのシナリオにおいて,交通流予測モデルを開発するための伝達学習(TL)の可能性を明らかにすることである。
従来のバッチ学習は,マドリード市議会(スペイン)が管理するデプロイループによって収集される,実際のトラフィックフローデータを用いたTLベースモデルと比較される。
さらに,交通の流れの変化に適応し,新たな交通データから漸進的に学習するために,各予測の後にモデルが更新を受けるオンライン学習(OL)手法を適用した。
論文 参考訳(メタデータ) (2020-05-08T10:53:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。