論文の概要: TPLLM: A Traffic Prediction Framework Based on Pretrained Large Language Models

• arxiv url: http://arxiv.org/abs/2403.02221v1
• Date: Mon, 4 Mar 2024 17:08:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 17:55:59.862015
• Title: TPLLM: A Traffic Prediction Framework Based on Pretrained Large Language Models
• Title（参考訳）: TPLLM: 事前訓練された大規模言語モデルに基づく交通予測フレームワーク
• Authors: Yilong Ren, Yue Chen, Shuai Liu, Boyue Wang, Haiyang Yu, and Zhiyong Cui
• Abstract要約: 大規模言語モデル(LLM)を利用した新しい交通予測フレームワークであるTPLLMを紹介する。 本フレームワークでは,Lonal Neural Networks (LoCNNs) に基づくシーケンス埋め込み層と,Graph Contemporalal Networks (GCNs) に基づくグラフ埋め込み層を構築し,シーケンスの特徴と空間的特徴を抽出する。 実世界の2つのデータセットの実験では、フルサンプルと数ショットの予測シナリオの両方で、満足できるパフォーマンスを示している。
• 参考スコア（独自算出の注目度）: 27.306180426294784
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traffic prediction constitutes a pivotal facet within the purview of Intelligent Transportation Systems (ITS), and the attainment of highly precise predictions holds profound significance for efficacious traffic management. The precision of prevailing deep learning-driven traffic prediction models typically sees an upward trend with a rise in the volume of training data. However, the procurement of comprehensive spatiotemporal datasets for traffic is often fraught with challenges, primarily stemming from the substantial costs associated with data collection and retention. Consequently, developing a model that can achieve accurate predictions and good generalization ability in areas with limited historical traffic data is a challenging problem. It is noteworthy that the rapidly advancing pretrained Large Language Models (LLMs) of recent years have demonstrated exceptional proficiency in cross-modality knowledge transfer and few-shot learning. Recognizing the sequential nature of traffic data, similar to language, we introduce TPLLM, a novel traffic prediction framework leveraging LLMs. In this framework, we construct a sequence embedding layer based on Convolutional Neural Networks (CNNs) and a graph embedding layer based on Graph Convolutional Networks (GCNs) to extract sequence features and spatial features, respectively. These are subsequently integrated to form inputs that are suitable for LLMs. A Low-Rank Adaptation (LoRA) fine-tuning approach is applied to TPLLM, thereby facilitating efficient learning and minimizing computational demands. Experiments on two real-world datasets demonstrate that TPLLM exhibits commendable performance in both full-sample and few-shot prediction scenarios, effectively supporting the development of ITS in regions with scarce historical traffic data.
• Abstract（参考訳）: 交通予測は、インテリジェントトランスポーテーションシステム(ITS)のパービューにおいて重要な側面を占めており、高精度な予測の達成は、効率的な交通管理に重要な意味を持つ。 ディープラーニング駆動の交通予測モデルの精度は、通常、トレーニングデータの量が増加するにつれて上昇傾向を呈する。 しかしながら、トラフィックのための包括的な時空間データセットの調達には、主にデータ収集と保持に関連する実質的なコストに起因する課題が伴うことが多い。 その結果,過去のトラヒックデータに乏しい地域において,正確な予測と優れた一般化能力を実現するモデルの開発が課題となる。 近年の先進的な大規模言語モデル (LLM) は, クロスモダリティの知識伝達や数発の学習において, 極めて優れた能力を発揮している。 言語に類似したトラヒックデータの逐次的性質を認識し,llmを活用した新しいトラヒック予測フレームワークであるtpllmを導入する。 本稿では,畳み込みニューラルネットワーク(CNN)に基づくシーケンス埋め込み層とグラフ畳み込みニューラルネットワーク(GCN)に基づくグラフ埋め込み層を構築し,それぞれにシーケンスの特徴と空間的特徴を抽出する。 これらは後にLLMに適した入力を形成するために統合される。 低ランク適応(LoRA)ファインチューニングアプローチをTPLLMに適用することにより,効率的な学習と計算要求の最小化を実現する。 実世界の2つのデータセットの実験では、TPLLMはフルサンプルと少数ショットの予測シナリオの両方で高い性能を示し、歴史的交通量の少ない地域でのITSの開発を効果的に支援している。

関連論文リスト

• Strada-LLM: Graph LLM for traffic prediction [62.2015839597764]
  交通予測における大きな課題は、非常に異なる交通条件によって引き起こされる多様なデータ分散を扱うことである。 近位交通情報を考慮した交通予測のためのグラフ対応LLMを提案する。 我々は、新しいデータ分散に直面する際に、ドメイン適応を効率的にするための軽量なアプローチを採用する。
  論文  参考訳（メタデータ） (2024-10-28T09:19:29Z)
• Physics-guided Active Sample Reweighting for Urban Flow Prediction [75.24539704456791]
  都市フロー予測は、バス、タクシー、ライド駆動モデルといった交通サービスのスループットを見積もる、微妙な時間的モデリングである。 最近の予測解は、物理学誘導機械学習(PGML)の概念による改善をもたらす。 我々は、PN(atized Physics-guided Network)を開発し、P-GASR(Physical-guided Active Sample Reweighting)を提案する。
  論文  参考訳（メタデータ） (2024-07-18T15:44:23Z)
• Towards Explainable Traffic Flow Prediction with Large Language Models [36.86937188565623]
  本稿では,Large Language Models (LLMs) に基づく交通流予測モデルを提案する。 マルチモーダルなトラフィックデータを自然言語記述に転送することで、xTP-LLMは複雑な時系列パターンと外部要因を包括的なトラフィックデータからキャプチャする。 経験的に、xTP-LLMは、ディープラーニングのベースラインと比較して、競争の正確さを示すと同時に、予測の直感的で信頼性の高い説明を提供する。
  論文  参考訳（メタデータ） (2024-04-03T07:14:15Z)
• Energy-Guided Data Sampling for Traffic Prediction with Mini Training Datasets [13.065729535009925]
  本稿では、畳み込みニューラルネットワーク(CNN)とLong Short-Term Memory(LSTM)アーキテクチャを融合して、トラフィックフローのダイナミクスを予測する革新的なソリューションを提案する。 本研究の重要な成果は,小規模な交通システムを対象としたシミュレーションから,大規模交通システムのトレーニングデータをサンプリングできることである。
  論文  参考訳（メタデータ） (2024-03-27T15:57:42Z)
• Spatial-Temporal Large Language Model for Traffic Prediction [21.69991612610926]
  交通予測のための時空間大言語モデル(ST-LLM)を提案する。 ST-LLMでは,各位置の時間ステップをトークンとして定義し,空間的位置とグローバルな時間的パターンを学習するための空間的時間的埋め込みを設計する。 実トラフィックデータセットの実験において、ST-LLMは最先端のモデルより優れた空間時空間学習器である。
  論文  参考訳（メタデータ） (2024-01-18T17:03:59Z)
• Pre-training on Synthetic Driving Data for Trajectory Prediction [61.520225216107306]
  軌道予測におけるデータ不足の問題を緩和するパイプラインレベルのソリューションを提案する。 我々は、駆動データを生成するためにHDマップ拡張とトラジェクトリ合成を採用し、それらを事前学習することで表現を学習する。 我々は、データ拡張と事前学習戦略の有効性を実証するための広範な実験を行う。
  論文  参考訳（メタデータ） (2023-09-18T19:49:22Z)
• PDFormer: Propagation Delay-Aware Dynamic Long-Range Transformer for Traffic Flow Prediction [78.05103666987655]
  空間時空間グラフニューラルネットワーク(GNN)モデルは、この問題を解決する最も有望な方法の1つである。 本稿では,交通流の正確な予測を行うために,遅延を意識した動的長距離トランスフォーマー(PDFormer)を提案する。 提案手法は,最先端の性能を達成するだけでなく,計算効率の競争力も発揮できる。
  論文  参考訳（メタデータ） (2023-01-19T08:42:40Z)
• Continuous-Time and Multi-Level Graph Representation Learning for Origin-Destination Demand Prediction [52.0977259978343]
  本稿では,原位置需要予測(CMOD)のための連続時間および多段階動的グラフ表現学習法を提案する。 状態ベクトルは、過去のトランザクション情報を保持し、最近発生したトランザクションに従って継続的に更新される。 北京地下鉄とニューヨークタクシーの2つの実世界のデータセットを用いて実験を行い、そのモデルが最先端のアプローチに対して優れていることを実証した。
  論文  参考訳（メタデータ） (2022-06-30T03:37:50Z)
• Transfer Learning Based Efficient Traffic Prediction with Limited Training Data [3.689539481706835]
  インターネットトラフィックの効率的な予測は、積極的な管理を確保するための自己組織化ネットワーク(SON)の不可欠な部分である。 限られた訓練データを用いたネットワークトラフィック予測における深部シーケンスモデルは、現在研究されている研究で広く研究されていない。 不適切な歴史データを用いた交通予測における深層移動学習手法の性能について検討・評価を行った。
  論文  参考訳（メタデータ） (2022-05-09T14:44:39Z)
• PreTraM: Self-Supervised Pre-training via Connecting Trajectory and Map [58.53373202647576]
  軌道予測のための自己教師付き事前学習方式であるPreTraMを提案する。 1) トラジェクティブ・マップ・コントラクティブ・ラーニング(トラジェクティブ・コントラクティブ・ラーニング)、(2) トラジェクティブ・ラーニング(トラジェクティブ・コントラクティブ・ラーニング)、(2) トラジェクティブ・ラーニング(トラジェクティブ・ラーニング)、(2) トラジェクティブ・コントラクティブ・ラーニング(トラジェクティブ・ラーニング)、(2) トラジェクティブ・コントラクティブ・ラーニング(トラジェクティブ・ラーニング)の2つのパートから構成される。 AgentFormerやTrajectron++といった一般的なベースラインに加えて、PreTraMは、挑戦的なnuScenesデータセット上で、FDE-10でパフォーマンスを5.5%と6.9%向上させる。
  論文  参考訳（メタデータ） (2022-04-21T23:01:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。