論文の概要: PreMixer: MLP-Based Pre-training Enhanced MLP-Mixers for Large-scale Traffic Forecasting

• arxiv url: http://arxiv.org/abs/2412.13607v1
• Date: Wed, 18 Dec 2024 08:35:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 16:47:37.674432
• Title: PreMixer: MLP-Based Pre-training Enhanced MLP-Mixers for Large-scale Traffic Forecasting
• Title（参考訳）: PreMixer: MLPベースの大規模トラフィック予測のためのMLP-Mixerの事前学習
• Authors: Tongtong Zhang, Zhiyong Cui, Bingzhang Wang, Yilong Ren, Haiyang Yu, Pan Deng, Yinhai Wang,
• Abstract要約: 都市コンピューティングでは,交通ネットワークからの時系列データの正確かつ迅速な予測が重要である。 現在の研究制限は、モデル固有の非効率性と、モデル複雑さによる大規模トラフィックアプリケーションに対する不適合性のためである。 本稿では,このギャップを埋めるための新しいフレームワークPreMixerを提案する。MLP(Multi-Layer Perceptrons)の原理に基づく予測モデルと事前学習機構を特徴とする。 我々のフレームワークは,大規模トラフィックデータセットの広範な実験により検証され,高い計算効率を維持しながら,同等の最先端性能を実現している。
• 参考スコア（独自算出の注目度）: 30.055634767677823
• License:
• Abstract: In urban computing, precise and swift forecasting of multivariate time series data from traffic networks is crucial. This data incorporates additional spatial contexts such as sensor placements and road network layouts, and exhibits complex temporal patterns that amplify challenges for predictive learning in traffic management, smart mobility demand, and urban planning. Consequently, there is an increasing need to forecast traffic flow across broader geographic regions and for higher temporal coverage. However, current research encounters limitations because of the inherent inefficiency of model and their unsuitability for large-scale traffic network applications due to model complexity. This paper proposes a novel framework, named PreMixer, designed to bridge this gap. It features a predictive model and a pre-training mechanism, both based on the principles of Multi-Layer Perceptrons (MLP). The PreMixer comprehensively consider temporal dependencies of traffic patterns in different time windows and processes the spatial dynamics as well. Additionally, we integrate spatio-temporal positional encoding to manage spatiotemporal heterogeneity without relying on predefined graphs. Furthermore, our innovative pre-training model uses a simple patch-wise MLP to conduct masked time series modeling, learning from long-term historical data segmented into patches to generate enriched contextual representations. This approach enhances the downstream forecasting model without incurring significant time consumption or computational resource demands owing to improved learning efficiency and data handling flexibility. Our framework achieves comparable state-of-the-art performance while maintaining high computational efficiency, as verified by extensive experiments on large-scale traffic datasets.
• Abstract（参考訳）: 都市コンピューティングでは,交通ネットワークからの多変量時系列データの正確かつ迅速な予測が重要である。 このデータには、センサ配置や道路ネットワークレイアウトといった追加の空間的コンテキストが含まれており、交通管理、スマートモビリティ要求、都市計画における予測学習の課題を増幅する複雑な時間的パターンが示される。 その結果,広い地域をまたいだ交通流の予測や時間的カバレッジ向上の必要性が高まっている。 しかし、モデル固有の非効率性と、モデル複雑さによる大規模トラフィックネットワークアプリケーションに対する不適合性のため、現在の研究は制限に直面している。 本稿では,このギャップを埋めるために設計されたPreMixerという新しいフレームワークを提案する。 予測モデルと事前学習機構を備えており、どちらもMLP(Multi-Layer Perceptrons)の原則に基づいている。 PreMixerは、異なる時間ウィンドウにおけるトラフィックパターンの時間的依存関係を包括的に検討し、空間的ダイナミクスも処理する。 さらに,時空間の位置エンコーディングを統合して,事前定義されたグラフに依存することなく時空間の不均一性を管理する。 さらに、我々の革新的な事前学習モデルは、単純なパッチワイドMLPを用いて、マスク付き時系列モデリングを行い、パッチにセグメント化された長期履歴データから学習し、リッチな文脈表現を生成する。 このアプローチは、学習効率とデータ処理の柔軟性の改善により、かなりの時間消費や計算リソースの要求を発生させずに、下流予測モデルを強化する。 我々のフレームワークは,大規模トラフィックデータセットの広範な実験により検証され,高い計算効率を維持しながら,同等の最先端性能を実現している。

関連論文リスト

• Temporal Graph MLP Mixer for Spatio-Temporal Forecasting [1.5696662871407674]
  T-GMM (Temporal Graph-Mixer) は、データ不足に対処するために設計されたアーキテクチャである。 モデルはノードレベルの処理とサブグラフエンコーディングを組み合わせて、局所化された空間依存をキャプチャする。 AQI、ENGRAD、PV-US、METR-LAデータセットの実験では、大きな欠落したデータが存在する場合でも、モデルが効果的に予測できることが示されている。
  論文  参考訳（メタデータ） (2025-01-17T14:13:48Z)
• SFADNet: Spatio-temporal Fused Graph based on Attention Decoupling Network for Traffic Prediction [4.868638426254428]
  本稿では,空間的特徴量に基づいてトラフィックフローを複数のトラフィックパターンに分類する,革新的なトラフィックフロー予測ネットワークであるSFADNetを提案する。 各パターンに対して、残差グラフ畳み込みモジュールと時系列モジュールを用いて、相互アテンション機構に基づく独立適応時間融合グラフを構築する。 大規模な実験結果によると、SFADNetは大規模な4スケールのデータセットで現在の最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-01-07T09:09:50Z)
• Improving Traffic Flow Predictions with SGCN-LSTM: A Hybrid Model for Spatial and Temporal Dependencies [55.2480439325792]
  本稿ではSGCN-LSTM(Signal-Enhanced Graph Convolutional Network Long Short Term Memory)モデルを提案する。 PEMS-BAYロードネットワークトラフィックデータセットの実験は、SGCN-LSTMモデルの有効性を示す。
  論文  参考訳（メタデータ） (2024-11-01T00:37:00Z)
• Fusion Matrix Prompt Enhanced Self-Attention Spatial-Temporal Interactive Traffic Forecasting Framework [2.9490249935740573]
  FMPESTF(Fusion Matrix Prompt-Enhanced Self-Attention Space-Temporal Interactive Traffic Forecasting Framework)を提案する。 FMPESTFは、ダウンサンプリングトラフィックデータのための空間的および時間的モジュールで構成されている。 時間モデリングにおける注意機構を導入し,様々な交通シナリオに適応するための階層型時空間対話型学習を設計する。
  論文  参考訳（メタデータ） (2024-10-12T03:47:27Z)
• Physics-guided Active Sample Reweighting for Urban Flow Prediction [75.24539704456791]
  都市フロー予測は、バス、タクシー、ライド駆動モデルといった交通サービスのスループットを見積もる、微妙な時間的モデリングである。 最近の予測解は、物理学誘導機械学習(PGML)の概念による改善をもたらす。 我々は、PN(atized Physics-guided Network)を開発し、P-GASR(Physical-guided Active Sample Reweighting)を提案する。
  論文  参考訳（メタデータ） (2024-07-18T15:44:23Z)
• ST-Mamba: Spatial-Temporal Selective State Space Model for Traffic Flow Prediction [32.44888387725925]
  提案したST-Mambaモデルは,まず,グラフモデルを用いることなく交通流予測における時空間学習のパワーを活用する。 提案したST-Mambaモデルでは、計算速度が61.11%向上し、予測精度が0.67%向上した。 実世界のトラフィックデータセットを用いた実験は、textsfST-Mambaモデルがトラフィックフロー予測の新しいベンチマークを設定することを示した。
  論文  参考訳（メタデータ） (2024-04-20T03:57:57Z)
• Adapting to Length Shift: FlexiLength Network for Trajectory Prediction [53.637837706712794]
  軌道予測は、自律運転、ロボット工学、シーン理解など、様々な応用において重要な役割を果たしている。 既存のアプローチは主に、一般に標準入力時間を用いて、公開データセットの予測精度を高めるために、コンパクトなニューラルネットワークの開発に重点を置いている。 本稿では,様々な観測期間に対する既存の軌道予測の堅牢性を高めるための,汎用的で効果的なフレームワークFlexiLength Network(FLN)を紹介する。
  論文  参考訳（メタデータ） (2024-03-31T17:18:57Z)
• TPLLM: A Traffic Prediction Framework Based on Pretrained Large Language Models [27.306180426294784]
  大規模言語モデル(LLM)を利用した新しい交通予測フレームワークであるTPLLMを紹介する。 本フレームワークでは,Lonal Neural Networks (LoCNNs) に基づくシーケンス埋め込み層と,Graph Contemporalal Networks (GCNs) に基づくグラフ埋め込み層を構築し,シーケンスの特徴と空間的特徴を抽出する。 実世界の2つのデータセットの実験では、フルサンプルと数ショットの予測シナリオの両方で、満足できるパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-03-04T17:08:57Z)
• Rethinking Urban Mobility Prediction: A Super-Multivariate Time Series Forecasting Approach [71.67506068703314]
  長期の都市移動予測は、都市施設やサービスの効果的管理において重要な役割を担っている。 伝統的に、都市移動データはビデオとして構成され、経度と緯度を基本的なピクセルとして扱う。 本研究では,都市におけるモビリティ予測の新たな視点について紹介する。 都市移動データを従来のビデオデータとして単純化するのではなく、複雑な時系列と見なす。
  論文  参考訳（メタデータ） (2023-12-04T07:39:05Z)
• PDFormer: Propagation Delay-Aware Dynamic Long-Range Transformer for Traffic Flow Prediction [78.05103666987655]
  空間時空間グラフニューラルネットワーク(GNN)モデルは、この問題を解決する最も有望な方法の1つである。 本稿では,交通流の正確な予測を行うために,遅延を意識した動的長距離トランスフォーマー(PDFormer)を提案する。 提案手法は,最先端の性能を達成するだけでなく,計算効率の競争力も発揮できる。
  論文  参考訳（メタデータ） (2023-01-19T08:42:40Z)
• Spatial-Temporal Transformer Networks for Traffic Flow Forecasting [74.76852538940746]
  本稿では,長期交通予測の精度を向上させるため,時空間変圧器ネットワーク(STTN)の新たなパラダイムを提案する。 具体的には、有向空間依存を動的にモデル化することにより、空間変換器と呼ばれる新しいグラフニューラルネットワークを提案する。 提案モデルにより,長期間にわたる空間的依存関係に対する高速かつスケーラブルなトレーニングが可能になる。
  論文  参考訳（メタデータ） (2020-01-09T10:21:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。