Fugu-MT 論文翻訳(概要): FlowDistill: Scalable Traffic Flow Prediction via Distillation from LLMs

論文の概要: FlowDistill: Scalable Traffic Flow Prediction via Distillation from LLMs

arxiv url: http://arxiv.org/abs/2504.02094v1
Date: Wed, 02 Apr 2025 19:54:54 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-04 12:57:52.174130
Title: FlowDistill: Scalable Traffic Flow Prediction via Distillation from LLMs
Title（参考訳）: FlowDistill: LLMからの蒸留によるスケーラブルなトラフィックフロー予測
Authors: Chenyang Yu, Xinpeng Xie, Yan Huang, Chenxi Qiu,
Abstract要約: FlowDistillは、大規模言語モデル(LLM)からの知識蒸留に基づく軽量交通予測フレームワークであるその単純さにもかかわらず、FlowDistillは、トレーニングデータを大幅に少なくしながら、予測精度で最先端のモデルを一貫して上回る。
参考スコア（独自算出の注目度）: 5.6685153523382015
License:
Abstract: Accurate traffic flow prediction is vital for optimizing urban mobility, yet it remains difficult in many cities due to complex spatio-temporal dependencies and limited high-quality data. While deep graph-based models demonstrate strong predictive power, their performance often comes at the cost of high computational overhead and substantial training data requirements, making them impractical for deployment in resource-constrained or data-scarce environments. We propose the FlowDistill, a lightweight and scalable traffic prediction framework based on knowledge distillation from large language models (LLMs). In this teacher-student setup, a fine-tuned LLM guides a compact multi-layer perceptron (MLP) student model using a novel combination of the information bottleneck principle and teacher-bounded regression loss, ensuring the distilled model retains only essential and transferable knowledge. Spatial and temporal correlations are explicitly encoded to enhance the model's generalization across diverse urban settings. Despite its simplicity, FlowDistill consistently outperforms state-of-the-art models in prediction accuracy while requiring significantly less training data, and achieving lower memory usage and inference latency, highlighting its efficiency and suitability for real-world, scalable deployment.
Abstract（参考訳）: 都市移動を最適化するためには正確な交通流予測が不可欠であるが、複雑な時空間依存と限られた高品質のデータのため、多くの都市では依然として困難である。ディープグラフベースのモデルは強力な予測力を示すが、その性能は高い計算オーバーヘッドと実質的なトレーニングデータ要求のコストが伴うことが多く、リソースに制約のある、あるいはデータに制限のある環境でのデプロイには実用的ではない。本研究では,大規模言語モデル(LLM)からの知識蒸留に基づく,軽量でスケーラブルなトラフィック予測フレームワークであるFlowDistillを提案する。微調整LDMは、情報ボトルネック原理と教師境界回帰損失の新たな組み合わせを用いて、コンパクトな多層パーセプトロン(MLP)学生モデルを誘導し、蒸留モデルが必須かつ伝達可能な知識のみを保持することを保証する。空間的および時間的相関は、様々な都市環境におけるモデルの一般化を促進するために明示的に符号化される。単純さにもかかわらず、FlowDistillは、トレーニングデータを大幅に削減し、メモリ使用量と推論レイテンシの低減を実現し、現実のスケーラブルなデプロイメントにおける効率性と適合性を強調しながら、予測精度において最先端モデルよりも一貫してパフォーマンスを向上している。

関連論文リスト

PreMixer: MLP-Based Pre-training Enhanced MLP-Mixers for Large-scale Traffic Forecasting [30.055634767677823]
都市コンピューティングでは,交通ネットワークからの時系列データの正確かつ迅速な予測が重要である。現在の研究制限は、モデル固有の非効率性と、モデル複雑さによる大規模トラフィックアプリケーションに対する不適合性のためである。本稿では,このギャップを埋めるための新しいフレームワークPreMixerを提案する。MLP(Multi-Layer Perceptrons)の原理に基づく予測モデルと事前学習機構を特徴とする。我々のフレームワークは,大規模トラフィックデータセットの広範な実験により検証され,高い計算効率を維持しながら,同等の最先端性能を実現している。
論文参考訳（メタデータ） (2024-12-18T08:35:40Z)
Learning with Less: Knowledge Distillation from Large Language Models via Unlabeled Data [54.934578742209716]
現実世界のNLPアプリケーションでは、Large Language Models (LLMs) は巨大なデータセットの広範なトレーニングのために、有望なソリューションを提供する。 LLKDは、教師と学生の両方の信号を組み込んだ適応的なサンプル選択法である。総合的な実験により,LLKDは高いデータ効率で,様々なデータセットで優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2024-11-12T18:57:59Z)
Efficient Motion Prediction: A Lightweight & Accurate Trajectory Prediction Model With Fast Training and Inference Speed [56.27022390372502]
我々は,1つのGPU上で数時間のトレーニングをしながら,競争力の高いベンチマーク結果を実現する,新しい効率的な動き予測モデルを提案する。その低推論レイテンシは、特に限られたコンピューティングリソースを持つ自律アプリケーションへのデプロイに適している。
論文参考訳（メタデータ） (2024-09-24T14:58:27Z)
EasyST: A Simple Framework for Spatio-Temporal Prediction [18.291117879544945]
本稿では,時空間予測のための簡単なフレームワークであるEasySTパラダイムを提案する。複雑な時間的GNNからの知識を蒸留することにより、軽量で堅牢なマルチ層パーセプトロン(MLP)の一般化を学習する。 EasySTは、効率と精度の点で最先端のアプローチを超越している。
論文参考訳（メタデータ） (2024-09-10T11:40:01Z)
Physics-guided Active Sample Reweighting for Urban Flow Prediction [75.24539704456791]
都市フロー予測は、バス、タクシー、ライド駆動モデルといった交通サービスのスループットを見積もる、微妙な時間的モデリングである。最近の予測解は、物理学誘導機械学習(PGML)の概念による改善をもたらす。我々は、PN(atized Physics-guided Network)を開発し、P-GASR(Physical-guided Active Sample Reweighting)を提案する。
論文参考訳（メタデータ） (2024-07-18T15:44:23Z)
ST-Mamba: Spatial-Temporal Selective State Space Model for Traffic Flow Prediction [32.44888387725925]
提案したST-Mambaモデルは,まず,グラフモデルを用いることなく交通流予測における時空間学習のパワーを活用する。提案したST-Mambaモデルでは、計算速度が61.11%向上し、予測精度が0.67%向上した。実世界のトラフィックデータセットを用いた実験は、textsfST-Mambaモデルがトラフィックフロー予測の新しいベンチマークを設定することを示した。
論文参考訳（メタデータ） (2024-04-20T03:57:57Z)
TPLLM: A Traffic Prediction Framework Based on Pretrained Large Language Models [27.306180426294784]
大規模言語モデル(LLM)を利用した新しい交通予測フレームワークであるTPLLMを紹介する。本フレームワークでは,Lonal Neural Networks (LoCNNs) に基づくシーケンス埋め込み層と,Graph Contemporalal Networks (GCNs) に基づくグラフ埋め込み層を構築し,シーケンスの特徴と空間的特徴を抽出する。実世界の2つのデータセットの実験では、フルサンプルと数ショットの予測シナリオの両方で、満足できるパフォーマンスを示している。
論文参考訳（メタデータ） (2024-03-04T17:08:57Z)
Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文参考訳（メタデータ） (2023-09-04T21:10:45Z)
Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文参考訳（メタデータ） (2023-01-05T13:59:29Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。