論文の概要: Knowledge Distillation on Spatial-Temporal Graph Convolutional Network
for Traffic Prediction
- arxiv url: http://arxiv.org/abs/2401.11798v3
- Date: Sun, 28 Jan 2024 06:00:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 20:11:54.114460
- Title: Knowledge Distillation on Spatial-Temporal Graph Convolutional Network
for Traffic Prediction
- Title(参考訳): 交通予測のための時空間グラフ畳み込みネットワークの知識蒸留
- Authors: Mohammad Izadi, Mehran Safayani, Abdolreza Mirzaei
- Abstract要約: 複雑なネットワーク(教師)からの蒸留データを用いて、より少ないパラメータ(学生)でネットワークを訓練するコスト関数を導入する。
我々は,教師ネットワークから空間時間相関を取り入れた知識蒸留を用いて,教師が知覚する複雑なパターンを学習できるようにする。
本手法は, ネットワークパラメータがわずか3%であった場合でも, 生徒の精度を教師の精度に近いものに維持することができる。
- 参考スコア(独自算出の注目度): 3.422309388045879
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Efficient real-time traffic prediction is crucial for reducing transportation
time. To predict traffic conditions, we employ a spatio-temporal graph neural
network (ST-GNN) to model our real-time traffic data as temporal graphs.
Despite its capabilities, it often encounters challenges in delivering
efficient real-time predictions for real-world traffic data. Recognizing the
significance of timely prediction due to the dynamic nature of real-time data,
we employ knowledge distillation (KD) as a solution to enhance the execution
time of ST-GNNs for traffic prediction. In this paper, We introduce a cost
function designed to train a network with fewer parameters (the student) using
distilled data from a complex network (the teacher) while maintaining its
accuracy close to that of the teacher. We use knowledge distillation,
incorporating spatial-temporal correlations from the teacher network to enable
the student to learn the complex patterns perceived by the teacher. However, a
challenge arises in determining the student network architecture rather than
considering it inadvertently. To address this challenge, we propose an
algorithm that utilizes the cost function to calculate pruning scores,
addressing small network architecture search issues, and jointly fine-tunes the
network resulting from each pruning stage using KD. Ultimately, we evaluate our
proposed ideas on two real-world datasets, PeMSD7 and PeMSD8. The results
indicate that our method can maintain the student's accuracy close to that of
the teacher, even with the retention of only $3\%$ of network parameters.
- Abstract(参考訳): 交通時間の短縮には効率的なリアルタイム交通予測が不可欠である。
交通状況を予測するために、リアルタイムトラフィックデータを時間グラフとしてモデル化するために、時空間グラフニューラルネットワーク(ST-GNN)を用いる。
その能力にもかかわらず、現実世界のトラフィックデータに対して効率的なリアルタイム予測を提供する上で、しばしば課題に直面する。
リアルタイムデータの動的性質による時間的予測の重要性を認識し,ST-GNNの実行時間を向上させるソリューションとして知識蒸留(KD)を用いる。
本稿では,教師に近い精度を維持しつつ,複雑なネットワーク(教師)からの蒸留データを用いて,より少ないパラメータ(生徒)でネットワークを訓練するコスト関数を提案する。
我々は,教師ネットワークから空間時間相関を取り入れた知識蒸留を用いて,教師が知覚する複雑なパターンを学習できるようにする。
しかし、不注意に考えるのではなく、学生ネットワークアーキテクチャを決定することに課題が生じる。
この課題に対処するために、コスト関数を用いて、プルーニングスコアを計算し、小さなネットワークアーキテクチャ探索問題に対処し、KDを用いて各プルーニングステージから得られるネットワークを協調的に微調整するアルゴリズムを提案する。
最終的に、提案したアイデアを2つの現実世界データセット、PeMSD7とPeMSD8で評価した。
その結果,ネットワークパラメータがわずか3.5%であった場合でも,本手法は教師の精度に近い精度を維持することができることがわかった。
関連論文リスト
- Predicting Traffic Flow with Federated Learning and Graph Neural with
Asynchronous Computations Network [0.0]
我々はFLAGCN(Federated Learning and Asynchronous Graph Convolutional Networks)と呼ばれる新しいディープラーニング手法を提案する。
本フレームワークでは,リアルタイムトラフィックフロー予測の精度と効率を高めるために,非同期グラフ畳み込みネットワークとフェデレーション学習の原理を取り入れている。
論文 参考訳(メタデータ) (2024-01-05T09:36:42Z) - Attention-based Spatial-Temporal Graph Neural ODE for Traffic Prediction [3.4806267677524896]
本稿では,交通システムの力学を明示的に学習するアテンションベースグラフニューラルODE(AST)を提案する。
本モデルでは,異なる期間のトラフィックパターンを集約し,実世界の2つのトラフィックデータセットに対して良好な性能を示す。
論文 参考訳(メタデータ) (2023-05-01T00:58:48Z) - Graph Convolutional Networks for Traffic Forecasting with Missing Values [0.5774786149181392]
時空間における複雑な欠落値を扱うことのできるグラフ畳み込みネットワークモデルを提案する。
学習した局所的特徴に基づく動的グラフ学習モジュールも提案する。
実生活データセットに対する実験結果から,提案手法の信頼性が示された。
論文 参考訳(メタデータ) (2022-12-13T08:04:38Z) - Efficient Traffic State Forecasting using Spatio-Temporal Network
Dependencies: A Sparse Graph Neural Network Approach [6.203371866342754]
交通ネットワークにおける交通予測は、効果的な交通運営と管理にとって最重要事項である。
現在の研究では、長期的な交通予測(30分以上)は依然として難しい。
予測精度を保ちながら、トレーニングコストに対するスパーストレーニングを提案する。
論文 参考訳(メタデータ) (2022-11-06T05:41:39Z) - Online Data Selection for Federated Learning with Limited Storage [53.46789303416799]
ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。
デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。
本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
論文 参考訳(メタデータ) (2022-09-01T03:27:33Z) - Spatio-Temporal Graph Few-Shot Learning with Cross-City Knowledge
Transfer [58.6106391721944]
クロスシティの知識は、データ不足の都市から学んだモデルを活用して、データ不足の都市の学習プロセスに役立てるという、その将来性を示している。
本稿では,ST-GFSLと呼ばれるS時間グラフのためのモデルに依存しない数ショット学習フレームワークを提案する。
本研究では,4つの交通速度予測ベンチマークの総合的な実験を行い,ST-GFSLの有効性を最先端手法と比較した。
論文 参考訳(メタデータ) (2022-05-27T12:46:52Z) - Networked Time Series Prediction with Incomplete Data [59.45358694862176]
我々は、歴史と未来の両方で欠落した値を持つ不完全なデータでトレーニングできる新しいディープラーニングフレームワークであるNetS-ImpGANを提案する。
3つの実世界のデータセットに対して、異なるパターンと欠落率で広範な実験を行う。
論文 参考訳(メタデータ) (2021-10-05T18:20:42Z) - Space Meets Time: Local Spacetime Neural Network For Traffic Flow
Forecasting [11.495992519252585]
このような相関関係は普遍的であり、交通流において重要な役割を担っていると我々は主張する。
交通センサの局所的時空間コンテキストを構築するための新しい時空間学習フレームワークを提案する。
提案したSTNNモデルは、目に見えない任意のトラフィックネットワークに適用できる。
論文 参考訳(メタデータ) (2021-09-11T09:04:35Z) - Temporal Graph Network Embedding with Causal Anonymous Walks
Representations [54.05212871508062]
本稿では,時間グラフネットワークに基づく動的ネットワーク表現学習のための新しいアプローチを提案する。
評価のために、時間的ネットワーク埋め込みの評価のためのベンチマークパイプラインを提供する。
欧州の大手銀行が提供した実世界のダウンストリームグラフ機械学習タスクにおいて、我々のモデルの適用性と優れた性能を示す。
論文 参考訳(メタデータ) (2021-08-19T15:39:52Z) - Online learning of windmill time series using Long Short-term Cognitive
Networks [58.675240242609064]
風車農場で生成されたデータの量は、オンライン学習が従うべき最も有効な戦略となっている。
我々はLong Short-term Cognitive Networks (LSTCNs) を用いて、オンライン環境での風車時系列を予測する。
提案手法は,単純なRNN,長期記憶,Gated Recurrent Unit,Hidden Markov Modelに対して最も低い予測誤差を報告した。
論文 参考訳(メタデータ) (2021-07-01T13:13:24Z) - Constructing Geographic and Long-term Temporal Graph for Traffic
Forecasting [88.5550074808201]
交通予測のための地理・長期時間グラフ畳み込み型ニューラルネットワーク(GLT-GCRNN)を提案する。
本研究では,地理的・長期的時間的パターンを共有する道路間のリッチな相互作用を学習する交通予測のための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2020-04-23T03:50:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。