論文の概要: Knowledge Distillation on Spatial-Temporal Graph Convolutional Network
for Traffic Prediction
- arxiv url: http://arxiv.org/abs/2401.11798v1
- Date: Mon, 22 Jan 2024 09:54:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 14:50:48.772843
- Title: Knowledge Distillation on Spatial-Temporal Graph Convolutional Network
for Traffic Prediction
- Title（参考訳）: 交通予測のための時空間グラフ畳み込みネットワークの知識蒸留
- Authors: Mohammad Izadi, Mehran Safayani, Abdolreza Mirzaei
- Abstract要約: 複雑なネットワーク(教師)からの蒸留データを用いて、より少ないパラメータ(学生)でネットワークを訓練するコスト関数を導入する。
我々は,教師ネットワークから空間時間相関を取り入れた知識蒸留を用いて,教師が知覚する複雑なパターンを学習できるようにする。
本手法は, ネットワークパラメータがわずか3%であった場合でも, 生徒の精度を教師の精度に近いものに維持することができる。
- 参考スコア（独自算出の注目度）: 3.422309388045879
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Efficient real-time traffic prediction is crucial for reducing transportation
time. To predict traffic conditions, we employ a spatio-temporal graph neural
network (ST-GNN) to model our real-time traffic data as temporal graphs.
Despite its capabilities, it often encounters challenges in delivering
efficient real-time predictions for real-world traffic data. Recognizing the
significance of timely prediction due to the dynamic nature of real-time data,
we employ knowledge distillation (KD) as a solution to enhance the execution
time of ST-GNNs for traffic prediction. In this paper, We introduce a cost
function designed to train a network with fewer parameters (the student) using
distilled data from a complex network (the teacher) while maintaining its
accuracy close to that of the teacher. We use knowledge distillation,
incorporating spatial-temporal correlations from the teacher network to enable
the student to learn the complex patterns perceived by the teacher. However, a
challenge arises in determining the student network architecture rather than
considering it inadvertently. To address this challenge, we propose an
algorithm that utilizes the cost function to calculate pruning scores,
addressing small network architecture search issues, and jointly fine-tunes the
network resulting from each pruning stage using KD. Ultimately, we evaluate our
proposed ideas on two real-world datasets, PeMSD7 and PeMSD8. The results
indicate that our method can maintain the student's accuracy close to that of
the teacher, even with the retention of only $3\%$ of network parameters.
- Abstract（参考訳）: 交通時間の短縮には効率的なリアルタイム交通予測が不可欠である。
交通状況を予測するために、リアルタイムトラフィックデータを時間グラフとしてモデル化するために、時空間グラフニューラルネットワーク(ST-GNN)を用いる。
その能力にもかかわらず、現実世界のトラフィックデータに対して効率的なリアルタイム予測を提供する上で、しばしば課題に直面する。
リアルタイムデータの動的性質による時間的予測の重要性を認識し,ST-GNNの実行時間を向上させるソリューションとして知識蒸留(KD)を用いる。
本稿では,教師に近い精度を維持しつつ,複雑なネットワーク(教師)からの蒸留データを用いて,より少ないパラメータ(生徒)でネットワークを訓練するコスト関数を提案する。
我々は,教師ネットワークから空間時間相関を取り入れた知識蒸留を用いて,教師が知覚する複雑なパターンを学習できるようにする。
しかし、不注意に考えるのではなく、学生ネットワークアーキテクチャを決定することに課題が生じる。
この課題に対処するために、コスト関数を用いて、プルーニングスコアを計算し、小さなネットワークアーキテクチャ探索問題に対処し、KDを用いて各プルーニングステージから得られるネットワークを協調的に微調整するアルゴリズムを提案する。
最終的に、提案したアイデアを2つの現実世界データセット、PeMSD7とPeMSD8で評価した。
その結果,ネットワークパラメータがわずか3.5%であった場合でも,本手法は教師の精度に近い精度を維持することができることがわかった。
関連論文リスト
- Graph Pruning Based Spatial and Temporal Graph Convolutional Network with Transfer Learning for Traffic Prediction [0.0]
本研究では,グラフプルーニングと転送学習の枠組みに基づく新しい時空間畳み込みネットワーク(TL-GPSTGN)を提案する。
その結果、単一のデータセット上でのTL-GPSTGNの異常な予測精度と、異なるデータセット間の堅牢なマイグレーション性能が示された。
論文 参考訳（メタデータ） (2024-09-25T00:59:23Z) - Contrastive Representation Learning for Dynamic Link Prediction in Temporal Networks [1.9389881806157312]
本稿では,時間ネットワークの表現を学習するための自己教師付き手法を提案する。
本稿では、時間的ネットワークの時間的参照経路を介して情報の流れをモデル化するための、繰り返しメッセージパッシングニューラルネットワークアーキテクチャを提案する。
提案手法は、Enron、COLAB、Facebookのデータセットでテストされる。
論文 参考訳（メタデータ） (2024-08-22T22:50:46Z) - Gradient Transformation: Towards Efficient and Model-Agnostic Unlearning for Dynamic Graph Neural Networks [66.70786325911124]
グラフアンラーニングは、ユーザのプライバシ保護と、望ましくないデータによるネガティブな影響軽減に不可欠なツールとして登場した。
DGNNの普及に伴い、動的グラフアンラーニングの実装を検討することが不可欠となる。
DGNNアンラーニングを実装するために,効率的,効率的,モデルに依存しない,事後処理手法を提案する。
論文 参考訳（メタデータ） (2024-05-23T10:26:18Z) - A novel hybrid time-varying graph neural network for traffic flow forecasting [3.6623539239888556]
インテリジェント交通システムの効率化には,リアルタイムかつ正確な交通流予測が不可欠である。
従来のグラフニューラルネットワーク(GNN)は、都市道路網における交通ノード間の空間的相関を記述するために用いられる。
我々は交通流予測のための新しいハイブリッド時変グラフニューラルネットワーク(HTVGNN)を提案している。
論文 参考訳（メタデータ） (2024-01-17T07:21:36Z) - Predicting Traffic Flow with Federated Learning and Graph Neural with Asynchronous Computations Network [0.0]
我々はFLAGCN(Federated Learning and Asynchronous Graph Convolutional Networks)と呼ばれる新しいディープラーニング手法を提案する。
本フレームワークでは,リアルタイムトラフィックフロー予測の精度と効率を高めるために,非同期グラフ畳み込みネットワークとフェデレーション学習の原理を取り入れている。
論文 参考訳（メタデータ） (2024-01-05T09:36:42Z) - Graph Convolutional Networks for Traffic Forecasting with Missing Values [0.5774786149181392]
時空間における複雑な欠落値を扱うことのできるグラフ畳み込みネットワークモデルを提案する。
学習した局所的特徴に基づく動的グラフ学習モジュールも提案する。
実生活データセットに対する実験結果から,提案手法の信頼性が示された。
論文 参考訳（メタデータ） (2022-12-13T08:04:38Z) - Correlating sparse sensing for large-scale traffic speed estimation: A
Laplacian-enhanced low-rank tensor kriging approach [76.45949280328838]
本稿では,Laplacian enhanced Low-rank tensor (LETC) フレームワークを提案する。
次に,提案したモデルをネットワークワイド・クリグにスケールアップするために,複数の有効な数値手法を用いて効率的な解アルゴリズムを設計する。
論文 参考訳（メタデータ） (2022-10-21T07:25:57Z) - Spatio-Temporal Graph Few-Shot Learning with Cross-City Knowledge
Transfer [58.6106391721944]
クロスシティの知識は、データ不足の都市から学んだモデルを活用して、データ不足の都市の学習プロセスに役立てるという、その将来性を示している。
本稿では,ST-GFSLと呼ばれるS時間グラフのためのモデルに依存しない数ショット学習フレームワークを提案する。
本研究では,4つの交通速度予測ベンチマークの総合的な実験を行い,ST-GFSLの有効性を最先端手法と比較した。
論文 参考訳（メタデータ） (2022-05-27T12:46:52Z) - Temporal Graph Network Embedding with Causal Anonymous Walks
Representations [54.05212871508062]
本稿では,時間グラフネットワークに基づく動的ネットワーク表現学習のための新しいアプローチを提案する。
評価のために、時間的ネットワーク埋め込みの評価のためのベンチマークパイプラインを提供する。
欧州の大手銀行が提供した実世界のダウンストリームグラフ機械学習タスクにおいて、我々のモデルの適用性と優れた性能を示す。
論文 参考訳（メタデータ） (2021-08-19T15:39:52Z) - Spatio-Temporal Graph Scattering Transform [54.52797775999124]
グラフニューラルネットワークは、十分な高品質のトレーニングデータがないために、現実のシナリオでは実用的ではないかもしれない。
我々は時間的データを解析するための数学的に設計された新しいフレームワークを考案した。
論文 参考訳（メタデータ） (2020-12-06T19:49:55Z) - Constructing Geographic and Long-term Temporal Graph for Traffic
Forecasting [88.5550074808201]
交通予測のための地理・長期時間グラフ畳み込み型ニューラルネットワーク(GLT-GCRNN)を提案する。
本研究では,地理的・長期的時間的パターンを共有する道路間のリッチな相互作用を学習する交通予測のための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2020-04-23T03:50:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。