論文の概要: A Generative Pre-Training Framework for Spatio-Temporal Graph Transfer
Learning
- arxiv url: http://arxiv.org/abs/2402.11922v2
- Date: Tue, 20 Feb 2024 07:36:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 11:27:00.181485
- Title: A Generative Pre-Training Framework for Spatio-Temporal Graph Transfer
Learning
- Title(参考訳): 時空間グラフ転送学習のための生成事前学習フレームワーク
- Authors: Yuan Yuan, Chenyang Shao, Jingtao Ding, Depeng Jin, Yong Li
- Abstract要約: 本稿では,STG転送学習のための新しい生成事前学習フレームワーク GPDiff を提案する。
我々はSTG転送学習を生成的ハイパーネットワークの事前学習として再考し、プロンプトで導かれる調整されたモデルパラメータを生成する。
データギャップと都市間の知識の一般化の複雑さから生じる課題に対処することで、我々のフレームワークは一貫して最先端のベースラインを上回っている。
- 参考スコア(独自算出の注目度): 27.804832148368916
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spatio-temporal graph (STG) learning is foundational for smart city
applications, yet it is often hindered by data scarcity in many cities and
regions. To bridge this gap, we propose a novel generative pre-training
framework, GPDiff, for STG transfer learning. Unlike conventional approaches
that heavily rely on common feature extraction or intricate transfer learning
designs, our solution takes a novel approach by performing generative
pre-training on a collection of model parameters optimized with data from
source cities. We recast STG transfer learning as pre-training a generative
hypernetwork, which generates tailored model parameters guided by prompts,
allowing for adaptability to diverse data distributions and city-specific
characteristics. GPDiff employs a diffusion model with a transformer-based
denoising network, which is model-agnostic to integrate with powerful STG
models. By addressing challenges arising from data gaps and the complexity of
generalizing knowledge across cities, our framework consistently outperforms
state-of-the-art baselines on multiple real-world datasets for tasks such as
traffic speed prediction and crowd flow prediction. The implementation of our
approach is available: https://github.com/PLUTO-SCY/GPDiff.
- Abstract(参考訳): 時空間グラフ(stg)学習はスマートシティ応用の基礎であるが、多くの都市や地域でのデータ不足によってしばしば妨げられている。
このギャップを埋めるために,STG転送学習のための新しい生成事前学習フレームワーク GPDiff を提案する。
一般的な特徴抽出や複雑な伝達学習設計に強く依存する従来のアプローチとは異なり、本ソリューションは、ソース都市からのデータに最適化されたモデルパラメータの集合に対して生成前トレーニングを行うことで、新しいアプローチを取る。
我々はSTG転送学習を生成型ハイパーネットワークの事前学習として再考し、プロンプトでガイドされたモデルパラメータを生成し、多様なデータ分布や都市特有の特性に適応できるようにする。
GPDiffは、強力なSTGモデルと統合するにはモデルに依存しないトランスフォーマーベースのデノナイジングネットワークを備えた拡散モデルを採用している。
データギャップと都市間の知識の一般化の複雑さから生じる課題に対処することによって、私たちのフレームワークは、トラフィック速度予測やクラウドフロー予測といったタスクにおいて、複数の実世界のデータセットにおける最先端のベースラインを一貫して上回ります。
実装はhttps://github.com/pluto-scy/gpdiffです。
関連論文リスト
- TPLLM: A Traffic Prediction Framework Based on Pretrained Large Language
Models [27.306180426294784]
大規模言語モデル(LLM)を利用した新しい交通予測フレームワークであるTPLLMを紹介する。
本フレームワークでは,Lonal Neural Networks (LoCNNs) に基づくシーケンス埋め込み層と,Graph Contemporalal Networks (GCNs) に基づくグラフ埋め込み層を構築し,シーケンスの特徴と空間的特徴を抽出する。
実世界の2つのデータセットの実験では、フルサンプルと数ショットの予測シナリオの両方で、満足できるパフォーマンスを示している。
論文 参考訳(メタデータ) (2024-03-04T17:08:57Z) - Diffusion-based Neural Network Weights Generation [85.6725307453325]
データセット条件付き事前学習重み抽出による効率よく適応的な伝達学習手法を提案する。
具体的には、ニューラルネットワークの重みを再構築できる変分オートエンコーダを備えた潜時拡散モデルを用いる。
論文 参考訳(メタデータ) (2024-02-28T08:34:23Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - Rethinking Urban Mobility Prediction: A Super-Multivariate Time Series
Forecasting Approach [71.67506068703314]
長期の都市移動予測は、都市施設やサービスの効果的管理において重要な役割を担っている。
伝統的に、都市移動データはビデオとして構成され、経度と緯度を基本的なピクセルとして扱う。
本研究では,都市におけるモビリティ予測の新たな視点について紹介する。
都市移動データを従来のビデオデータとして単純化するのではなく、複雑な時系列と見なす。
論文 参考訳(メタデータ) (2023-12-04T07:39:05Z) - Spatio-Temporal Meta Contrastive Learning [18.289397543341707]
頑健で一般化可能なS時間グラフ表現を符号化する新しい時間的コントラスト学習フレームワークを提案する。
本稿では,交通犯罪予測における各種技術ベースラインの性能向上について述べる。
論文 参考訳(メタデータ) (2023-10-26T04:56:31Z) - Analysis and Optimization of Wireless Federated Learning with Data
Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。
ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。
実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文 参考訳(メタデータ) (2023-08-04T04:18:01Z) - Automated Spatio-Temporal Graph Contrastive Learning [18.245433428868775]
パラメータ化コントラストビュージェネレータを用いた時間自動拡張方式を開発した。
AutoSTは多視点セマンティクスをよく保存した異種グラフに適応することができる。
いくつかの実世界のデータセットで3つのダウンストリーム時間的マイニングタスクの実験は、大きなパフォーマンス向上を示している。
論文 参考訳(メタデータ) (2023-05-06T03:52:33Z) - Cross-City Traffic Prediction via Semantic-Fused Hierarchical Graph
Transfer Learning [17.0011029870241]
近年,データ駆動手法はトラヒック予測や従来の手法よりも優れている。
この問題に対処するために、トランスファーラーニングにより、データ豊富な都市からデータに富む都市へメタ知識を抽出することができる。
本稿では,意味を融合した都市間における知識伝達を実現するために,セマンティック・フューズド・階層型グラフ転送学習モデルを提案する。
論文 参考訳(メタデータ) (2023-02-23T04:26:34Z) - Continuous-Time and Multi-Level Graph Representation Learning for
Origin-Destination Demand Prediction [52.0977259978343]
本稿では,原位置需要予測(CMOD)のための連続時間および多段階動的グラフ表現学習法を提案する。
状態ベクトルは、過去のトランザクション情報を保持し、最近発生したトランザクションに従って継続的に更新される。
北京地下鉄とニューヨークタクシーの2つの実世界のデータセットを用いて実験を行い、そのモデルが最先端のアプローチに対して優れていることを実証した。
論文 参考訳(メタデータ) (2022-06-30T03:37:50Z) - Spatio-Temporal Graph Few-Shot Learning with Cross-City Knowledge
Transfer [58.6106391721944]
クロスシティの知識は、データ不足の都市から学んだモデルを活用して、データ不足の都市の学習プロセスに役立てるという、その将来性を示している。
本稿では,ST-GFSLと呼ばれるS時間グラフのためのモデルに依存しない数ショット学習フレームワークを提案する。
本研究では,4つの交通速度予測ベンチマークの総合的な実験を行い,ST-GFSLの有効性を最先端手法と比較した。
論文 参考訳(メタデータ) (2022-05-27T12:46:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。