論文の概要: A Generative Pre-Training Framework for Spatio-Temporal Graph Transfer Learning

• arxiv url: http://arxiv.org/abs/2402.11922v2
• Date: Tue, 20 Feb 2024 07:36:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 11:27:00.181485
• Title: A Generative Pre-Training Framework for Spatio-Temporal Graph Transfer Learning
• Title（参考訳）: 時空間グラフ転送学習のための生成事前学習フレームワーク
• Authors: Yuan Yuan, Chenyang Shao, Jingtao Ding, Depeng Jin, Yong Li
• Abstract要約: 本稿では,STG転送学習のための新しい生成事前学習フレームワーク GPDiff を提案する。 我々はSTG転送学習を生成的ハイパーネットワークの事前学習として再考し、プロンプトで導かれる調整されたモデルパラメータを生成する。 データギャップと都市間の知識の一般化の複雑さから生じる課題に対処することで、我々のフレームワークは一貫して最先端のベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 27.804832148368916
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spatio-temporal graph (STG) learning is foundational for smart city applications, yet it is often hindered by data scarcity in many cities and regions. To bridge this gap, we propose a novel generative pre-training framework, GPDiff, for STG transfer learning. Unlike conventional approaches that heavily rely on common feature extraction or intricate transfer learning designs, our solution takes a novel approach by performing generative pre-training on a collection of model parameters optimized with data from source cities. We recast STG transfer learning as pre-training a generative hypernetwork, which generates tailored model parameters guided by prompts, allowing for adaptability to diverse data distributions and city-specific characteristics. GPDiff employs a diffusion model with a transformer-based denoising network, which is model-agnostic to integrate with powerful STG models. By addressing challenges arising from data gaps and the complexity of generalizing knowledge across cities, our framework consistently outperforms state-of-the-art baselines on multiple real-world datasets for tasks such as traffic speed prediction and crowd flow prediction. The implementation of our approach is available: https://github.com/PLUTO-SCY/GPDiff.
• Abstract（参考訳）: 時空間グラフ(stg)学習はスマートシティ応用の基礎であるが、多くの都市や地域でのデータ不足によってしばしば妨げられている。 このギャップを埋めるために,STG転送学習のための新しい生成事前学習フレームワーク GPDiff を提案する。 一般的な特徴抽出や複雑な伝達学習設計に強く依存する従来のアプローチとは異なり、本ソリューションは、ソース都市からのデータに最適化されたモデルパラメータの集合に対して生成前トレーニングを行うことで、新しいアプローチを取る。 我々はSTG転送学習を生成型ハイパーネットワークの事前学習として再考し、プロンプトでガイドされたモデルパラメータを生成し、多様なデータ分布や都市特有の特性に適応できるようにする。 GPDiffは、強力なSTGモデルと統合するにはモデルに依存しないトランスフォーマーベースのデノナイジングネットワークを備えた拡散モデルを採用している。 データギャップと都市間の知識の一般化の複雑さから生じる課題に対処することによって、私たちのフレームワークは、トラフィック速度予測やクラウドフロー予測といったタスクにおいて、複数の実世界のデータセットにおける最先端のベースラインを一貫して上回ります。 実装はhttps://github.com/pluto-scy/gpdiffです。

関連論文リスト

• Expand and Compress: Exploring Tuning Principles for Continual Spatio-Temporal Graph Forecasting [17.530885640317372]
  本稿では,新しいプロンプトチューニングに基づく連続予測手法を提案する。 具体的には,基本時相グラフニューラルネットワークと連続的なプロンプトプールをメモリに格納する。 この手法により、モデルが広範囲な時間的データストリームから逐次学習し、対応する期間のタスクを達成できる。
  論文  参考訳（メタデータ） (2024-10-16T14:12:11Z)
• Navigating Spatio-Temporal Heterogeneity: A Graph Transformer Approach for Traffic Forecasting [13.309018047313801]
  交通予測はスマートシティの発展において重要な研究分野として浮上している。 最短時間相関のためのネットワークモデリングの最近の進歩は、パフォーマンスのリターンが低下し始めている。 これらの課題に対処するために、時空間グラフ変換器(STGormer)を導入する。 本研究では,その構造に基づく空間符号化手法を2つ設計し,時間位置をバニラ変圧器に統合して時間的トラフィックパターンをキャプチャする。
  論文  参考訳（メタデータ） (2024-08-20T13:18:21Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• Graph-based Multi-ODE Neural Networks for Spatio-Temporal Traffic Forecasting [8.832864937330722]
  長距離交通予測は、交通ネットワークで観測される複雑な時間的相関のため、依然として困難な課題である。 本稿では,GRAM-ODE(Graph-based Multi-ODE Neural Networks)と呼ばれるアーキテクチャを提案する。 実世界の6つのデータセットを用いて行った大規模な実験は、最先端のベースラインと比較して、GRAM-ODEの優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-30T02:10:42Z)
• Online Evolutionary Neural Architecture Search for Multivariate Non-Stationary Time Series Forecasting [72.89994745876086]
  本研究は、オンラインニューロ進化に基づくニューラルアーキテクチャサーチ(ONE-NAS)アルゴリズムを提案する。 ONE-NASは、オンライン予測タスクのためにリカレントニューラルネットワーク(RNN)を自動設計し、動的にトレーニングする新しいニューラルネットワーク探索手法である。 その結果、ONE-NASは従来の統計時系列予測法よりも優れていた。
  論文  参考訳（メタデータ） (2023-02-20T22:25:47Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Spatio-Temporal Graph Few-Shot Learning with Cross-City Knowledge Transfer [58.6106391721944]
  クロスシティの知識は、データ不足の都市から学んだモデルを活用して、データ不足の都市の学習プロセスに役立てるという、その将来性を示している。 本稿では,ST-GFSLと呼ばれるS時間グラフのためのモデルに依存しない数ショット学習フレームワークを提案する。 本研究では,4つの交通速度予測ベンチマークの総合的な実験を行い,ST-GFSLの有効性を最先端手法と比較した。
  論文  参考訳（メタデータ） (2022-05-27T12:46:52Z)
• ONE-NAS: An Online NeuroEvolution based Neural Architecture Search for Time Series Forecasting [3.3758186776249928]
  この研究は、Online NeuroEvolution based Neural Architecture Search (ONE-NAS)アルゴリズムを提示する。 ONE-NASは、オンライン環境で新しいリカレントニューラルネットワーク(RNN)を自動設計し、訓練することのできる、最初のニューラルネットワーク検索アルゴリズムである。 従来の統計時系列予測よりも優れており、ナイーブ、移動平均、指数的平滑化などが挙げられる。
  論文  参考訳（メタデータ） (2022-02-27T22:58:32Z)
• Model-Based Deep Learning [155.063817656602]
  信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。 ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。 私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
  論文  参考訳（メタデータ） (2020-12-15T16:29:49Z)
• Industrial Forecasting with Exponentially Smoothed Recurrent Neural Networks [0.0]
  本稿では,産業応用における非定常力学系のモデル化に好適な指数的スムーズなリカレントニューラルネットワーク(RNN)のクラスを提案する。 指数スムーズなRNNの電力負荷、気象データ、株価予測への応用は、多段階時系列予測における隠れ状態の指数スムーズ化の有効性を強調している。
  論文  参考訳（メタデータ） (2020-04-09T17:53:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。