論文の概要: GPT-ST: Generative Pre-Training of Spatio-Temporal Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2311.04245v1
- Date: Tue, 7 Nov 2023 02:36:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-09 18:23:01.819139
- Title: GPT-ST: Generative Pre-Training of Spatio-Temporal Graph Neural Networks
- Title(参考訳): GPT-ST:時空間グラフニューラルネットワークの生成前訓練
- Authors: Zhonghang Li, Lianghao Xia, Yong Xu, Chao Huang
- Abstract要約: この作業は、ベースラインとシームレスに統合し、パフォーマンスを向上する事前トレーニングフレームワークを導入することで、課題に対処することを目的としている。
フレームワークは2つの重要な設計に基づいて構築されている。
Apple-to-appleマスクオートエンコーダは、学習時間依存のための事前トレーニングモデルである。
これらのモジュールは、時間内カスタマイズされた表現とセマンティック・クラスタ間関係を捉えるように設計されている。
- 参考スコア(独自算出の注目度): 24.323017830938394
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, there has been a rapid development of spatio-temporal
prediction techniques in response to the increasing demands of traffic
management and travel planning. While advanced end-to-end models have achieved
notable success in improving predictive performance, their integration and
expansion pose significant challenges. This work aims to address these
challenges by introducing a spatio-temporal pre-training framework that
seamlessly integrates with downstream baselines and enhances their performance.
The framework is built upon two key designs: (i) We propose a spatio-temporal
mask autoencoder as a pre-training model for learning spatio-temporal
dependencies. The model incorporates customized parameter learners and
hierarchical spatial pattern encoding networks. These modules are specifically
designed to capture spatio-temporal customized representations and intra- and
inter-cluster region semantic relationships, which have often been neglected in
existing approaches. (ii) We introduce an adaptive mask strategy as part of the
pre-training mechanism. This strategy guides the mask autoencoder in learning
robust spatio-temporal representations and facilitates the modeling of
different relationships, ranging from intra-cluster to inter-cluster, in an
easy-to-hard training manner. Extensive experiments conducted on representative
benchmarks demonstrate the effectiveness of our proposed method. We have made
our model implementation publicly available at https://github.com/HKUDS/GPT-ST.
- Abstract(参考訳): 近年,交通管理や旅行計画の需要の増加に対応して,時空間予測技術が急速に発達している。
高度なエンドツーエンドモデルは予測性能の改善において顕著な成功を収めているが、その統合と拡張は大きな課題を招いている。
この作業は、下流のベースラインとシームレスに統合し、パフォーマンスを向上する時空間事前学習フレームワークを導入することで、これらの課題に対処することを目的としている。
フレームワークは2つの重要な設計に基づいて構築されている。
i)時空間依存を学習するための事前学習モデルとして時空間マスク自動エンコーダを提案する。
このモデルにはカスタマイズされたパラメータ学習者と階層的空間パターン符号化ネットワークが組み込まれている。
これらのモジュールは、時空間でカスタマイズされた表現とクラスタ内およびクラスタ間セマンティックな関係を捉えるように設計されている。
(ii)プリトレーニング機構の一環として適応マスク戦略を導入する。
この戦略は、ロバストな時空間表現の学習においてマスクオートエンコーダを導くとともに、クラスタ内からクラスタ間までのさまざまな関係のモデリングを、容易かつハードなトレーニング方法で促進する。
代表的なベンチマークを用いた広範囲な実験により,提案手法の有効性を実証した。
モデル実装をhttps://github.com/HKUDS/GPT-STで公開しました。
関連論文リスト
- Skeleton2vec: A Self-supervised Learning Framework with Contextualized
Target Representations for Skeleton Sequence [56.092059713922744]
予測対象として高レベルな文脈化機能を使用することで,優れた性能が得られることを示す。
具体的には、シンプルで効率的な3D行動表現学習フレームワークであるSkeleton2vecを提案する。
提案するSkeleton2vecは,従来の手法より優れ,最先端の結果が得られる。
論文 参考訳(メタデータ) (2024-01-01T12:08:35Z) - An Adaptive Framework for Generalizing Network Traffic Prediction
towards Uncertain Environments [51.99765487172328]
我々は,モバイルネットワークトラフィック予測モデルを動的に割り当てるための時系列解析を用いた新しいフレームワークを開発した。
我々のフレームワークは学習した振る舞いを採用しており、現在の研究と比較して50%以上の改善が得られ、どのモデルよりも優れています。
論文 参考訳(メタデータ) (2023-11-30T18:58:38Z) - Towards Unifying Diffusion Models for Probabilistic Spatio-Temporal
Graph Learning [28.50648620744963]
既存のアプローチは、異なる学習タスクに個別に取り組み、Web時間データの本質的な不確実性に合わせてモデルを調整している。
我々は、不確実性を考慮した拡散フレームワーク内でのタスクに一様に対処するために、統一S時間拡散モデル(USTD)を導入する。
USTDは、ネットワークがタスク固有のものであることを示す共有時間エンコーダとアテンションに基づく記述で構成されている。
論文 参考訳(メタデータ) (2023-10-26T12:48:43Z) - Spatio-Temporal Meta Contrastive Learning [18.289397543341707]
頑健で一般化可能なS時間グラフ表現を符号化する新しい時間的コントラスト学習フレームワークを提案する。
本稿では,交通犯罪予測における各種技術ベースラインの性能向上について述べる。
論文 参考訳(メタデータ) (2023-10-26T04:56:31Z) - Revisiting the Temporal Modeling in Spatio-Temporal Predictive Learning
under A Unified View [73.73667848619343]
UTEP(Unified S-Temporal Predictive Learning)は,マイクロテンポラリスケールとマクロテンポラリスケールを統合した再帰的および再帰的フリーな手法を再構築する,革新的なフレームワークである。
論文 参考訳(メタデータ) (2023-10-09T16:17:42Z) - Robust Spatiotemporal Traffic Forecasting with Reinforced Dynamic
Adversarial Training [13.998123723601651]
機械学習に基づく予測モデルは、Intelligent Transportation Systems(ITS)において、トラフィックパターンを予測するために一般的に使用されている。
既存のモデルのほとんどは敵攻撃の影響を受けやすいため、不正確な予測や、混雑や遅延などの負の結果につながる可能性がある。
交通予測タスクに敵対的トレーニングを組み込むための枠組みを提案する。
論文 参考訳(メタデータ) (2023-06-25T04:53:29Z) - OpenSTL: A Comprehensive Benchmark of Spatio-Temporal Predictive
Learning [67.07363529640784]
提案するOpenSTLは,一般的なアプローチを再帰的モデルと再帰的モデルに分類する。
我々は, 合成移動物体軌道, 人間の動き, 運転シーン, 交通流, 天気予報など, さまざまな領域にわたるデータセットの標準評価を行う。
リカレントフリーモデルは、リカレントモデルよりも効率と性能のバランスが良いことがわかった。
論文 参考訳(メタデータ) (2023-06-20T03:02:14Z) - Predictive Experience Replay for Continual Visual Control and
Forecasting [62.06183102362871]
視覚力学モデリングのための新しい連続学習手法を提案し,その視覚制御と予測における有効性について検討する。
まず,タスク固有のダイナミクスをガウスの混合で学習する混合世界モデルを提案し,その上で,破滅的な忘れを克服するための新たなトレーニング戦略を提案する。
我々のモデルは,DeepMind Control と Meta-World のベンチマークにおいて,既存の連続的学習アルゴリズムと視覚的RLアルゴリズムの単純な組み合わせよりも優れている。
論文 参考訳(メタデータ) (2023-03-12T05:08:03Z) - Sequential Ensembling for Semantic Segmentation [4.030520171276982]
我々は、複数の独立に訓練された最先端モデルの予測を組み合わせる一般的なアンサンブルアプローチをベンチマークする。
そこで本研究では,素なアンサンブルベースラインを大幅に上回る,逐次アンサンブルネットワークの強化にインスパイアされた新しい手法を提案する。
論文 参考訳(メタデータ) (2022-10-08T22:13:59Z) - On the spatial attention in Spatio-Temporal Graph Convolutional Networks
for skeleton-based human action recognition [97.14064057840089]
カルチャーネットワーク(GCN)は、スケルトンをグラフとしてモデル化することで、スケルトンに基づく人間の行動認識の性能を約束する。
最近提案されたG時間に基づく手法のほとんどは、ネットワークの各層におけるグラフ構造を学習することで、性能を向上させる。
論文 参考訳(メタデータ) (2020-11-07T19:03:04Z) - Temporal Collaborative Filtering with Graph Convolutional Neural
Networks [21.75176876341124]
時間的協調フィルタリング(TCF)手法は、推奨システムの背後にある静的でない側面をモデル化することを目的としている。
最近のグラフニューラルネットワーク(GNNベース)アプローチでは、正確なレコメンデーションを提供することでパフォーマンスが向上している。
本稿では,GNNを用いてユーザとアイテムの表現を学習し,RNNを用いて時間的ダイナミクスをモデル化する新しいTCF手法を提案する。
論文 参考訳(メタデータ) (2020-10-13T14:38:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。