Fugu-MT 論文翻訳(概要): GPT-ST: Generative Pre-Training of Spatio-Temporal Graph Neural Networks

論文の概要: GPT-ST: Generative Pre-Training of Spatio-Temporal Graph Neural Networks

arxiv url: http://arxiv.org/abs/2311.04245v1
Date: Tue, 7 Nov 2023 02:36:24 GMT
ステータス: 処理完了
システム内更新日: 2023-11-09 18:23:01.819139
Title: GPT-ST: Generative Pre-Training of Spatio-Temporal Graph Neural Networks
Title（参考訳）: GPT-ST:時空間グラフニューラルネットワークの生成前訓練
Authors: Zhonghang Li, Lianghao Xia, Yong Xu, Chao Huang
Abstract要約: この作業は、ベースラインとシームレスに統合し、パフォーマンスを向上する事前トレーニングフレームワークを導入することで、課題に対処することを目的としている。フレームワークは2つの重要な設計に基づいて構築されている。 Apple-to-appleマスクオートエンコーダは、学習時間依存のための事前トレーニングモデルである。これらのモジュールは、時間内カスタマイズされた表現とセマンティック・クラスタ間関係を捉えるように設計されている。
参考スコア（独自算出の注目度）: 24.323017830938394
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In recent years, there has been a rapid development of spatio-temporal prediction techniques in response to the increasing demands of traffic management and travel planning. While advanced end-to-end models have achieved notable success in improving predictive performance, their integration and expansion pose significant challenges. This work aims to address these challenges by introducing a spatio-temporal pre-training framework that seamlessly integrates with downstream baselines and enhances their performance. The framework is built upon two key designs: (i) We propose a spatio-temporal mask autoencoder as a pre-training model for learning spatio-temporal dependencies. The model incorporates customized parameter learners and hierarchical spatial pattern encoding networks. These modules are specifically designed to capture spatio-temporal customized representations and intra- and inter-cluster region semantic relationships, which have often been neglected in existing approaches. (ii) We introduce an adaptive mask strategy as part of the pre-training mechanism. This strategy guides the mask autoencoder in learning robust spatio-temporal representations and facilitates the modeling of different relationships, ranging from intra-cluster to inter-cluster, in an easy-to-hard training manner. Extensive experiments conducted on representative benchmarks demonstrate the effectiveness of our proposed method. We have made our model implementation publicly available at https://github.com/HKUDS/GPT-ST.
Abstract（参考訳）: 近年,交通管理や旅行計画の需要の増加に対応して,時空間予測技術が急速に発達している。高度なエンドツーエンドモデルは予測性能の改善において顕著な成功を収めているが、その統合と拡張は大きな課題を招いている。この作業は、下流のベースラインとシームレスに統合し、パフォーマンスを向上する時空間事前学習フレームワークを導入することで、これらの課題に対処することを目的としている。フレームワークは2つの重要な設計に基づいて構築されている。 i)時空間依存を学習するための事前学習モデルとして時空間マスク自動エンコーダを提案する。このモデルにはカスタマイズされたパラメータ学習者と階層的空間パターン符号化ネットワークが組み込まれている。これらのモジュールは、時空間でカスタマイズされた表現とクラスタ内およびクラスタ間セマンティックな関係を捉えるように設計されている。 (ii)プリトレーニング機構の一環として適応マスク戦略を導入する。この戦略は、ロバストな時空間表現の学習においてマスクオートエンコーダを導くとともに、クラスタ内からクラスタ間までのさまざまな関係のモデリングを、容易かつハードなトレーニング方法で促進する。代表的なベンチマークを用いた広範囲な実験により,提案手法の有効性を実証した。モデル実装をhttps://github.com/HKUDS/GPT-STで公開しました。

関連論文リスト

Expand and Compress: Exploring Tuning Principles for Continual Spatio-Temporal Graph Forecasting [17.530885640317372]
本稿では,新しいプロンプトチューニングに基づく連続予測手法を提案する。具体的には,基本時相グラフニューラルネットワークと連続的なプロンプトプールをメモリに格納する。この手法により、モデルが広範囲な時間的データストリームから逐次学習し、対応する期間のタスクを達成できる。
論文参考訳（メタデータ） (2024-10-16T14:12:11Z)
Graph Masked Autoencoder for Spatio-Temporal Graph Learning [38.085962443141206]
都市センシングの分野では,交通分析,人体移動評価,犯罪予測において,効果的な時間的予測の枠組みが重要な役割を担っている。空間的および時間的データにデータノイズと空間性が存在することは、ロバスト表現を学習する上で、既存のニューラルネットワークモデルにとって大きな課題となる。実効時間データ拡張のための新しい自己教師型学習パラダイムを提案する。
論文参考訳（メタデータ） (2024-10-14T07:33:33Z)
SFANet: Spatial-Frequency Attention Network for Weather Forecasting [54.470205739015434]
天気予報は様々な分野において重要な役割を担い、意思決定とリスク管理を推進している。伝統的な手法は、しばしば気象系の複雑な力学を捉えるのに苦労する。本稿では,これらの課題に対処し,天気予報の精度を高めるための新しい枠組みを提案する。
論文参考訳（メタデータ） (2024-05-29T08:00:15Z)
RPMixer: Shaking Up Time Series Forecasting with Random Projections for Large Spatial-Temporal Data [33.0546525587517]
RPMixer と呼ばれる全MLP時系列予測アーキテクチャを提案する。提案手法は,各ブロックがアンサンブルモデルにおいてベース学習者のように振る舞う深層ニューラルネットワークのアンサンブル的挙動に乗じる。
論文参考訳（メタデータ） (2024-02-16T07:28:59Z)
Skeleton2vec: A Self-supervised Learning Framework with Contextualized Target Representations for Skeleton Sequence [56.092059713922744]
予測対象として高レベルな文脈化機能を使用することで,優れた性能が得られることを示す。具体的には、シンプルで効率的な3D行動表現学習フレームワークであるSkeleton2vecを提案する。提案するSkeleton2vecは,従来の手法より優れ,最先端の結果が得られる。
論文参考訳（メタデータ） (2024-01-01T12:08:35Z)
An Adaptive Framework for Generalizing Network Traffic Prediction towards Uncertain Environments [51.99765487172328]
我々は,モバイルネットワークトラフィック予測モデルを動的に割り当てるための時系列解析を用いた新しいフレームワークを開発した。我々のフレームワークは学習した振る舞いを採用しており、現在の研究と比較して50%以上の改善が得られ、どのモデルよりも優れています。
論文参考訳（メタデータ） (2023-11-30T18:58:38Z)
Spatio-Temporal Meta Contrastive Learning [18.289397543341707]
頑健で一般化可能なS時間グラフ表現を符号化する新しい時間的コントラスト学習フレームワークを提案する。本稿では,交通犯罪予測における各種技術ベースラインの性能向上について述べる。
論文参考訳（メタデータ） (2023-10-26T04:56:31Z)
Revisiting the Temporal Modeling in Spatio-Temporal Predictive Learning under A Unified View [73.73667848619343]
UTEP(Unified S-Temporal Predictive Learning)は,マイクロテンポラリスケールとマクロテンポラリスケールを統合した再帰的および再帰的フリーな手法を再構築する,革新的なフレームワークである。
論文参考訳（メタデータ） (2023-10-09T16:17:42Z)
Robust Spatiotemporal Traffic Forecasting with Reinforced Dynamic Adversarial Training [13.998123723601651]
機械学習に基づく予測モデルは、Intelligent Transportation Systems(ITS)において、トラフィックパターンを予測するために一般的に使用されている。既存のモデルのほとんどは敵攻撃の影響を受けやすいため、不正確な予測や、混雑や遅延などの負の結果につながる可能性がある。交通予測タスクに敵対的トレーニングを組み込むための枠組みを提案する。
論文参考訳（メタデータ） (2023-06-25T04:53:29Z)
OpenSTL: A Comprehensive Benchmark of Spatio-Temporal Predictive Learning [67.07363529640784]
提案するOpenSTLは,一般的なアプローチを再帰的モデルと再帰的モデルに分類する。我々は, 合成移動物体軌道, 人間の動き, 運転シーン, 交通流, 天気予報など, さまざまな領域にわたるデータセットの標準評価を行う。リカレントフリーモデルは、リカレントモデルよりも効率と性能のバランスが良いことがわかった。
論文参考訳（メタデータ） (2023-06-20T03:02:14Z)
Predictive Experience Replay for Continual Visual Control and Forecasting [62.06183102362871]
視覚力学モデリングのための新しい連続学習手法を提案し,その視覚制御と予測における有効性について検討する。まず,タスク固有のダイナミクスをガウスの混合で学習する混合世界モデルを提案し,その上で,破滅的な忘れを克服するための新たなトレーニング戦略を提案する。我々のモデルは,DeepMind Control と Meta-World のベンチマークにおいて,既存の連続的学習アルゴリズムと視覚的RLアルゴリズムの単純な組み合わせよりも優れている。
論文参考訳（メタデータ） (2023-03-12T05:08:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。