論文の概要: Towards Unifying Diffusion Models for Probabilistic Spatio-Temporal
Graph Learning
- arxiv url: http://arxiv.org/abs/2310.17360v1
- Date: Thu, 26 Oct 2023 12:48:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-27 20:31:04.591397
- Title: Towards Unifying Diffusion Models for Probabilistic Spatio-Temporal
Graph Learning
- Title(参考訳): 確率的時空間グラフ学習のための拡散モデルの統合に向けて
- Authors: Junfeng Hu, Xu Liu, Zhencheng Fan, Yuxuan Liang, Roger Zimmermann
- Abstract要約: 既存のアプローチは、異なる学習タスクに個別に取り組み、Web時間データの本質的な不確実性に合わせてモデルを調整している。
我々は、不確実性を考慮した拡散フレームワーク内でのタスクに一様に対処するために、統一S時間拡散モデル(USTD)を導入する。
USTDは、ネットワークがタスク固有のものであることを示す共有時間エンコーダとアテンションに基づく記述で構成されている。
- 参考スコア(独自算出の注目度): 28.50648620744963
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spatio-temporal graph learning is a fundamental problem in the Web of Things
era, which enables a plethora of Web applications such as smart cities, human
mobility and climate analysis. Existing approaches tackle different learning
tasks independently, tailoring their models to unique task characteristics.
These methods, however, fall short of modeling intrinsic uncertainties in the
spatio-temporal data. Meanwhile, their specialized designs limit their
universality as general spatio-temporal learning solutions. In this paper, we
propose to model the learning tasks in a unified perspective, viewing them as
predictions based on conditional information with shared spatio-temporal
patterns. Based on this proposal, we introduce Unified Spatio-Temporal
Diffusion Models (USTD) to address the tasks uniformly within the
uncertainty-aware diffusion framework. USTD is holistically designed,
comprising a shared spatio-temporal encoder and attention-based denoising
networks that are task-specific. The shared encoder, optimized by a
pre-training strategy, effectively captures conditional spatio-temporal
patterns. The denoising networks, utilizing both cross- and self-attention,
integrate conditional dependencies and generate predictions. Opting for
forecasting and kriging as downstream tasks, we design Gated Attention (SGA)
and Temporal Gated Attention (TGA) for each task, with different emphases on
the spatial and temporal dimensions, respectively. By combining the advantages
of deterministic encoders and probabilistic diffusion models, USTD achieves
state-of-the-art performances compared to deterministic and probabilistic
baselines in both tasks, while also providing valuable uncertainty estimates.
- Abstract(参考訳): 時空間グラフ学習は、Web of Things時代における基本的な問題であり、スマートシティ、ヒューマンモビリティ、気候分析など、多くのWebアプリケーションを可能にする。
既存のアプローチは、異なる学習タスクに個別に取り組み、モデルを独自のタスク特性に調整する。
しかし、これらの手法は時空間データに固有の不確かさをモデル化するものではない。
一方、それらの特殊設計は一般的な時空間学習ソリューションとして普遍性を制限する。
本稿では,共有時空間パターンを用いた条件情報に基づく予測として,学習タスクを統一的な視点でモデル化することを提案する。
本提案に基づき,不確実性認識拡散フレームワーク内でタスクを一様に扱うための統一時空間拡散モデル(ustd)を提案する。
USTDは、共有時空間エンコーダと、タスク固有のアテンションベースの認知ネットワークから構成される。
事前学習戦略によって最適化された共有エンコーダは、条件付き時空間パターンを効果的にキャプチャする。
クロスアテンションとセルフアテンションの両方を活用して、条件依存を統合し、予測を生成する。
下流タスクの予測とクリギングのオプションとして,各タスクに対して,空間次元と時間次元の異なる相で,Gated Attention (SGA) と Temporal Gated Attention (TGA) を設計する。
決定論的エンコーダと確率的拡散モデルの利点を組み合わせることで、ustdは両方のタスクにおける決定論的および確率的ベースラインと比較して最先端のパフォーマンスを達成し、また価値のある不確実性の推定も提供する。
関連論文リスト
- A Survey on Diffusion Models for Time Series and Spatio-Temporal Data [92.1255811066468]
時系列データの研究は、時間とともにトレンドや異常を理解するために不可欠であり、様々な分野にわたる予測的な洞察を可能にする。
近年,拡散モデルが時系列やS時間データマイニングに広く応用されている。
時系列およびS時間データにおける拡散モデルの利用について概説し、それらをモデルカテゴリ、タスクタイプ、データモダリティ、実用的なアプリケーションドメインで分類する。
本調査は,医療,レコメンデーション,気候,エネルギー,オーディオ,交通など,さまざまな分野の応用を幅広くカバーしている。
論文 参考訳(メタデータ) (2024-04-29T17:19:40Z) - Spatial-temporal Memories Enhanced Graph Autoencoder for Anomaly Detection in Dynamic Graphs [52.956235109354175]
動的グラフにおける異常検出は、グラフ構造と属性の時間的進化によって大きな課題となる。
空間記憶強調グラフオートエンコーダ(STRIPE)について紹介する。
STRIPEは、動的グラフの異なる空間的・時間的ダイナミクスを効果的に活用することにより、異常を識別する優れた能力を示した。
論文 参考訳(メタデータ) (2024-03-14T02:26:10Z) - A Temporally Disentangled Contrastive Diffusion Model for Spatiotemporal Imputation [35.46631415365955]
C$2$TSDという条件拡散フレームワークを導入する。
実世界の3つのデータセットに対する我々の実験は、最先端のベースラインと比較して、我々のアプローチの優れた性能を示している。
論文 参考訳(メタデータ) (2024-02-18T11:59:04Z) - GATGPT: A Pre-trained Large Language Model with Graph Attention Network
for Spatiotemporal Imputation [19.371155159744934]
実世界の環境では、センサーの故障やデータ転送エラーなどの問題により、そのようなデータには欠落する要素がしばしば含まれる。
時間的計算の目的は、観測された時系列における固有の空間的および時間的関係を理解することによって、これらの欠落値を推定することである。
伝統的に、複雑な時間的計算は特定のアーキテクチャに依存しており、適用可能性の制限と高い計算複雑性に悩まされている。
対照的に、我々のアプローチは、事前訓練された大規模言語モデル(LLM)を複雑な時間的インプットに統合し、画期的なフレームワークであるGATGPTを導入している。
論文 参考訳(メタデータ) (2023-11-24T08:15:11Z) - GPT-ST: Generative Pre-Training of Spatio-Temporal Graph Neural Networks [24.323017830938394]
この作業は、ベースラインとシームレスに統合し、パフォーマンスを向上する事前トレーニングフレームワークを導入することで、課題に対処することを目的としている。
フレームワークは2つの重要な設計に基づいて構築されている。
Apple-to-appleマスクオートエンコーダは、学習時間依存のための事前トレーニングモデルである。
これらのモジュールは、時間内カスタマイズされた表現とセマンティック・クラスタ間関係を捉えるように設計されている。
論文 参考訳(メタデータ) (2023-11-07T02:36:24Z) - OpenSTL: A Comprehensive Benchmark of Spatio-Temporal Predictive
Learning [67.07363529640784]
提案するOpenSTLは,一般的なアプローチを再帰的モデルと再帰的モデルに分類する。
我々は, 合成移動物体軌道, 人間の動き, 運転シーン, 交通流, 天気予報など, さまざまな領域にわたるデータセットの標準評価を行う。
リカレントフリーモデルは、リカレントモデルよりも効率と性能のバランスが良いことがわかった。
論文 参考訳(メタデータ) (2023-06-20T03:02:14Z) - Taming Local Effects in Graph-based Spatiotemporal Forecasting [28.30604130617646]
時相グラフニューラルネットワークは時系列予測に有効であることが示されている。
本稿では,グラフに基づく時間的予測におけるグローバル性と局所性の間の相互作用を理解することを目的とする。
このようなアーキテクチャにトレーニング可能なノード埋め込みを組み込むことを合理化するための方法論的枠組みを提案する。
論文 参考訳(メタデータ) (2023-02-08T14:18:56Z) - TempSAL -- Uncovering Temporal Information for Deep Saliency Prediction [56.22339016797785]
本稿では,逐次時間間隔でサリエンシマップを出力する新たなサリエンシ予測モデルを提案する。
提案手法は,学習した時間マップを組み合わせることで,サリエンシ予測を局所的に調整する。
私たちのコードはGitHubで公開されます。
論文 参考訳(メタデータ) (2023-01-05T22:10:16Z) - Automated Dilated Spatio-Temporal Synchronous Graph Modeling for Traffic
Prediction [1.6449390849183363]
本稿では,トラフィック予測のための自動拡張時間同期グラフネットワーク予測であるAuto-DSTSを提案する。
具体的には,短期および長期の相関関係を捉えるための自動拡張時間時間グラフ (Auto-DSTS) モジュールを提案する。
我々のモデルは最先端の手法と比較して約10%改善できる。
論文 参考訳(メタデータ) (2022-07-22T00:50:39Z) - Multivariate Time Series Forecasting with Dynamic Graph Neural ODEs [65.18780403244178]
動的グラフニューラル正規微分方程式(MTGODE)を用いた多変量時系列予測連続モデルを提案する。
具体的には、まず、時間進化するノードの特徴と未知のグラフ構造を持つ動的グラフに多変量時系列を抽象化する。
そして、欠落したグラフトポロジを補完し、空間的および時間的メッセージパッシングを統一するために、ニューラルODEを設計、解決する。
論文 参考訳(メタデータ) (2022-02-17T02:17:31Z) - Predicting Temporal Sets with Deep Neural Networks [50.53727580527024]
本稿では,時間集合予測のためのディープニューラルネットワークに基づく統合解を提案する。
ユニークな視点は、セットレベルの共起グラフを構築することで要素関係を学ぶことである。
我々は,要素や集合の時間依存性を適応的に学習するアテンションベースのモジュールを設計する。
論文 参考訳(メタデータ) (2020-06-20T03:29:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。