論文の概要: Towards Unifying Diffusion Models for Probabilistic Spatio-Temporal Graph Learning

• arxiv url: http://arxiv.org/abs/2310.17360v1
• Date: Thu, 26 Oct 2023 12:48:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-27 20:31:04.591397
• Title: Towards Unifying Diffusion Models for Probabilistic Spatio-Temporal Graph Learning
• Title（参考訳）: 確率的時空間グラフ学習のための拡散モデルの統合に向けて
• Authors: Junfeng Hu, Xu Liu, Zhencheng Fan, Yuxuan Liang, Roger Zimmermann
• Abstract要約: 既存のアプローチは、異なる学習タスクに個別に取り組み、Web時間データの本質的な不確実性に合わせてモデルを調整している。 我々は、不確実性を考慮した拡散フレームワーク内でのタスクに一様に対処するために、統一S時間拡散モデル(USTD)を導入する。 USTDは、ネットワークがタスク固有のものであることを示す共有時間エンコーダとアテンションに基づく記述で構成されている。
• 参考スコア（独自算出の注目度）: 28.50648620744963
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spatio-temporal graph learning is a fundamental problem in the Web of Things era, which enables a plethora of Web applications such as smart cities, human mobility and climate analysis. Existing approaches tackle different learning tasks independently, tailoring their models to unique task characteristics. These methods, however, fall short of modeling intrinsic uncertainties in the spatio-temporal data. Meanwhile, their specialized designs limit their universality as general spatio-temporal learning solutions. In this paper, we propose to model the learning tasks in a unified perspective, viewing them as predictions based on conditional information with shared spatio-temporal patterns. Based on this proposal, we introduce Unified Spatio-Temporal Diffusion Models (USTD) to address the tasks uniformly within the uncertainty-aware diffusion framework. USTD is holistically designed, comprising a shared spatio-temporal encoder and attention-based denoising networks that are task-specific. The shared encoder, optimized by a pre-training strategy, effectively captures conditional spatio-temporal patterns. The denoising networks, utilizing both cross- and self-attention, integrate conditional dependencies and generate predictions. Opting for forecasting and kriging as downstream tasks, we design Gated Attention (SGA) and Temporal Gated Attention (TGA) for each task, with different emphases on the spatial and temporal dimensions, respectively. By combining the advantages of deterministic encoders and probabilistic diffusion models, USTD achieves state-of-the-art performances compared to deterministic and probabilistic baselines in both tasks, while also providing valuable uncertainty estimates.
• Abstract（参考訳）: 時空間グラフ学習は、Web of Things時代における基本的な問題であり、スマートシティ、ヒューマンモビリティ、気候分析など、多くのWebアプリケーションを可能にする。 既存のアプローチは、異なる学習タスクに個別に取り組み、モデルを独自のタスク特性に調整する。 しかし、これらの手法は時空間データに固有の不確かさをモデル化するものではない。 一方、それらの特殊設計は一般的な時空間学習ソリューションとして普遍性を制限する。 本稿では,共有時空間パターンを用いた条件情報に基づく予測として,学習タスクを統一的な視点でモデル化することを提案する。 本提案に基づき,不確実性認識拡散フレームワーク内でタスクを一様に扱うための統一時空間拡散モデル(ustd)を提案する。 USTDは、共有時空間エンコーダと、タスク固有のアテンションベースの認知ネットワークから構成される。 事前学習戦略によって最適化された共有エンコーダは、条件付き時空間パターンを効果的にキャプチャする。 クロスアテンションとセルフアテンションの両方を活用して、条件依存を統合し、予測を生成する。 下流タスクの予測とクリギングのオプションとして,各タスクに対して,空間次元と時間次元の異なる相で,Gated Attention (SGA) と Temporal Gated Attention (TGA) を設計する。 決定論的エンコーダと確率的拡散モデルの利点を組み合わせることで、ustdは両方のタスクにおける決定論的および確率的ベースラインと比較して最先端のパフォーマンスを達成し、また価値のある不確実性の推定も提供する。

関連論文リスト

• Graph Masked Autoencoder for Spatio-Temporal Graph Learning [38.085962443141206]
  都市センシングの分野では,交通分析,人体移動評価,犯罪予測において,効果的な時間的予測の枠組みが重要な役割を担っている。 空間的および時間的データにデータノイズと空間性が存在することは、ロバスト表現を学習する上で、既存のニューラルネットワークモデルにとって大きな課題となる。 実効時間データ拡張のための新しい自己教師型学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-10-14T07:33:33Z)
• Spatiotemporal Observer Design for Predictive Learning of High-Dimensional Data [6.214987339902511]
  オブザーバ理論を指導したStemporalと呼ばれるディープラーニングアーキテクチャは、オブザーバの高次元データを予測学習するために設計されている。 このフレームワークは、一段階と多段階の両方のシナリオで正確な予測を行う時間的ダイナミクスをキャプチャすることができる。
  論文  参考訳（メタデータ） (2024-02-23T12:28:31Z)
• A Temporally Disentangled Contrastive Diffusion Model for Spatiotemporal Imputation [35.46631415365955]
  C$2$TSDという条件拡散フレームワークを導入する。 実世界の3つのデータセットに対する我々の実験は、最先端のベースラインと比較して、我々のアプローチの優れた性能を示している。
  論文  参考訳（メタデータ） (2024-02-18T11:59:04Z)
• Spatio-Temporal Attention Graph Neural Network for Remaining Useful Life Prediction [1.831835396047386]
  本研究では,時空間注意グラフニューラルネットワークを提案する。 本モデルでは,空間的・時間的特徴抽出のために,グラフニューラルネットワークと時間的畳み込みニューラルネットワークを組み合わせる。 C-MAPSSデータセットを用いて、クラスタリング正規化とクラスタリング正規化の影響を評価するための総合的な実験を行った。
  論文  参考訳（メタデータ） (2024-01-29T08:49:53Z)
• GPT-ST: Generative Pre-Training of Spatio-Temporal Graph Neural Networks [24.323017830938394]
  この作業は、ベースラインとシームレスに統合し、パフォーマンスを向上する事前トレーニングフレームワークを導入することで、課題に対処することを目的としている。 フレームワークは2つの重要な設計に基づいて構築されている。 Apple-to-appleマスクオートエンコーダは、学習時間依存のための事前トレーニングモデルである。 これらのモジュールは、時間内カスタマイズされた表現とセマンティック・クラスタ間関係を捉えるように設計されている。
  論文  参考訳（メタデータ） (2023-11-07T02:36:24Z)
• OpenSTL: A Comprehensive Benchmark of Spatio-Temporal Predictive Learning [67.07363529640784]
  提案するOpenSTLは,一般的なアプローチを再帰的モデルと再帰的モデルに分類する。 我々は, 合成移動物体軌道, 人間の動き, 運転シーン, 交通流, 天気予報など, さまざまな領域にわたるデータセットの標準評価を行う。 リカレントフリーモデルは、リカレントモデルよりも効率と性能のバランスが良いことがわかった。
  論文  参考訳（メタデータ） (2023-06-20T03:02:14Z)
• Uncovering the Missing Pattern: Unified Framework Towards Trajectory Imputation and Prediction [60.60223171143206]
  軌道予測は、観測されたシーケンスから実体運動や人間の行動を理解する上で重要な作業である。 現在の方法では、観測されたシーケンスが完了したと仮定し、欠落した値の可能性を無視する。 本稿では,グラフに基づく条件変動リカレントニューラルネットワーク (GC-VRNN) の統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-28T14:27:27Z)
• TempSAL -- Uncovering Temporal Information for Deep Saliency Prediction [64.63645677568384]
  本稿では,逐次時間間隔でサリエンシマップを出力する新たなサリエンシ予測モデルを提案する。 提案手法は,学習した時間マップを組み合わせることで,サリエンシ予測を局所的に調整する。 私たちのコードはGitHubで公開されます。
  論文  参考訳（メタデータ） (2023-01-05T22:10:16Z)
• Multivariate Time Series Forecasting with Dynamic Graph Neural ODEs [65.18780403244178]
  動的グラフニューラル正規微分方程式(MTGODE)を用いた多変量時系列予測連続モデルを提案する。 具体的には、まず、時間進化するノードの特徴と未知のグラフ構造を持つ動的グラフに多変量時系列を抽象化する。 そして、欠落したグラフトポロジを補完し、空間的および時間的メッセージパッシングを統一するために、ニューラルODEを設計、解決する。
  論文  参考訳（メタデータ） (2022-02-17T02:17:31Z)
• Temporal Predictive Coding For Model-Based Planning In Latent Space [80.99554006174093]
  時間的に予測可能な環境要素を符号化するために,時間的予測符号化を用いた情報理論的手法を提案する。 本稿では,DMControl タスクの背景を複雑な情報を含む自然なビデオに置き換える,標準的な DMControl タスクの挑戦的な修正について評価する。
  論文  参考訳（メタデータ） (2021-06-14T04:31:15Z)
• Predicting Temporal Sets with Deep Neural Networks [50.53727580527024]
  本稿では,時間集合予測のためのディープニューラルネットワークに基づく統合解を提案する。 ユニークな視点は、セットレベルの共起グラフを構築することで要素関係を学ぶことである。 我々は,要素や集合の時間依存性を適応的に学習するアテンションベースのモジュールを設計する。
  論文  参考訳（メタデータ） (2020-06-20T03:29:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。