論文の概要: TransformerG2G: Adaptive time-stepping for learning temporal graph embeddings using transformers

• arxiv url: http://arxiv.org/abs/2307.02588v2
• Date: Fri, 22 Dec 2023 19:12:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-27 22:19:15.350996
• Title: TransformerG2G: Adaptive time-stepping for learning temporal graph embeddings using transformers
• Title（参考訳）: transformerg2g:transformerを用いた時間グラフ埋め込み学習のための適応時間ステップ
• Authors: Alan John Varghese, Aniruddha Bora, Mengjia Xu, George Em Karniadakis
• Abstract要約: 本研究では,不確実な定量化を伴うグラフ埋め込みモデルであるTransformerG2Gを開発し,時間的グラフの時間的ダイナミクスを学習する。 提案したTransformerG2Gモデルが従来のマルチステップ法より優れていることを示す。 注意重みを調べることで、時間的依存関係を解明し、影響力のある要素を特定し、グラフ構造内の複雑な相互作用についての洞察を得ることができる。
• 参考スコア（独自算出の注目度）: 2.2120851074630177
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dynamic graph embedding has emerged as a very effective technique for addressing diverse temporal graph analytic tasks (i.e., link prediction, node classification, recommender systems, anomaly detection, and graph generation) in various applications. Such temporal graphs exhibit heterogeneous transient dynamics, varying time intervals, and highly evolving node features throughout their evolution. Hence, incorporating long-range dependencies from the historical graph context plays a crucial role in accurately learning their temporal dynamics. In this paper, we develop a graph embedding model with uncertainty quantification, TransformerG2G, by exploiting the advanced transformer encoder to first learn intermediate node representations from its current state ($t$) and previous context (over timestamps [$t-1, t-l$], $l$ is the length of context). Moreover, we employ two projection layers to generate lower-dimensional multivariate Gaussian distributions as each node's latent embedding at timestamp $t$. We consider diverse benchmarks with varying levels of ``novelty" as measured by the TEA (Temporal Edge Appearance) plots. Our experiments demonstrate that the proposed TransformerG2G model outperforms conventional multi-step methods and our prior work (DynG2G) in terms of both link prediction accuracy and computational efficiency, especially for high degree of novelty. Furthermore, the learned time-dependent attention weights across multiple graph snapshots reveal the development of an automatic adaptive time stepping enabled by the transformer. Importantly, by examining the attention weights, we can uncover temporal dependencies, identify influential elements, and gain insights into the complex interactions within the graph structure. For example, we identified a strong correlation between attention weights and node degree at the various stages of the graph topology evolution.
• Abstract（参考訳）: 動的グラフ埋め込みは、様々なアプリケーションにおける多様な時間グラフ解析タスク(リンク予測、ノード分類、レコメンダシステム、異常検出、グラフ生成など)に対処するための非常に効果的な手法として登場した。 このような時間グラフは異質な過渡的ダイナミクス、時間間隔の変化、その進化を通して高度に進化するノードの特徴を示す。 したがって、歴史的グラフコンテキストからの長距離依存関係を組み込むことは、時間的ダイナミクスを正確に学習する上で重要な役割を果たす。 本稿では,不確かさを定量化したグラフ埋め込みモデルtransformerg2gを開発した。これは,先進的なトランスフォーマーエンコーダを利用して,現在の状態 (t$) と以前の状況 (タイムスタンプ [$t-1, t-l$], $l$ is the length of context) から中間ノード表現を学習する。 さらに、2つの射影層を用いて低次元多変量ガウス分布を生成し、各ノードの潜伏埋め込みをtimetamp$t$で行う。 我々は,TAA(Temporal Edge Outearance)プロットによって測定された,‘novelty’のレベルが異なる多様なベンチマークを検討する。 提案したTransformerG2Gモデルは, リンク予測精度と計算効率の両面から, 従来の多段階法と先行研究(DynG2G)より優れていることを示す。 さらに、複数のグラフスナップショットにまたがる学習時間依存の注意重みは、変換器によって実現された自動適応時間ステップの開発を明らかにする。 注意重みを調べることで、時間的依存関係を解明し、影響力のある要素を特定し、グラフ構造内の複雑な相互作用についての洞察を得ることができる。 例えば,グラフトポロジー進化の様々な段階において,注意重みとノード次数との間に強い相関関係を見出した。

関連論文リスト

• Multivariate Time-Series Anomaly Detection based on Enhancing Graph Attention Networks with Topological Analysis [31.43159668073136]
  時系列における教師なし異常検出は、手動による介入の必要性を大幅に低減するため、産業応用において不可欠である。 従来の手法では、グラフニューラルネットワーク(GNN)やトランスフォーマーを使用して空間を解析し、RNNは時間的依存をモデル化していた。 本稿では,TopoGDNと呼ばれる多変量時系列異常検出のための拡張グラフ注意ネットワーク(GAT)上に構築された新しい時間モデルを提案する。
  論文  参考訳（メタデータ） (2024-08-23T14:06:30Z)
• Beyond Spatio-Temporal Representations: Evolving Fourier Transform for Temporal Graphs [5.752149463974228]
  本稿では、時間グラフ上の進化的表現をキャプチャする、最初の可逆スペクトル変換を提案する。 我々は、進化するグラフスペクトルをキャプチャするために、EDTで誘導される単純なニューラルモデルを開発する。 我々は,多数の大規模および標準時相グラフベンチマークにおいて理論的知見を実証的に検証した。
  論文  参考訳（メタデータ） (2024-02-25T13:05:25Z)
• TimeGraphs: Graph-based Temporal Reasoning [64.18083371645956]
  TimeGraphsは階層的時間グラフとして動的相互作用を特徴付ける新しいアプローチである。 提案手法は,コンパクトなグラフベース表現を用いて相互作用をモデル化し,多種多様な時間スケールでの適応推論を可能にする。 我々は,サッカーシミュレータ,抵抗ゲーム,MOMA人間活動データセットなど,複雑でダイナミックなエージェントインタラクションを持つ複数のデータセット上でTimeGraphsを評価する。
  論文  参考訳（メタデータ） (2024-01-06T06:26:49Z)
• FourierGNN: Rethinking Multivariate Time Series Forecasting from a Pure Graph Perspective [48.00240550685946]
  現在の最先端グラフニューラルネットワーク(GNN)ベースの予測手法は、通常、シリーズ間(空間)のダイナミックスとシリーズ内(時間)の依存関係をキャプチャするために、グラフネットワーク(GCNなど)と時間ネットワーク(LSTMなど)の両方を必要とする。 提案するフーリエグラフ演算子(FGO)を積み重ねて,フーリエ空間で行列乗算を行うことにより,新しいフーリエグラフニューラルネットワーク(FourierGNN)を提案する。 7つのデータセットに対する実験は、より効率が良く、パラメータも少ないという優れた性能を示した。
  論文  参考訳（メタデータ） (2023-11-10T17:13:26Z)
• Networked Time Series Imputation via Position-aware Graph Enhanced Variational Autoencoders [31.953958053709805]
  我々は,変分オートエンコーダ(VAE)を利用して,ノード時系列の特徴とグラフ構造の両方に欠落する値を予測するPoGeVonという新しいモデルを設計する。 実験の結果,ベースライン上でのモデルの有効性が示された。
  論文  参考訳（メタデータ） (2023-05-29T21:11:34Z)
• Time-aware Dynamic Graph Embedding for Asynchronous Structural Evolution [60.695162101159134]
  既存の作業は、動的グラフを変更のシーケンスとして見るだけである。 動的グラフを接合時間に付随する時間的エッジシーケンスとして定式化する。 頂点とエッジのタイムパン 組み込みにはタイムアウェアなTransformerが提案されている。 vertexの動的接続と学習へのToEs。 頂点表現
  論文  参考訳（メタデータ） (2022-07-01T15:32:56Z)
• Learning the Evolutionary and Multi-scale Graph Structure for Multivariate Time Series Forecasting [50.901984244738806]
  時系列の進化的・マルチスケール相互作用をモデル化する方法を示す。 特に、まず、拡張畳み込みと協調して、スケール固有の相関を捉える階層グラフ構造を提供する。 最終的な予測を得るために上記のコンポーネントを統合するために、統合ニューラルネットワークが提供される。
  論文  参考訳（メタデータ） (2022-06-28T08:11:12Z)
• Spatio-Temporal Joint Graph Convolutional Networks for Traffic Forecasting [75.10017445699532]
  近年、時間グラフモデリング問題として交通予測の定式化に焦点が移っている。 本稿では,道路網における交通予測の精度向上のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-11-25T08:45:14Z)
• TCL: Transformer-based Dynamic Graph Modelling via Contrastive Learning [87.38675639186405]
  我々は,動的に進化するグラフを連続的に扱う,TCLと呼ばれる新しいグラフニューラルネットワークアプローチを提案する。 我々の知る限りでは、これは動的グラフ上の表現学習にコントラスト学習を適用する最初の試みである。
  論文  参考訳（メタデータ） (2021-05-17T15:33:25Z)
• Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks [91.65637773358347]
  多変量時系列データに特化して設計された汎用グラフニューラルネットワークフレームワークを提案する。 グラフ学習モジュールを用いて,変数間の一方向関係を自動的に抽出する。 提案手法は,4つのベンチマークデータセットのうち3つにおいて,最先端のベースライン手法よりも優れている。
  論文  参考訳（メタデータ） (2020-05-24T04:02:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。