論文の概要: DTFormer: A Transformer-Based Method for Discrete-Time Dynamic Graph Representation Learning

• arxiv url: http://arxiv.org/abs/2407.18523v1
• Date: Fri, 26 Jul 2024 05:46:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-29 14:20:08.068595
• Title: DTFormer: A Transformer-Based Method for Discrete-Time Dynamic Graph Representation Learning
• Title（参考訳）: DTFormer:離散時間動的グラフ表現学習のためのトランスフォーマーベース手法
• Authors: Xi Chen, Yun Xiong, Siwei Zhang, Jiawei Zhang, Yao Zhang, Shiyang Zhou, Xixi Wu, Mingyang Zhang, Tengfei Liu, Weiqiang Wang,
• Abstract要約: 離散時間動的グラフ(DTDG)の表現学習は、時間的に変化するエンティティとその進化する接続のダイナミクスをモデル化するために広く応用されている。 本稿では,従来の GNN+RNN フレームワークから Transformer ベースのアーキテクチャへ移行した DTDG のための表現学習手法 DTFormer を提案する。
• 参考スコア（独自算出の注目度）: 38.53424185696828
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Discrete-Time Dynamic Graphs (DTDGs), which are prevalent in real-world implementations and notable for their ease of data acquisition, have garnered considerable attention from both academic researchers and industry practitioners. The representation learning of DTDGs has been extensively applied to model the dynamics of temporally changing entities and their evolving connections. Currently, DTDG representation learning predominantly relies on GNN+RNN architectures, which manifest the inherent limitations of both Graph Neural Networks (GNNs) and Recurrent Neural Networks (RNNs). GNNs suffer from the over-smoothing issue as the models architecture goes deeper, while RNNs struggle to capture long-term dependencies effectively. GNN+RNN architectures also grapple with scaling to large graph sizes and long sequences. Additionally, these methods often compute node representations separately and focus solely on individual node characteristics, thereby overlooking the behavior intersections between the two nodes whose link is being predicted, such as instances where the two nodes appear together in the same context or share common neighbors. This paper introduces a novel representation learning method DTFormer for DTDGs, pivoting from the traditional GNN+RNN framework to a Transformer-based architecture. Our approach exploits the attention mechanism to concurrently process topological information within the graph at each timestamp and temporal dynamics of graphs along the timestamps, circumventing the aforementioned fundamental weakness of both GNNs and RNNs. Moreover, we enhance the model's expressive capability by incorporating the intersection relationships among nodes and integrating a multi-patching module. Extensive experiments conducted on six public dynamic graph benchmark datasets confirm our model's efficacy, achieving the SOTA performance.
• Abstract（参考訳）: 離散時間動的グラフ(DTDG)は、実世界の実装で広く普及しており、データ取得の容易さで有名であるが、学術研究者と産業専門家の両方からかなりの注目を集めている。 DTDGの表現学習は、時間的に変化する実体とその進化する接続のダイナミクスをモデル化するために広く応用されてきた。 現在、DTDG表現学習は主にGNN+RNNアーキテクチャに依存しており、グラフニューラルネットワーク(GNN)とリカレントニューラルネットワーク(RNN)の両方に固有の制限がある。 GNNはモデルアーキテクチャがより深くなっていくにつれ、過度にスムースな問題に悩まされる一方、RNNは長期的な依存関係を効果的に捉えるのに苦労する。 GNN+RNNアーキテクチャは、大きなグラフサイズと長いシーケンスへのスケーリングにも適している。 さらに、これらの手法はノードの表現を別々に計算し、個々のノードの特徴のみに焦点を合わせ、リンクが予測されている2つのノード間の動作の交点を見渡す。 本稿では,従来の GNN+RNN フレームワークから Transformer ベースのアーキテクチャへ移行した DTDG のための表現学習手法 DTFormer を提案する。 提案手法は,各タイムスタンプにおけるグラフ内のトポロジ情報と,タイムスタンプに沿ったグラフの時間的ダイナミクスを同時に処理するための注意機構を利用して,前述のGNNとRNNの根本的な弱点を回避する。 さらに,ノード間の相互関係を組み込んでマルチパッチモジュールを統合することで,モデルの表現能力を向上する。 6つのパブリック・ダイナミック・グラフ・ベンチマーク・データセットで実施された大規模な実験により、我々のモデルの有効性が確認され、SOTA性能が達成された。

関連論文リスト

• A survey of dynamic graph neural networks [26.162035361191805]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから効果的にマイニングし学習するための強力なツールとして登場した。 本稿では,基本的な概念,鍵となる技術,そして最先端の動的GNNモデルについて概観する。
  論文  参考訳（メタデータ） (2024-04-28T15:07:48Z)
• SiGNN: A Spike-induced Graph Neural Network for Dynamic Graph Representation Learning [42.716744098170835]
  本研究では,動的グラフ上での時空間表現の強化を学習するための,スパイク誘発グラフニューラルネットワーク(SiGNN)という新しいフレームワークを提案する。 TA機構を利用して、SiGNNはSNNの時間的ダイナミクスを効果的に活用するだけでなく、スパイクのバイナリの性質によって課される表現的制約を積極的に回避する。 実世界の動的グラフデータセットに対する大規模な実験は、ノード分類タスクにおけるSiGNNの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-03-11T05:19:43Z)
• DGNN: Decoupled Graph Neural Networks with Structural Consistency between Attribute and Graph Embedding Representations [62.04558318166396]
  グラフニューラルネットワーク(GNN)は、複雑な構造を持つグラフ上での表現学習の堅牢性を示す。 ノードのより包括的な埋め込み表現を得るために、Decoupled Graph Neural Networks (DGNN)と呼ばれる新しいGNNフレームワークが導入された。 複数のグラフベンチマークデータセットを用いて、ノード分類タスクにおけるDGNNの優位性を検証した。
  論文  参考訳（メタデータ） (2024-01-28T06:43:13Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• Graph-based Multi-ODE Neural Networks for Spatio-Temporal Traffic Forecasting [8.832864937330722]
  長距離交通予測は、交通ネットワークで観測される複雑な時間的相関のため、依然として困難な課題である。 本稿では,GRAM-ODE(Graph-based Multi-ODE Neural Networks)と呼ばれるアーキテクチャを提案する。 実世界の6つのデータセットを用いて行った大規模な実験は、最先端のベースラインと比較して、GRAM-ODEの優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-30T02:10:42Z)
• Dynamic Graph Representation Learning via Edge Temporal States Modeling and Structure-reinforced Transformer [5.093187534912688]
  本稿では,動的グラフ表現学習のための新しいフレームワークであるRecurrent Structure-Reinforced Graph Transformer (RSGT)を紹介する。 RSGTは、繰り返し学習パラダイムを通じて、グラフトポロジと進化力学の両方をコードする時間ノード表現をキャプチャする。 離散動的グラフ表現学習におけるRSGTの優れた性能を示し、動的リンク予測タスクにおける既存の手法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-20T04:12:50Z)
• A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。 本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。 UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
  論文  参考訳（メタデータ） (2020-10-05T04:57:18Z)
• Hierarchical Message-Passing Graph Neural Networks [12.207978823927386]
  本稿では,新しい階層型メッセージパッシンググラフニューラルネットワークフレームワークを提案する。 鍵となるアイデアは、フラットグラフ内のすべてのノードをマルチレベルなスーパーグラフに再編成する階層構造を生成することである。 階層型コミュニティ対応グラフニューラルネットワーク(HC-GNN)と呼ばれる,このフレームワークを実装した最初のモデルを提案する。
  論文  参考訳（メタデータ） (2020-09-08T13:11:07Z)
• GPT-GNN: Generative Pre-Training of Graph Neural Networks [93.35945182085948]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データのモデリングにおいて強力であることが示されている。 生成事前学習によりGNNを初期化するためのGPT-GNNフレームワークを提案する。 GPT-GNNは、様々な下流タスクにおいて、事前トレーニングを最大9.1%行うことなく、最先端のGNNモデルを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2020-06-27T20:12:33Z)
• Policy-GNN: Aggregation Optimization for Graph Neural Networks [60.50932472042379]
  グラフニューラルネットワーク(GNN)は、局所的なグラフ構造をモデル化し、隣人からの情報を集約することで階層的なパターンを捉えることを目的としている。 複雑なグラフとスパースな特徴を与えられた各ノードに対して効果的なアグリゲーション戦略を開発することは難しい課題である。 本稿では,GNNのサンプリング手順とメッセージパッシングを複合学習プロセスにモデル化するメタ政治フレームワークであるPolicy-GNNを提案する。
  論文  参考訳（メタデータ） (2020-06-26T17:03:06Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。