論文の概要: Supra-Laplacian Encoding for Transformer on Dynamic Graphs

• arxiv url: http://arxiv.org/abs/2409.17986v2
• Date: Fri, 15 Nov 2024 14:22:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-18 15:35:52.275431
• Title: Supra-Laplacian Encoding for Transformer on Dynamic Graphs
• Title（参考訳）: 動的グラフ上の変圧器の超ラプラシアン符号化
• Authors: Yannis Karmim, Marc Lafon, Raphael Fournier S'niehotta, Nicolas Thome,
• Abstract要約: 本稿では,時間情報を保持しつつ,GTアーキテクチャの新しいテンポラルエンコーディングを提案する。 具体的には、Time Dynamic Graphplas を多層グラフに変換し、関連する超ラテン行列のスペクトル特性を利用する。 第2のコントリビューションは、動的リンク予測のための正確なエッジ表現を提供するクロスアテンション機構と相互にノードをモデル化する。
• 参考スコア（独自算出の注目度）: 14.293220696079919
• License:
• Abstract: Fully connected Graph Transformers (GT) have rapidly become prominent in the static graph community as an alternative to Message-Passing models, which suffer from a lack of expressivity, oversquashing, and under-reaching. However, in a dynamic context, by interconnecting all nodes at multiple snapshots with self-attention, GT loose both structural and temporal information. In this work, we introduce Supra-LAplacian encoding for spatio-temporal TransformErs (SLATE), a new spatio-temporal encoding to leverage the GT architecture while keeping spatio-temporal information. Specifically, we transform Discrete Time Dynamic Graphs into multi-layer graphs and take advantage of the spectral properties of their associated supra-Laplacian matrix. Our second contribution explicitly model nodes' pairwise relationships with a cross-attention mechanism, providing an accurate edge representation for dynamic link prediction. SLATE outperforms numerous state-of-the-art methods based on Message-Passing Graph Neural Networks combined with recurrent models (e.g LSTM), and Dynamic Graph Transformers, on 9 datasets. Code is available at: github.com/ykrmm/SLATE.
• Abstract（参考訳）: 完全に接続されたグラフトランスフォーマー(GT)は、表現力の欠如、オーバーシャッシング、アンダーリーチングに苦しむMessage-Passingモデルの代替として、静的グラフコミュニティで急速に注目を集めている。 しかしながら、動的コンテキストでは、複数のスナップショットですべてのノードを自己アテンションに相互接続することで、GTは構造情報と時間情報の両方を緩める。 本研究では、時空間情報を保持しつつGTアーキテクチャを活用するための新しい時空間符号化である時空間変換器(SLATE)のSupra-LAplacian符号化を導入する。 具体的には、離散時間動的グラフを多層グラフに変換し、関連する超ラプラシア行列のスペクトル特性を利用する。 第2のコントリビューションは、クロスアテンション機構によるノードのペアワイズ関係を明示的にモデル化し、動的リンク予測のための正確なエッジ表現を提供する。 SLATEは9つのデータセット上で、メッセージパッシンググラフニューラルネットワークと反復モデル(LSTMなど)と動的グラフトランスフォーマーを組み合わせることで、最先端の多くの手法より優れている。 コードは、github.com/ykrmm/SLATEで入手できる。

関連論文リスト

• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• TimeGraphs: Graph-based Temporal Reasoning [64.18083371645956]
  TimeGraphsは階層的時間グラフとして動的相互作用を特徴付ける新しいアプローチである。 提案手法は,コンパクトなグラフベース表現を用いて相互作用をモデル化し,多種多様な時間スケールでの適応推論を可能にする。 我々は,サッカーシミュレータ,抵抗ゲーム,MOMA人間活動データセットなど,複雑でダイナミックなエージェントインタラクションを持つ複数のデータセット上でTimeGraphsを評価する。
  論文  参考訳（メタデータ） (2024-01-06T06:26:49Z)
• Mending of Spatio-Temporal Dependencies in Block Adjacency Matrix [3.529869282529924]
  本稿では,時間的依存を考慮に入れた新たなエンドツーエンド学習アーキテクチャを提案する。 提案手法は,SurgVisDomやC2D2などのベンチマークデータセット上での優れた性能を示す。
  論文  参考訳（メタデータ） (2023-10-04T06:42:33Z)
• Temporal Aggregation and Propagation Graph Neural Networks for Dynamic Representation [67.26422477327179]
  時間グラフは連続時間を通してノード間の動的相互作用を示す。 本研究では,周辺地域全体と時間的グラフ畳み込みの新たな手法を提案する。 提案するTAP-GNNは,予測性能とオンライン推論遅延の両面で,既存の時間グラフ手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-04-15T08:17:18Z)
• Self-Supervised Temporal Graph learning with Temporal and Structural Intensity Alignment [53.72873672076391]
  時間グラフ学習は、動的情報を用いたグラフベースのタスクのための高品質な表現を生成することを目的としている。 本稿では,時間的および構造的情報の両方を抽出する時間的グラフ学習のためのS2Tという自己教師型手法を提案する。 S2Tは、いくつかのデータセットにおける最先端の競合と比較して、少なくとも10.13%のパフォーマンス改善を実現している。
  論文  参考訳（メタデータ） (2023-02-15T06:36:04Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Time-aware Dynamic Graph Embedding for Asynchronous Structural Evolution [60.695162101159134]
  既存の作業は、動的グラフを変更のシーケンスとして見るだけである。 動的グラフを接合時間に付随する時間的エッジシーケンスとして定式化する。 頂点とエッジのタイムパン 組み込みにはタイムアウェアなTransformerが提案されている。 vertexの動的接続と学習へのToEs。 頂点表現
  論文  参考訳（メタデータ） (2022-07-01T15:32:56Z)
• Instant Graph Neural Networks for Dynamic Graphs [18.916632816065935]
  Instant Graph Neural Network (InstantGNN) を提案する。 提案手法は,時間を要する反復計算を回避し,表現の即時更新と即時予測を可能にする。 本モデルでは,既存手法よりも高精度かつ高次精度で最先端の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-03T03:27:42Z)
• Dynamic Graph Learning-Neural Network for Multivariate Time Series Modeling [2.3022070933226217]
  静的および動的グラフ学習ニューラルネットワーク(GL)という新しいフレームワークを提案する。 モデルはそれぞれ、データから静的グラフ行列と動的グラフ行列を取得し、長期パターンと短期パターンをモデル化する。 ほぼすべてのデータセットで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-12-06T08:19:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。