論文の概要: TCL: Transformer-based Dynamic Graph Modelling via Contrastive Learning
- arxiv url: http://arxiv.org/abs/2105.07944v1
- Date: Mon, 17 May 2021 15:33:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-18 19:43:43.086276
- Title: TCL: Transformer-based Dynamic Graph Modelling via Contrastive Learning
- Title（参考訳）: TCL:コントラスト学習によるトランスフォーマーに基づく動的グラフモデリング
- Authors: Lu Wang, Xiaofu Chang, Shuang Li, Yunfei Chu, Hui Li, Wei Zhang,
Xiaofeng He, Le Song, Jingren Zhou, Hongxia Yang
- Abstract要約: 我々は,動的に進化するグラフを連続的に扱う,TCLと呼ばれる新しいグラフニューラルネットワークアプローチを提案する。
我々の知る限りでは、これは動的グラフ上の表現学習にコントラスト学習を適用する最初の試みである。
- 参考スコア（独自算出の注目度）: 87.38675639186405
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dynamic graph modeling has recently attracted much attention due to its
extensive applications in many real-world scenarios, such as recommendation
systems, financial transactions, and social networks. Although many works have
been proposed for dynamic graph modeling in recent years, effective and
scalable models are yet to be developed. In this paper, we propose a novel
graph neural network approach, called TCL, which deals with the
dynamically-evolving graph in a continuous-time fashion and enables effective
dynamic node representation learning that captures both the temporal and
topology information. Technically, our model contains three novel aspects.
First, we generalize the vanilla Transformer to temporal graph learning
scenarios and design a graph-topology-aware transformer. Secondly, on top of
the proposed graph transformer, we introduce a two-stream encoder that
separately extracts representations from temporal neighborhoods associated with
the two interaction nodes and then utilizes a co-attentional transformer to
model inter-dependencies at a semantic level. Lastly, we are inspired by the
recently developed contrastive learning and propose to optimize our model by
maximizing mutual information (MI) between the predictive representations of
two future interaction nodes. Benefiting from this, our dynamic representations
can preserve high-level (or global) semantics about interactions and thus is
robust to noisy interactions. To the best of our knowledge, this is the first
attempt to apply contrastive learning to representation learning on dynamic
graphs. We evaluate our model on four benchmark datasets for interaction
prediction and experiment results demonstrate the superiority of our model.
- Abstract（参考訳）: 動的グラフモデリングは、リコメンデーションシステム、金融取引、ソーシャルネットワークなど、多くの現実のシナリオで広く応用されているため、最近多くの注目を集めている。
近年、動的グラフモデリングのための多くの研究が提案されているが、効果的でスケーラブルなモデルはまだ開発されていない。
本稿では,動的に進化するグラフを連続的に処理し,時空間情報とトポロジ情報の両方をキャプチャする効果的な動的ノード表現学習を実現するtclと呼ばれる新しいグラフニューラルネットワーク手法を提案する。
技術的には、我々のモデルは3つの新しい側面を含む。
まず,バニラトランスを時相グラフ学習シナリオに一般化し,グラフ位相認識トランスを設計する。
次に,提案するグラフ変換器の上に,2つの相互作用ノードに関連する時間的近傍からの表現を分離して抽出し,協調変換器を用いて意味レベルで相互依存性をモデル化する2ストリームエンコーダを導入する。
最後に、最近開発されたコントラスト学習に着想を得て、2つの将来の相互作用ノードの予測表現間の相互情報(MI)を最大化し、モデル最適化を提案する。
これを利用して、動的表現は相互作用に関する高レベルな(あるいはグローバルな)意味を保存できるため、ノイズの多い相互作用に対して堅牢である。
我々の知る限りでは、これは動的グラフ上の表現学習にコントラスト学習を適用する最初の試みである。
インタラクション予測のための4つのベンチマークデータセットでモデルを評価し,実験結果からモデルの優越性を示す。
関連論文リスト
- Node-Time Conditional Prompt Learning In Dynamic Graphs [14.62182210205324]
DYGPROMPTは動的グラフモデリングのための新しい事前学習および迅速な学習フレームワークである。
我々はノードと時間の特徴が相互に特徴付けることを認識し、下流タスクにおけるノード時間パターンの進化をモデル化するための2つの条件ネットを提案する。
論文 参考訳（メタデータ） (2024-05-22T19:10:24Z) - Signed Graph Neural Ordinary Differential Equation for Modeling
Continuous-time Dynamics [13.912268915939656]
グラフニューラルネットワークを通常の微分方程式と統合する一般的なアプローチは、有望な性能を示している。
符号付きグラフニューラル常微分方程式は,符号付き情報の誤キャプチャの限界に十分対処する。
提案したソリューションは、柔軟性と効率性の両方を誇っている。
論文 参考訳（メタデータ） (2023-12-18T13:45:33Z) - Dynamic Graph Representation Learning with Neural Networks: A Survey [0.0]
動的グラフ表現は新しい機械学習問題として現れた。
本稿では,動的グラフ学習に関連する問題とモデルをレビューすることを目的とする。
論文 参考訳（メタデータ） (2023-04-12T09:39:17Z) - EasyDGL: Encode, Train and Interpret for Continuous-time Dynamic Graph Learning [92.71579608528907]
本稿では,3つのモジュールから構成される使い勝手の良いパイプライン(EasyDGL)を設計することを目的とする。
EasyDGLは、進化するグラフデータからモデルが学習する周波数コンテンツの予測力を効果的に定量化することができる。
論文 参考訳（メタデータ） (2023-03-22T06:35:08Z) - Learning Dynamic Graph Embeddings with Neural Controlled Differential
Equations [21.936437653875245]
本稿では,時間的相互作用を持つ動的グラフの表現学習に焦点を当てる。
本稿では,ノード埋め込みトラジェクトリの連続的動的進化を特徴付ける動的グラフに対する一般化微分モデルを提案する。
本フレームワークは,セグメントを統合せずにグラフの進化を動的に表現できる機能など,いくつかの望ましい特徴を示す。
論文 参考訳（メタデータ） (2023-02-22T12:59:38Z) - DyTed: Disentangled Representation Learning for Discrete-time Dynamic
Graph [59.583555454424]
離散時間動的グラフ、すなわちDyTedのための新しいディペンタングル表現学習フレームワークを提案する。
本研究では,時間不変の表現と時間変動の表現を効果的に識別する構造的コントラスト学習とともに,時間的クリップのコントラスト学習タスクを特別に設計する。
論文 参考訳（メタデータ） (2022-10-19T14:34:12Z) - EXPERT: Public Benchmarks for Dynamic Heterogeneous Academic Graphs [5.4744970832051445]
グラフ予測タスクのために開発されたモデルの有効性を検証するために,大規模で動的に異種な学術グラフを提案する。
我々の新しいデータセットは、人工知能(AI)と核拡散(NN)の2つのコミュニティにわたる科学出版物から抽出された文脈情報と内容情報の両方をカバーしている。
論文 参考訳（メタデータ） (2022-04-14T19:43:34Z) - Learning Dual Dynamic Representations on Time-Sliced User-Item
Interaction Graphs for Sequential Recommendation [62.30552176649873]
シーケンシャルレコメンデーションのための動的表現学習モデル(DRL-SRe)を考案する。
両面から動的に特徴付けるためのユーザ・イテム相互作用をモデル化するため,提案モデルでは,時間スライス毎にグローバルなユーザ・イテム相互作用グラフを構築した。
モデルが微粒な時間情報を捕捉することを可能にするため,連続時間スライス上での補助的時間予測タスクを提案する。
論文 参考訳（メタデータ） (2021-09-24T07:44:27Z) - Hyperbolic Variational Graph Neural Network for Modeling Dynamic Graphs [77.33781731432163]
我々は,ノード表現の推論を目的とした双曲空間における動的グラフ表現を初めて学習する。
本稿では,HVGNNと呼ばれる新しいハイパーボリック変動グラフネットワークを提案する。
特に,動力学をモデル化するために,理論的に接地した時間符号化手法に基づく時間gnn(tgnn)を導入する。
論文 参考訳（メタデータ） (2021-04-06T01:44:15Z) - Tensor Graph Convolutional Networks for Multi-relational and Robust
Learning [74.05478502080658]
本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。
提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
論文 参考訳（メタデータ） (2020-03-15T02:33:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。