論文の概要: Towards Neural Scaling Laws for Foundation Models on Temporal Graphs

• arxiv url: http://arxiv.org/abs/2406.10426v2
• Date: Wed, 26 Jun 2024 19:26:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-28 18:47:10.175901
• Title: Towards Neural Scaling Laws for Foundation Models on Temporal Graphs
• Title（参考訳）: 時間グラフに基づく基礎モデルのニューラルスケーリング法則に向けて
• Authors: Razieh Shirzadkhani, Tran Gia Bao Ngo, Kiarash Shamsi, Shenyang Huang, Farimah Poursafaei, Poupak Azad, Reihaneh Rabbany, Baris Coskunuzer, Guillaume Rabusseau, Cuneyt Gurcan Akcora,
• Abstract要約: 我々は,85のERC20トークントランザクションネットワークからなる時間グラフの集合であるテンポラルグラフスケーリングデータセットを提案する。 時間グラフ特性予測タスクにおける時間グラフニューラルネットワーク(TGNN)の事前学習による伝達性の評価を行った。 NLPやComputer Visionで観測されるニューラルネットワークのスケーリング法則は、時間グラフ学習にも適用され、より多くのネットワークで事前学習することで、下流のパフォーマンスが向上する。
• 参考スコア（独自算出の注目度）: 16.27236883013554
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The field of temporal graph learning aims to learn from evolving network data to forecast future interactions. Given a collection of observed temporal graphs, is it possible to predict the evolution of an unseen network from the same domain? To answer this question, we first present the Temporal Graph Scaling (TGS) dataset, a large collection of temporal graphs consisting of eighty-four ERC20 token transaction networks collected from 2017 to 2023. Next, we evaluate the transferability of Temporal Graph Neural Networks (TGNNs) for the temporal graph property prediction task by pre-training on a collection of up to sixty-four token transaction networks and then evaluating the downstream performance on twenty unseen token networks. We find that the neural scaling law observed in NLP and Computer Vision also applies in temporal graph learning, where pre-training on greater number of networks leads to improved downstream performance. To the best of our knowledge, this is the first empirical demonstration of the transferability of temporal graphs learning. On downstream token networks, the largest pre-trained model outperforms single model TGNNs on thirteen unseen test networks. Therefore, we believe that this is a promising first step towards building foundation models for temporal graphs.
• Abstract（参考訳）: 時間グラフ学習の分野は、ネットワークデータの進化から将来の相互作用を予測することを目的としている。 観測された時間グラフの集合を考えると、同じ領域から目に見えないネットワークの進化を予測することは可能だろうか? この質問に答えるために、2017年から2023年にかけて収集された85のERC20トークントランザクションネットワークからなる、時間グラフの大規模なコレクションであるテンポラルグラフスケーリング(TGS)データセットを最初に提示する。 次に、時間グラフ特性予測タスクにおける時間グラフニューラルネットワーク(TGNN)の転送性について、最大64個のトークントランザクションネットワークのコレクションを事前学習し、20個の未確認トークンネットワーク上でのダウンストリーム性能を評価する。 NLPやComputer Visionで観測されるニューラルネットワークのスケーリング法則は、時間グラフ学習にも適用され、より多くのネットワークで事前学習することで、下流のパフォーマンスが向上する。 我々の知る限りでは、これは時間グラフ学習の伝達可能性を示す最初の実証的な実証である。 下流トークンネットワークでは、最大の事前学習モデルが13の未確認テストネットワーク上でシングルモデルTGNNよりも優れている。 したがって、これは時間グラフの基礎モデルを構築するための有望な第一歩であると信じている。

関連論文リスト

• FourierGNN: Rethinking Multivariate Time Series Forecasting from a Pure Graph Perspective [48.00240550685946]
  現在の最先端グラフニューラルネットワーク(GNN)ベースの予測手法は、通常、シリーズ間(空間)のダイナミックスとシリーズ内(時間)の依存関係をキャプチャするために、グラフネットワーク(GCNなど)と時間ネットワーク(LSTMなど)の両方を必要とする。 提案するフーリエグラフ演算子(FGO)を積み重ねて,フーリエ空間で行列乗算を行うことにより,新しいフーリエグラフニューラルネットワーク(FourierGNN)を提案する。 7つのデータセットに対する実験は、より効率が良く、パラメータも少ないという優れた性能を示した。
  論文  参考訳（メタデータ） (2023-11-10T17:13:26Z)
• Sparsity exploitation via discovering graphical models in multi-variate time-series forecasting [1.2762298148425795]
  本稿では,グラフ生成モジュールとGNN予測モジュールを含む分離学習手法を提案する。 まず、Graphical Lasso(またはGraphLASSO)を使用して、データから空間パターンを直接利用してグラフ構造を構築します。 次に、これらのグラフ構造と入力データをGCRN(Graph Convolutional Recurrent Network)に適合させて予測モデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-06-29T16:48:00Z)
• Scaling Up Dynamic Graph Representation Learning via Spiking Neural Networks [23.01100055999135]
  時間グラフの時間的および構造的パターンを効率的に捉えるために,スケーラブルなフレームワークであるSpikeNetを提案する。 RNNの代替として、SNNは明らかにグラフ力学をニューロンのスパイクトレインとしてモデル化している。 SpikeNetは、パラメータや計算オーバーヘッドが大幅に少ない大きな時間グラフに一般化する。
  論文  参考訳（メタデータ） (2022-08-15T09:22:15Z)
• Spatial-Temporal Adaptive Graph Convolution with Attention Network for Traffic Forecasting [4.1700160312787125]
  交通予測のための新しいネットワークである空間時間適応グラフ畳み込み(STAAN)を提案する。 まず,GCN処理中に事前に定義された行列を使わずに適応的依存行列を採用し,ノード間の依存性を推定する。 第2に,グローバルな依存のために設計されたグラフアテンションネットワークに基づくPWアテンションと,空間ブロックとしてのGCNを統合した。
  論文  参考訳（メタデータ） (2022-06-07T09:08:35Z)
• Invertible Neural Networks for Graph Prediction [22.140275054568985]
  本研究では,ディープ・インバーチブル・ニューラルネットワークを用いた条件生成について述べる。 私たちの目標は,前処理と後処理の予測と生成を同時に行うことにあるので,エンドツーエンドのトレーニングアプローチを採用しています。
  論文  参考訳（メタデータ） (2022-06-02T17:28:33Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Temporal Graph Network Embedding with Causal Anonymous Walks Representations [54.05212871508062]
  本稿では,時間グラフネットワークに基づく動的ネットワーク表現学習のための新しいアプローチを提案する。 評価のために、時間的ネットワーク埋め込みの評価のためのベンチマークパイプラインを提供する。 欧州の大手銀行が提供した実世界のダウンストリームグラフ機械学習タスクにおいて、我々のモデルの適用性と優れた性能を示す。
  論文  参考訳（メタデータ） (2021-08-19T15:39:52Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)
• Learning to Extrapolate Knowledge: Transductive Few-shot Out-of-Graph Link Prediction [69.1473775184952]
  数発のアウトオブグラフリンク予測という現実的な問題を導入する。 我々は,新しいメタ学習フレームワークによってこの問題に対処する。 我々は,知識グラフの補完と薬物と薬物の相互作用予測のために,複数のベンチマークデータセット上でモデルを検証した。
  論文  参考訳（メタデータ） (2020-06-11T17:42:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。