論文の概要: Towards Neural Scaling Laws for Foundation Models on Temporal Graphs

• arxiv url: http://arxiv.org/abs/2406.10426v2
• Date: Wed, 26 Jun 2024 19:26:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-28 18:47:10.175901
• Title: Towards Neural Scaling Laws for Foundation Models on Temporal Graphs
• Title（参考訳）: 時間グラフに基づく基礎モデルのニューラルスケーリング法則に向けて
• Authors: Razieh Shirzadkhani, Tran Gia Bao Ngo, Kiarash Shamsi, Shenyang Huang, Farimah Poursafaei, Poupak Azad, Reihaneh Rabbany, Baris Coskunuzer, Guillaume Rabusseau, Cuneyt Gurcan Akcora,
• Abstract要約: 我々は,85のERC20トークントランザクションネットワークからなる時間グラフの集合であるテンポラルグラフスケーリングデータセットを提案する。 時間グラフ特性予測タスクにおける時間グラフニューラルネットワーク(TGNN)の事前学習による伝達性の評価を行った。 NLPやComputer Visionで観測されるニューラルネットワークのスケーリング法則は、時間グラフ学習にも適用され、より多くのネットワークで事前学習することで、下流のパフォーマンスが向上する。
• 参考スコア（独自算出の注目度）: 16.27236883013554
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The field of temporal graph learning aims to learn from evolving network data to forecast future interactions. Given a collection of observed temporal graphs, is it possible to predict the evolution of an unseen network from the same domain? To answer this question, we first present the Temporal Graph Scaling (TGS) dataset, a large collection of temporal graphs consisting of eighty-four ERC20 token transaction networks collected from 2017 to 2023. Next, we evaluate the transferability of Temporal Graph Neural Networks (TGNNs) for the temporal graph property prediction task by pre-training on a collection of up to sixty-four token transaction networks and then evaluating the downstream performance on twenty unseen token networks. We find that the neural scaling law observed in NLP and Computer Vision also applies in temporal graph learning, where pre-training on greater number of networks leads to improved downstream performance. To the best of our knowledge, this is the first empirical demonstration of the transferability of temporal graphs learning. On downstream token networks, the largest pre-trained model outperforms single model TGNNs on thirteen unseen test networks. Therefore, we believe that this is a promising first step towards building foundation models for temporal graphs.
• Abstract（参考訳）: 時間グラフ学習の分野は、ネットワークデータの進化から将来の相互作用を予測することを目的としている。 観測された時間グラフの集合を考えると、同じ領域から目に見えないネットワークの進化を予測することは可能だろうか? この質問に答えるために、2017年から2023年にかけて収集された85のERC20トークントランザクションネットワークからなる、時間グラフの大規模なコレクションであるテンポラルグラフスケーリング(TGS)データセットを最初に提示する。 次に、時間グラフ特性予測タスクにおける時間グラフニューラルネットワーク(TGNN)の転送性について、最大64個のトークントランザクションネットワークのコレクションを事前学習し、20個の未確認トークンネットワーク上でのダウンストリーム性能を評価する。 NLPやComputer Visionで観測されるニューラルネットワークのスケーリング法則は、時間グラフ学習にも適用され、より多くのネットワークで事前学習することで、下流のパフォーマンスが向上する。 我々の知る限りでは、これは時間グラフ学習の伝達可能性を示す最初の実証的な実証である。 下流トークンネットワークでは、最大の事前学習モデルが13の未確認テストネットワーク上でシングルモデルTGNNよりも優れている。 したがって、これは時間グラフの基礎モデルを構築するための有望な第一歩であると信じている。

関連論文リスト

• NetFlowGen: Leveraging Generative Pre-training for Network Traffic Dynamics [72.95483148058378]
  我々は,NetFlowレコードからのトラフィックデータのみを用いて,トラフィックダイナミクスをキャプチャする汎用機械学習モデルを事前学習することを提案する。 ネットワーク特徴表現の統一,未ラベルの大規模トラフィックデータ量からの学習,DDoS攻撃検出における下流タスクのテストといった課題に対処する。
  論文  参考訳（メタデータ） (2024-12-30T00:47:49Z)
• Towards a graph-based foundation model for network traffic analysis [3.0558245652654907]
  基礎モデルはネットワークトラフィックの複雑さを把握でき、最小限の微調整で特定のタスクや環境に適応できる。 従来のアプローチではトークン化ヘックスレベルのパケットデータを使用していた。 本稿では,フローレベルでグラフベースの新しい代替案を提案する。
  論文  参考訳（メタデータ） (2024-09-12T15:04:34Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• The Multiple Subnetwork Hypothesis: Enabling Multidomain Learning by Isolating Task-Specific Subnetworks in Feedforward Neural Networks [0.0]
  我々は,未使用の重み付きネットワークがその後のタスクを学習するための方法論とネットワーク表現構造を同定する。 提案手法を用いてトレーニングされたネットワークは,タスクのパフォーマンスを犠牲にすることなく,あるいは破滅的な忘れを伴わずに,複数のタスクを学習できることを示す。
  論文  参考訳（メタデータ） (2022-07-18T15:07:13Z)
• Time-Distributed Feature Learning in Network Traffic Classification for Internet of Things [3.1744605242927797]
  本稿では,トラフィックデータを一連の画像として扱う新しいネットワークデータ表現を提案する。 ネットワークデータは、時間分散(TD)機能学習を利用するビデオストリームとして実現される。 実験結果から,ネットワーク分類性能を学習するTD機能は,性能を10%向上させることがわかった。
  論文  参考訳（メタデータ） (2021-09-29T20:01:40Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Graph-Based Neural Network Models with Multiple Self-Supervised Auxiliary Tasks [79.28094304325116]
  グラフ畳み込みネットワークは、構造化されたデータポイント間の関係をキャプチャするための最も有望なアプローチである。 マルチタスク方式でグラフベースニューラルネットワークモデルを学習するための3つの新しい自己教師付き補助タスクを提案する。
  論文  参考訳（メタデータ） (2020-11-14T11:09:51Z)
• Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
  我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。 私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。 提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
  論文  参考訳（メタデータ） (2020-09-24T15:40:55Z)
• Modeling Dynamic Heterogeneous Network for Link Prediction using Hierarchical Attention with Temporal RNN [16.362525151483084]
  我々はDyHATRと呼ばれる新しい動的ヘテロジニアスネットワーク埋め込み法を提案する。 階層的な注意を使って異質な情報を学習し、進化パターンを捉えるために時間的注意を伴う繰り返しニューラルネットワークを組み込む。 リンク予測のための4つの実世界のデータセットに対して,本手法をベンチマークした。
  論文  参考訳（メタデータ） (2020-04-01T17:16:47Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。