論文の概要: MiNT: Multi-Network Training for Transfer Learning on Temporal Graphs

• arxiv url: http://arxiv.org/abs/2406.10426v3
• Date: Sat, 15 Feb 2025 04:10:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 20:34:44.247305
• Title: MiNT: Multi-Network Training for Transfer Learning on Temporal Graphs
• Title（参考訳）: MiNT:テンポラルグラフを用いたトランスファーラーニングのためのマルチネットワークトレーニング
• Authors: Kiarash Shamsi, Tran Gia Bao Ngo, Razieh Shirzadkhani, Shenyang Huang, Farimah Poursafaei, Poupak Azad, Reihaneh Rabbany, Baris Coskunuzer, Guillaume Rabusseau, Cuneyt Gurcan Akcora,
• Abstract要約: 時間グラフ学習(TGL)は、動的ネットワークのパターンを発見し、将来の相互作用を予測するための堅牢なフレームワークとなっている。 複数の時間的ネットワークから学習する新しい事前学習手法である時間的マルチネットワークトレーニングMiNTを導入する。 MiNTはゼロショット推論で最先端の結果を達成し、各ネットワークで個別に訓練されたモデルを上回る。
• 参考スコア（独自算出の注目度）: 16.27236883013554
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Temporal Graph Learning (TGL) has become a robust framework for discovering patterns in dynamic networks and predicting future interactions. While existing research has largely concentrated on learning from individual networks, this study explores the potential of learning from multiple temporal networks and its ability to transfer to unobserved networks. To achieve this, we introduce Temporal Multi-network Training MiNT, a novel pre-training approach that learns from multiple temporal networks. With a novel collection of 84 temporal transaction networks, we pre-train TGL models on up to 64 networks and assess their transferability to 20 unseen networks. Remarkably, MiNT achieves state-of-the-art results in zero-shot inference, surpassing models individually trained on each network. Our findings further demonstrate that increasing the number of pre-training networks significantly improves transfer performance. This work lays the groundwork for developing Temporal Graph Foundation Models, highlighting the significant potential of multi-network pre-training in TGL.
• Abstract（参考訳）: 時間グラフ学習(TGL)は、動的ネットワークのパターンを発見し、将来の相互作用を予測するための堅牢なフレームワークとなっている。 既存の研究は個々のネットワークから学習することに集中しているが、この研究は複数の時間的ネットワークからの学習の可能性と、観測されていないネットワークへ移行する能力について検討している。 これを実現するために,複数の時間ネットワークから学習する新しい事前学習手法であるTemporal Multi-network Training MiNTを導入する。 84の時間的トランザクションネットワークの新たなコレクションにより、最大64のネットワーク上でTGLモデルを事前訓練し、20の未確認ネットワークへの転送性を評価する。 注目すべきは、MiNTはゼロショット推論で最先端の結果を達成し、各ネットワークで個別に訓練されたモデルを上回ることである。 さらに,事前学習ネットワークの増加は転送性能を著しく向上させることを示した。 この研究は、TGLにおけるマルチネットワーク事前トレーニングの重要な可能性を強調した、テンポラルグラフ基礎モデルの開発の基礎となる。

関連論文リスト

• NetFlowGen: Leveraging Generative Pre-training for Network Traffic Dynamics [72.95483148058378]
  我々は,NetFlowレコードからのトラフィックデータのみを用いて,トラフィックダイナミクスをキャプチャする汎用機械学習モデルを事前学習することを提案する。 ネットワーク特徴表現の統一,未ラベルの大規模トラフィックデータ量からの学習,DDoS攻撃検出における下流タスクのテストといった課題に対処する。
  論文  参考訳（メタデータ） (2024-12-30T00:47:49Z)
• Towards a graph-based foundation model for network traffic analysis [3.0558245652654907]
  基礎モデルはネットワークトラフィックの複雑さを把握でき、最小限の微調整で特定のタスクや環境に適応できる。 従来のアプローチではトークン化ヘックスレベルのパケットデータを使用していた。 本稿では,フローレベルでグラフベースの新しい代替案を提案する。
  論文  参考訳（メタデータ） (2024-09-12T15:04:34Z)
• FourierGNN: Rethinking Multivariate Time Series Forecasting from a Pure Graph Perspective [48.00240550685946]
  現在の最先端グラフニューラルネットワーク(GNN)ベースの予測手法は、通常、シリーズ間(空間)のダイナミックスとシリーズ内(時間)の依存関係をキャプチャするために、グラフネットワーク(GCNなど)と時間ネットワーク(LSTMなど)の両方を必要とする。 提案するフーリエグラフ演算子(FGO)を積み重ねて,フーリエ空間で行列乗算を行うことにより,新しいフーリエグラフニューラルネットワーク(FourierGNN)を提案する。 7つのデータセットに対する実験は、より効率が良く、パラメータも少ないという優れた性能を示した。
  論文  参考訳（メタデータ） (2023-11-10T17:13:26Z)
• Sparsity exploitation via discovering graphical models in multi-variate time-series forecasting [1.2762298148425795]
  本稿では,グラフ生成モジュールとGNN予測モジュールを含む分離学習手法を提案する。 まず、Graphical Lasso(またはGraphLASSO)を使用して、データから空間パターンを直接利用してグラフ構造を構築します。 次に、これらのグラフ構造と入力データをGCRN(Graph Convolutional Recurrent Network)に適合させて予測モデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-06-29T16:48:00Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Scaling Up Dynamic Graph Representation Learning via Spiking Neural Networks [23.01100055999135]
  時間グラフの時間的および構造的パターンを効率的に捉えるために,スケーラブルなフレームワークであるSpikeNetを提案する。 RNNの代替として、SNNは明らかにグラフ力学をニューロンのスパイクトレインとしてモデル化している。 SpikeNetは、パラメータや計算オーバーヘッドが大幅に少ない大きな時間グラフに一般化する。
  論文  参考訳（メタデータ） (2022-08-15T09:22:15Z)
• The Multiple Subnetwork Hypothesis: Enabling Multidomain Learning by Isolating Task-Specific Subnetworks in Feedforward Neural Networks [0.0]
  我々は,未使用の重み付きネットワークがその後のタスクを学習するための方法論とネットワーク表現構造を同定する。 提案手法を用いてトレーニングされたネットワークは,タスクのパフォーマンスを犠牲にすることなく,あるいは破滅的な忘れを伴わずに,複数のタスクを学習できることを示す。
  論文  参考訳（メタデータ） (2022-07-18T15:07:13Z)
• Spatial-Temporal Adaptive Graph Convolution with Attention Network for Traffic Forecasting [4.1700160312787125]
  交通予測のための新しいネットワークである空間時間適応グラフ畳み込み(STAAN)を提案する。 まず,GCN処理中に事前に定義された行列を使わずに適応的依存行列を採用し,ノード間の依存性を推定する。 第2に,グローバルな依存のために設計されたグラフアテンションネットワークに基づくPWアテンションと,空間ブロックとしてのGCNを統合した。
  論文  参考訳（メタデータ） (2022-06-07T09:08:35Z)
• Invertible Neural Networks for Graph Prediction [22.140275054568985]
  本研究では,ディープ・インバーチブル・ニューラルネットワークを用いた条件生成について述べる。 私たちの目標は,前処理と後処理の予測と生成を同時に行うことにあるので,エンドツーエンドのトレーニングアプローチを採用しています。
  論文  参考訳（メタデータ） (2022-06-02T17:28:33Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Time-Distributed Feature Learning in Network Traffic Classification for Internet of Things [3.1744605242927797]
  本稿では,トラフィックデータを一連の画像として扱う新しいネットワークデータ表現を提案する。 ネットワークデータは、時間分散(TD)機能学習を利用するビデオストリームとして実現される。 実験結果から,ネットワーク分類性能を学習するTD機能は,性能を10%向上させることがわかった。
  論文  参考訳（メタデータ） (2021-09-29T20:01:40Z)
• Temporal Graph Network Embedding with Causal Anonymous Walks Representations [54.05212871508062]
  本稿では,時間グラフネットワークに基づく動的ネットワーク表現学習のための新しいアプローチを提案する。 評価のために、時間的ネットワーク埋め込みの評価のためのベンチマークパイプラインを提供する。 欧州の大手銀行が提供した実世界のダウンストリームグラフ機械学習タスクにおいて、我々のモデルの適用性と優れた性能を示す。
  論文  参考訳（メタデータ） (2021-08-19T15:39:52Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Graph-Based Neural Network Models with Multiple Self-Supervised Auxiliary Tasks [79.28094304325116]
  グラフ畳み込みネットワークは、構造化されたデータポイント間の関係をキャプチャするための最も有望なアプローチである。 マルチタスク方式でグラフベースニューラルネットワークモデルを学習するための3つの新しい自己教師付き補助タスクを提案する。
  論文  参考訳（メタデータ） (2020-11-14T11:09:51Z)
• Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
  我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。 私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。 提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
  論文  参考訳（メタデータ） (2020-09-24T15:40:55Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)
• Learning to Extrapolate Knowledge: Transductive Few-shot Out-of-Graph Link Prediction [69.1473775184952]
  数発のアウトオブグラフリンク予測という現実的な問題を導入する。 我々は,新しいメタ学習フレームワークによってこの問題に対処する。 我々は,知識グラフの補完と薬物と薬物の相互作用予測のために,複数のベンチマークデータセット上でモデルを検証した。
  論文  参考訳（メタデータ） (2020-06-11T17:42:46Z)
• Modeling Dynamic Heterogeneous Network for Link Prediction using Hierarchical Attention with Temporal RNN [16.362525151483084]
  我々はDyHATRと呼ばれる新しい動的ヘテロジニアスネットワーク埋め込み法を提案する。 階層的な注意を使って異質な情報を学習し、進化パターンを捉えるために時間的注意を伴う繰り返しニューラルネットワークを組み込む。 リンク予測のための4つの実世界のデータセットに対して,本手法をベンチマークした。
  論文  参考訳（メタデータ） (2020-04-01T17:16:47Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。