論文の概要: Scalable and Efficient Temporal Graph Representation Learning via Forward Recent Sampling

• arxiv url: http://arxiv.org/abs/2402.01964v2
• Date: Mon, 25 Nov 2024 16:41:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:14:49.273114
• Title: Scalable and Efficient Temporal Graph Representation Learning via Forward Recent Sampling
• Title（参考訳）: フォワード最近のサンプリングによるスケーラブルで効率的な時間グラフ表現学習
• Authors: Yuhong Luo, Pan Li,
• Abstract要約: 時間グラフ表現学習(TGRL)は,実世界のネットワークにおける動的システムのモデリングに不可欠である。 従来のTGRL法は、時間的隣人の非効率なサンプリングのため、重要な計算課題や推論遅延に直面していることが多い。 本稿では,新しいTGRLフレームワークであるNo-Looking-Back (NLB)を提案する。
• 参考スコア（独自算出の注目度）: 7.803172953008744
• License:
• Abstract: Temporal graph representation learning (TGRL) is essential for modeling dynamic systems in real-world networks. However, traditional TGRL methods, despite their effectiveness, often face significant computational challenges and inference delays due to the inefficient sampling of temporal neighbors. Conventional sampling methods typically involve backtracking through the interaction history of each node. In this paper, we propose a novel TGRL framework, No-Looking-Back (NLB), which overcomes these challenges by introducing a forward recent sampling strategy. This strategy eliminates the need to backtrack through historical interactions by utilizing a GPU-executable, size-constrained hash table for each node. The hash table records a down-sampled set of recent interactions, enabling rapid query responses with minimal inference latency. The maintenance of this hash table is highly efficient, operating with $O(1)$ complexity. Fully compatible with GPU processing, NLB maximizes programmability, parallelism, and power efficiency. Empirical evaluations demonstrate that NLB not only matches or surpasses state-of-the-art methods in accuracy for tasks like link prediction and node classification across six real-world datasets but also achieves 1.32-4.40x faster training, 1.2-7.94x greater energy efficiency, and 1.63-12.95x lower inference latency compared to competitive baselines. The link to the code: https://github.com/Graph-COM/NLB.
• Abstract（参考訳）: 時間グラフ表現学習(TGRL)は,実世界のネットワークにおける動的システムのモデリングに不可欠である。 しかしながら、従来のTGRL法は、その有効性にもかかわらず、時間的隣人の非効率なサンプリングのため、しばしば重要な計算課題と推論遅延に直面している。 従来のサンプリング手法では、通常、各ノードの相互作用履歴をバックトラックする。 本稿では,新しいTGRLフレームワークであるNo-Looking-Back(NLB)を提案する。 この戦略では、各ノードに対してGPU実行可能でサイズに制約のあるハッシュテーブルを使用することで、過去のインタラクションを通じてバックトラックする必要がなくなる。 ハッシュテーブルは、最近のインタラクションのダウンサンプリングされたセットを記録し、最小の推論レイテンシで高速なクエリ応答を可能にする。 このハッシュテーブルのメンテナンスは非常に効率的で、$O(1)$の複雑さで動作します。 GPU処理と完全に互換性があるため、NLBはプログラム可能性、並列性、電力効率を最大化する。 実証的な評価では、NLBは6つの実世界のデータセット間のリンク予測やノード分類といったタスクの精度で最先端の手法に適合または超えるだけでなく、1.32-4.40倍の高速トレーニング、1.2-7.94倍のエネルギー効率、競争ベースラインに比べて1.63-12.95倍の推論遅延を達成している。 コードへのリンクは:https://github.com/Graph-COM/NLB。

関連論文リスト

• LoRANN: Low-Rank Matrix Factorization for Approximate Nearest Neighbor Search [4.194768796374315]
  本稿では,内積近似が多出力回帰問題であることを示す観測に基づく新しい教師付きスコア計算法を提案する。 実験の結果,提案手法はクエリ待ち時間とメモリ使用量の両方においてPQよりも優れていることがわかった。 また,クラスタリングに基づくANNライブラリであるLoRANNを導入する。
  論文  参考訳（メタデータ） (2024-10-24T17:13:39Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• Temporal Aggregation and Propagation Graph Neural Networks for Dynamic Representation [67.26422477327179]
  時間グラフは連続時間を通してノード間の動的相互作用を示す。 本研究では,周辺地域全体と時間的グラフ畳み込みの新たな手法を提案する。 提案するTAP-GNNは,予測性能とオンライン推論遅延の両面で,既存の時間グラフ手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-04-15T08:17:18Z)
• Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
  我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。 我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
  論文  参考訳（メタデータ） (2022-10-14T01:42:05Z)
• Learning to Solve Combinatorial Graph Partitioning Problems via Efficient Exploration [72.15369769265398]
  実験により、ECORDは最大カット問題に対するRLアルゴリズムのための新しいSOTAを実現する。 最も近い競合と比較して、ECORDは最適性ギャップを最大73%削減する。
  論文  参考訳（メタデータ） (2022-05-27T17:13:10Z)
• AEGNN: Asynchronous Event-based Graph Neural Networks [54.528926463775946]
  イベントベースのグラフニューラルネットワークは、標準のGNNを一般化して、イベントを"進化的"時間グラフとして処理する。 AEGNNは同期入力で容易に訓練でき、テスト時に効率的な「非同期」ネットワークに変換できる。
  論文  参考訳（メタデータ） (2022-03-31T16:21:12Z)
• Parallel Actors and Learners: A Framework for Generating Scalable RL Implementations [14.432131909590824]
  強化学習(Reinforcement Learning, RL)は、ロボット工学、ゲーム、医療などの応用分野において大きな成功を収めている。 現在の実装は、不規則なメモリアクセスや同期オーバーヘッドといった問題により、パフォーマンスが劣っている。 マルチコアシステム上でスケーラブルな強化学習を実現するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-03T21:00:53Z)
• Combining Label Propagation and Simple Models Out-performs Graph Neural Networks [52.121819834353865]
  多くの標準的なトランスダクティブノード分類ベンチマークでは、最先端のGNNの性能を超えたり、一致させることができる。 これをC&S(Correct and Smooth)と呼ぶ。 我々のアプローチは、様々なベンチマークで最先端のGNNの性能を上回るか、ほぼ一致している。
  論文  参考訳（メタデータ） (2020-10-27T02:10:52Z)
• Accurate, Efficient and Scalable Training of Graph Neural Networks [9.569918335816963]
  グラフニューラルネットワーク(GNN)は、グラフ上にノード埋め込みを生成する強力なディープラーニングモデルである。 効率的でスケーラブルな方法でトレーニングを実行することは依然として困難です。 本稿では,最先端のミニバッチ手法と比較して,トレーニング負荷を桁違いに削減する新しい並列トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-05T22:06:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。