論文の概要: No Need to Look Back: An Efficient and Scalable Approach for Temporal Network Representation Learning

• arxiv url: http://arxiv.org/abs/2402.01964v1
• Date: Sat, 3 Feb 2024 00:12:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 23:15:36.149691
• Title: No Need to Look Back: An Efficient and Scalable Approach for Temporal Network Representation Learning
• Title（参考訳）: 振り返る必要がない: 時間的ネットワーク表現学習のための効率的でスケーラブルなアプローチ
• Authors: Yuhong Luo and Pan Li
• Abstract要約: 本稿では、新しい効率的なTGRLフレームワーク、No-Looking-Back(NLB)を紹介する。 NLBは「前向きの最近のサンプリング」戦略を採用しており、歴史的相互作用のバックトラックの必要性を回避している。 経験的評価は、NLBがリンク予測とノード分類の精度において最先端の手法と一致するか、あるいは超えていることを示している。
• 参考スコア（独自算出の注目度）: 9.218415145210715
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Temporal graph representation learning (TGRL) is crucial for modeling complex, dynamic systems in real-world networks. Traditional TGRL methods, though effective, suffer from high computational demands and inference latency. This is mainly induced by their inefficient sampling of temporal neighbors by backtracking the interaction history of each node when making model inference. This paper introduces a novel efficient TGRL framework, No-Looking-Back (NLB). NLB employs a "forward recent sampling" strategy, which bypasses the need for backtracking historical interactions. This strategy is implemented using a GPU-executable size-constrained hash table for each node, recording down-sampled recent interactions, which enables rapid response to queries with minimal inference latency. The maintenance of this hash table is highly efficient, with $O(1)$ complexity. NLB is fully compatible with GPU processing, maximizing programmability, parallelism, and power efficiency. Empirical evaluations demonstrate that NLB matches or surpasses state-of-the-art methods in accuracy for link prediction and node classification across six real-world datasets. Significantly, it is 1.32-4.40 $\times$ faster in training, 1.2-7.94 $\times$ more energy efficient, and 1.97-5.02 $\times$ more effective in reducing inference latency compared to the most competitive baselines. The link to the code: https://github.com/Graph-COM/NLB.
• Abstract（参考訳）: 時間グラフ表現学習(TGRL)は,実世界のネットワークにおける複雑な動的システムのモデリングに不可欠である。 従来のtgrlメソッドは有効ではあるが、高い計算要求と推論遅延に苦しむ。 これは主に、モデル推論を行う際に各ノードの相互作用履歴をバックトラックすることで、時間的近傍の非効率的なサンプリングによって引き起こされる。 本稿では,新しい効率的なTGRLフレームワークであるNo-Looking-Back(NLB)を紹介する。 NLBは「前向きの最近のサンプリング」戦略を採用しており、歴史的相互作用のバックトラックの必要性を回避している。 この戦略は、各ノードに対してGPU実行可能なサイズ制約付きハッシュテーブルを使用して実装され、ダウンサンプリングされた最近のインタラクションを記録し、最小の推論レイテンシを持つクエリへの迅速な応答を可能にする。 このハッシュテーブルのメンテナンスは非常に効率的で、$O(1)$の複雑さがある。 NLBはGPU処理と完全に互換性があり、プログラム可能性、並列性、電力効率を最大化する。 実証的な評価では、NLBは6つの実世界のデータセット間のリンク予測とノード分類の精度において最先端の手法と一致または超越している。 重要なことに、トレーニングの高速化は 1.32-4.40 $\times$、エネルギー効率は 1.2-7.94 $\times$、推論遅延の低減は 1.97-5.02 $\times$ である。 コードへのリンクは:https://github.com/Graph-COM/NLB。

関連論文リスト

• LoRANN: Low-Rank Matrix Factorization for Approximate Nearest Neighbor Search [4.194768796374315]
  本稿では,内積近似が多出力回帰問題であることを示す観測に基づく新しい教師付きスコア計算法を提案する。 実験の結果,提案手法はクエリ待ち時間とメモリ使用量の両方においてPQよりも優れていることがわかった。 また,クラスタリングに基づくANNライブラリであるLoRANNを導入する。
  論文  参考訳（メタデータ） (2024-10-24T17:13:39Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• Temporal Aggregation and Propagation Graph Neural Networks for Dynamic Representation [67.26422477327179]
  時間グラフは連続時間を通してノード間の動的相互作用を示す。 本研究では,周辺地域全体と時間的グラフ畳み込みの新たな手法を提案する。 提案するTAP-GNNは,予測性能とオンライン推論遅延の両面で,既存の時間グラフ手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-04-15T08:17:18Z)
• Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
  我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。 我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
  論文  参考訳（メタデータ） (2022-10-14T01:42:05Z)
• Learning to Solve Combinatorial Graph Partitioning Problems via Efficient Exploration [72.15369769265398]
  実験により、ECORDは最大カット問題に対するRLアルゴリズムのための新しいSOTAを実現する。 最も近い競合と比較して、ECORDは最適性ギャップを最大73%削減する。
  論文  参考訳（メタデータ） (2022-05-27T17:13:10Z)
• AEGNN: Asynchronous Event-based Graph Neural Networks [54.528926463775946]
  イベントベースのグラフニューラルネットワークは、標準のGNNを一般化して、イベントを"進化的"時間グラフとして処理する。 AEGNNは同期入力で容易に訓練でき、テスト時に効率的な「非同期」ネットワークに変換できる。
  論文  参考訳（メタデータ） (2022-03-31T16:21:12Z)
• Parallel Actors and Learners: A Framework for Generating Scalable RL Implementations [14.432131909590824]
  強化学習(Reinforcement Learning, RL)は、ロボット工学、ゲーム、医療などの応用分野において大きな成功を収めている。 現在の実装は、不規則なメモリアクセスや同期オーバーヘッドといった問題により、パフォーマンスが劣っている。 マルチコアシステム上でスケーラブルな強化学習を実現するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-03T21:00:53Z)
• Combining Label Propagation and Simple Models Out-performs Graph Neural Networks [52.121819834353865]
  多くの標準的なトランスダクティブノード分類ベンチマークでは、最先端のGNNの性能を超えたり、一致させることができる。 これをC&S(Correct and Smooth)と呼ぶ。 我々のアプローチは、様々なベンチマークで最先端のGNNの性能を上回るか、ほぼ一致している。
  論文  参考訳（メタデータ） (2020-10-27T02:10:52Z)
• Accurate, Efficient and Scalable Training of Graph Neural Networks [9.569918335816963]
  グラフニューラルネットワーク(GNN)は、グラフ上にノード埋め込みを生成する強力なディープラーニングモデルである。 効率的でスケーラブルな方法でトレーニングを実行することは依然として困難です。 本稿では,最先端のミニバッチ手法と比較して,トレーニング負荷を桁違いに削減する新しい並列トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-05T22:06:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。