論文の概要: ReInc: Scaling Training of Dynamic Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2501.15348v1
• Date: Sat, 25 Jan 2025 23:16:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:54:22.612366
• Title: ReInc: Scaling Training of Dynamic Graph Neural Networks
• Title（参考訳）: ReInc: 動的グラフニューラルネットワークのスケーリングトレーニング
• Authors: Mingyu Guan, Saumia Singhal, Taesoo Kim, Anand Padmanabha Iyer,
• Abstract要約: ReIncは、大規模グラフ上で動的グラフニューラルネットワーク(DGNN)の効率的かつスケーラブルなトレーニングを可能にするように設計されたシステムである。 DGNNに固有のグラフニューラルネットワーク(GNN)とリカレントニューラルネットワーク(RNN)のユニークな組み合わせを活かした重要なイノベーションを紹介する。
• 参考スコア（独自算出の注目度）: 6.1592549031654364
• License:
• Abstract: Dynamic Graph Neural Networks (DGNNs) have gained widespread attention due to their applicability in diverse domains such as traffic network prediction, epidemiological forecasting, and social network analysis. In this paper, we present ReInc, a system designed to enable efficient and scalable training of DGNNs on large-scale graphs. ReInc introduces key innovations that capitalize on the unique combination of Graph Neural Networks (GNNs) and Recurrent Neural Networks (RNNs) inherent in DGNNs. By reusing intermediate results and incrementally computing aggregations across consecutive graph snapshots, ReInc significantly enhances computational efficiency. To support these optimizations, ReInc incorporates a novel two-level caching mechanism with a specialized caching policy aligned to the DGNN execution workflow. Additionally, ReInc addresses the challenges of managing structural and temporal dependencies in dynamic graphs through a new distributed training strategy. This approach eliminates communication overheads associated with accessing remote features and redistributing intermediate results. Experimental results demonstrate that ReInc achieves up to an order of magnitude speedup compared to state-of-the-art frameworks, tested across various dynamic GNN architectures and real-world graph datasets.
• Abstract（参考訳）: 動的グラフニューラルネットワーク(DGNN)は,交通ネットワーク予測や疫学予測,ソーシャルネットワーク解析など,さまざまな分野に適用可能であることから,広く注目を集めている。 本稿では,大規模グラフ上でのDGNNの効率的かつスケーラブルなトレーニングを可能にするシステムであるReIncを提案する。 ReIncは、DGNN固有のグラフニューラルネットワーク(GNN)とリカレントニューラルネットワーク(RNN)のユニークな組み合わせを活用する、重要なイノベーションを紹介している。 中間結果の再利用と連続したグラフスナップショット間の集約の漸進的な計算により、ReIncは計算効率を大幅に向上させる。 これらの最適化をサポートするため、ReIncはDGNNの実行ワークフローに合わせた特別なキャッシュポリシを備えた、2レベルキャッシュメカニズムを新たに導入した。 さらにReIncは、新しい分散トレーニング戦略を通じて、動的グラフにおける構造的および時間的依存関係を管理するという課題に対処する。 このアプローチは、リモート機能へのアクセスと中間結果の再配布に関連する通信オーバーヘッドを取り除く。 実験の結果,ReIncはさまざまな動的GNNアーキテクチャや実世界のグラフデータセットでテストされた最先端フレームワークと比較して,最大で1桁のスピードアップを実現していることがわかった。

関連論文リスト

• DTFormer: A Transformer-Based Method for Discrete-Time Dynamic Graph Representation Learning [38.53424185696828]
  離散時間動的グラフ(DTDG)の表現学習は、時間的に変化するエンティティとその進化する接続のダイナミクスをモデル化するために広く応用されている。 本稿では,従来の GNN+RNN フレームワークから Transformer ベースのアーキテクチャへ移行した DTDG のための表現学習手法 DTFormer を提案する。
  論文  参考訳（メタデータ） (2024-07-26T05:46:23Z)
• Gradient Transformation: Towards Efficient and Model-Agnostic Unlearning for Dynamic Graph Neural Networks [66.70786325911124]
  グラフアンラーニングは、ユーザのプライバシ保護と、望ましくないデータによるネガティブな影響軽減に不可欠なツールとして登場した。 DGNNの普及に伴い、動的グラフアンラーニングの実装を検討することが不可欠となる。 DGNNアンラーニングを実装するために,効率的,効率的,モデルに依存しない,事後処理手法を提案する。
  論文  参考訳（メタデータ） (2024-05-23T10:26:18Z)
• Continuous Spiking Graph Neural Networks [43.28609498855841]
  連続グラフニューラルネットワーク(CGNN)は、既存の離散グラフニューラルネットワーク(GNN)を一般化する能力によって注目されている。 本稿では,2階ODEを用いたCOS-GNNの高次構造について紹介する。 我々は、COS-GNNが爆発や消滅の問題を効果的に軽減し、ノード間の長距離依存関係を捕捉できるという理論的証明を提供する。
  論文  参考訳（メタデータ） (2024-04-02T12:36:40Z)
• LinkSAGE: Optimizing Job Matching Using Graph Neural Networks [12.088731514483104]
  本稿では、グラフニューラルネットワーク(GNN)を大規模パーソナライズされたジョブマッチングシステムに統合する革新的なフレームワークであるLinkSAGEを紹介する。 当社のアプローチは、数十億のノードとエッジを持つ、業界最大の、そして最も複雑な、新しい求人市場グラフに乗じています。 LinkSAGEの重要なイノベーションは、そのトレーニングと提供の方法論である。これは、不均一で進化するグラフ上の帰納的グラフ学習とエンコーダ-デコーダGNNモデルとを効果的に組み合わせている。
  論文  参考訳（メタデータ） (2024-02-20T23:49:25Z)
• ABC: Aggregation before Communication, a Communication Reduction Framework for Distributed Graph Neural Network Training and Effective Partition [0.0]
  グラフニューラルネットワーク(GNN)は、グラフ構造データに適したニューラルモデルであり、グラフ構造データの学習表現において優れた性能を示している。 本稿では,分散GNN訓練における通信複雑性について検討する。 グラフ変換プロセスの未知によりエッジ配置を制御できない動的グラフの場合,新しいパーティションパラダイムは特に理想的であることを示す。
  論文  参考訳（メタデータ） (2022-12-11T04:54:01Z)
• A Comprehensive Survey on Distributed Training of Graph Neural Networks [59.785830738482474]
  グラフニューラルネットワーク(GNN)は、幅広いアプリケーション分野において強力なアルゴリズムモデルであることが示されている。 GNNトレーニングを大規模かつ継続的なグラフにスケールアップするために、最も有望なソリューションは分散トレーニングである。 分散GNNトレーニングに関する研究の規模は、非常に広範であり、出版のペースは極めて速い。
  論文  参考訳（メタデータ） (2022-11-10T06:22:12Z)
• Spiking Variational Graph Auto-Encoders for Efficient Graph Representation Learning [10.65760757021534]
  本稿では,効率的なグラフ表現学習のためのSNNに基づく深層生成手法,すなわちSpking Variational Graph Auto-Encoders (S-VGAE)を提案する。 我々は,複数のベンチマークグラフデータセット上でリンク予測実験を行い,この結果から,グラフ表現学習における他のANNやSNNに匹敵する性能で,より少ないエネルギーを消費することを示した。
  論文  参考訳（メタデータ） (2022-10-24T12:54:41Z)
• ACE-HGNN: Adaptive Curvature Exploration Hyperbolic Graph Neural Network [72.16255675586089]
  本稿では、入力グラフと下流タスクに基づいて最適な曲率を適応的に学習する適応曲率探索ハイパーボリックグラフニューラルネットワークACE-HGNNを提案する。 複数の実世界のグラフデータセットの実験は、競争性能と優れた一般化能力を備えたモデル品質において、顕著で一貫したパフォーマンス改善を示す。
  論文  参考訳（メタデータ） (2021-10-15T07:18:57Z)
• Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
  本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。 これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-07T15:05:59Z)
• Policy-GNN: Aggregation Optimization for Graph Neural Networks [60.50932472042379]
  グラフニューラルネットワーク(GNN)は、局所的なグラフ構造をモデル化し、隣人からの情報を集約することで階層的なパターンを捉えることを目的としている。 複雑なグラフとスパースな特徴を与えられた各ノードに対して効果的なアグリゲーション戦略を開発することは難しい課題である。 本稿では,GNNのサンプリング手順とメッセージパッシングを複合学習プロセスにモデル化するメタ政治フレームワークであるPolicy-GNNを提案する。
  論文  参考訳（メタデータ） (2020-06-26T17:03:06Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。