論文の概要: Deal: Distributed End-to-End GNN Inference for All Nodes

• arxiv url: http://arxiv.org/abs/2503.02960v1
• Date: Tue, 04 Mar 2025 19:35:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 15:51:02.472170
• Title: Deal: Distributed End-to-End GNN Inference for All Nodes
• Title（参考訳）: ディール:すべてのノードに対する分散エンドツーエンドGNN推論
• Authors: Shiyang Chen, Xiang Song, Vasiloudis Theodore, Hang Liu,
• Abstract要約: Dealは、マルチビリオンエッジを持つグラフのすべてのノードに対するエンドツーエンドの推論専用の分散GNN推論システムである。 Dealは、実世界のベンチマークデータセットのエンドツーエンドの推論時間を最大7.70倍削減する。
• 参考スコア（独自算出の注目度）: 10.337569020872094
• License:
• Abstract: Graph Neural Networks (GNNs) are a new research frontier with various applications and successes. The end-to-end inference for all nodes, is common for GNN embedding models, which are widely adopted in applications like recommendation and advertising. While sharing opportunities arise in GNN tasks (i.e., inference for a few nodes and training), the potential for sharing in full graph end-to-end inference is largely underutilized because traditional efforts fail to fully extract sharing benefits due to overwhelming overheads or excessive memory usage. This paper introduces Deal, a distributed GNN inference system that is dedicated to end-to-end inference for all nodes for graphs with multi-billion edges. First, we unveil and exploit an untapped sharing opportunity during sampling, and maximize the benefits from sharing during subsequent GNN computation. Second, we introduce memory-saving and communication-efficient distributed primitives for lightweight 1-D graph and feature tensor collaborative partitioning-based distributed inference. Third, we introduce partitioned, pipelined communication and fusing feature preparation with the first GNN primitive for end-to-end inference. With Deal, the end-to-end inference time on real-world benchmark datasets is reduced up to 7.70 x and the graph construction time is reduced up to 21.05 x, compared to the state-of-the-art.
• Abstract（参考訳）: Graph Neural Networks(GNN)は、さまざまなアプリケーションと成功の新たな研究フロンティアである。 すべてのノードに対するエンドツーエンドの推論は、GNN埋め込みモデルに共通しており、レコメンデーションや広告といったアプリケーションで広く採用されている。 共有の機会はGNNタスク(ノード数とトレーニング数)で生じるが、完全なグラフのエンドツーエンド推論で共有する可能性は、従来の取り組みが過剰なオーバーヘッドや過剰なメモリ使用による共有のメリットを完全に取り出すことができないため、ほとんど利用されていない。 本稿では,マルチビリオンエッジを持つグラフのすべてのノードに対して,エンドツーエンドの推論専用の分散GNN推論システムであるDealを紹介する。 まず、サンプリング中に未使用の共有機会を公開・活用し、その後のGNN計算における共有のメリットを最大化する。 第二に、軽量1次元グラフのためのメモリ節約と通信効率のよい分散プリミティブを導入し、テンソル協調パーティショニングに基づく分散推論を提案する。 第3に、エンドツーエンド推論のための最初のGNNプリミティブを用いて、分割されたパイプライン通信と融合機能の準備を導入する。 Dealでは、実世界のベンチマークデータセットのエンドツーエンドの推論時間を7.70倍に削減し、グラフ構築時間を21.05倍に短縮する。

関連論文リスト

• A Manifold Perspective on the Statistical Generalization of Graph Neural Networks [84.01980526069075]
  我々は、スペクトル領域の多様体からサンプリングされたグラフ上のGNNの統計的一般化理論を確立するために多様体の視点を取る。 我々はGNNの一般化境界が対数スケールのグラフのサイズとともに線形に減少し、フィルタ関数のスペクトル連続定数とともに線形的に増加することを証明した。
  論文  参考訳（メタデータ） (2024-06-07T19:25:02Z)
• InferTurbo: A Scalable System for Boosting Full-graph Inference of Graph Neural Network over Huge Graphs [14.97743380650934]
  本稿では,産業シナリオにおけるGNN推論タスクの促進を目的としたInferというシステムを提案する。 シンク・ライク・ア・頂点の哲学に触発されたGASのようなスキーマは、GNN推論の計算パラダイムとデータフローを記述するために提案される。 本システムは,エッジが多数あるいくつかのハブノードを含むグラフ上の推論タスクに対して,堅牢かつ効率的である。
  論文  参考訳（メタデータ） (2023-07-01T05:23:28Z)
• Graph Ladling: Shockingly Simple Parallel GNN Training without Intermediate Communication [100.51884192970499]
  GNNは、グラフを学習するニューラルネットワークの強力なファミリーである。 GNNのスケーリングは、肥大化または拡大によって、不健康な勾配、過度なスムースメント、情報のスカッシングといった問題に悩まされる。 本稿では,現在のGNNの深層化や拡張ではなく,GNNに適したモデルスープをデータ中心の視点で表現することを提案する。
  論文  参考訳（メタデータ） (2023-06-18T03:33:46Z)
• SplitGNN: Splitting GNN for Node Classification with Heterogeneous Attention [29.307331758493323]
  グラフ計算のための分割学習型グラフニューラルネットワーク(SplitGNN)を提案する。 我々のSplitGNNは、孤立した異種地区を協調的に利用できるようにする。 2つの標準公開データセットと実世界のデータセットのノード分類タスクにおけるSplitGNNの有効性を示す。
  論文  参考訳（メタデータ） (2023-01-27T12:08:44Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)
• Bi-GCN: Binary Graph Convolutional Network [57.733849700089955]
  ネットワークパラメータと入力ノードの特徴を二項化するバイナリグラフ畳み込みネットワーク(Bi-GCN)を提案する。 我々のBi-GCNは、ネットワークパラメータと入力データの両方で平均30倍のメモリ消費を削減でき、推論速度を平均47倍に加速できる。
  論文  参考訳（メタデータ） (2020-10-15T07:26:23Z)
• Distance Encoding: Design Provably More Powerful Neural Networks for Graph Representation Learning [63.97983530843762]
  グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。 GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。 より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。 本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
  論文  参考訳（メタデータ） (2020-08-31T23:15:40Z)
• Scaling Graph Neural Networks with Approximate PageRank [64.92311737049054]
  GNNにおける情報拡散の効率的な近似を利用したPPRGoモデルを提案する。 高速であることに加えて、PPRGoは本質的にスケーラブルであり、業界設定で見られるような大規模なデータセットに対して、自明に並列化することができる。 このグラフのすべてのノードに対するPPRGoのトレーニングとラベルの予測には1台のマシンで2分未満で、同じグラフ上の他のベースラインをはるかに上回ります。
  論文  参考訳（メタデータ） (2020-07-03T09:30:07Z)
• Generalization and Representational Limits of Graph Neural Networks [46.20253808402385]
  ローカル情報に完全に依存するグラフニューラルネットワーク(GNN)では,いくつかの重要なグラフ特性を計算できないことを示す。 メッセージパッシングGNNに対する最初のデータ依存一般化境界を提供する。 私たちのバウンダリは、既存のVC次元ベースのGNN保証よりもはるかに厳格で、リカレントニューラルネットワークのRademacherバウンダリと同等です。
  論文  参考訳（メタデータ） (2020-02-14T18:10:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。