論文の概要: InferTurbo: A Scalable System for Boosting Full-graph Inference of Graph Neural Network over Huge Graphs

• arxiv url: http://arxiv.org/abs/2307.00228v1
• Date: Sat, 1 Jul 2023 05:23:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-05 17:23:57.089366
• Title: InferTurbo: A Scalable System for Boosting Full-graph Inference of Graph Neural Network over Huge Graphs
• Title（参考訳）: InferTurbo:巨大なグラフ上のグラフニューラルネットワークのフルグラフ推論を促進するスケーラブルシステム
• Authors: Dalong Zhang, Xianzheng Song, Zhiyang Hu, Yang Li, Miao Tao, Binbin Hu, Lin Wang, Zhiqiang Zhang, Jun Zhou
• Abstract要約: 本稿では,産業シナリオにおけるGNN推論タスクの促進を目的としたInferというシステムを提案する。 シンク・ライク・ア・頂点の哲学に触発されたGASのようなスキーマは、GNN推論の計算パラダイムとデータフローを記述するために提案される。 本システムは,エッジが多数あるいくつかのハブノードを含むグラフ上の推論タスクに対して,堅牢かつ効率的である。
• 参考スコア（独自算出の注目度）: 14.97743380650934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: GNN inference is a non-trivial task, especially in industrial scenarios with giant graphs, given three main challenges, i.e., scalability tailored for full-graph inference on huge graphs, inconsistency caused by stochastic acceleration strategies (e.g., sampling), and the serious redundant computation issue. To address the above challenges, we propose a scalable system named InferTurbo to boost the GNN inference tasks in industrial scenarios. Inspired by the philosophy of ``think-like-a-vertex", a GAS-like (Gather-Apply-Scatter) schema is proposed to describe the computation paradigm and data flow of GNN inference. The computation of GNNs is expressed in an iteration manner, in which a vertex would gather messages via in-edges and update its state information by forwarding an associated layer of GNNs with those messages and then send the updated information to other vertexes via out-edges. Following the schema, the proposed InferTurbo can be built with alternative backends (e.g., batch processing system or graph computing system). Moreover, InferTurbo introduces several strategies like shadow-nodes and partial-gather to handle nodes with large degrees for better load balancing. With InferTurbo, GNN inference can be hierarchically conducted over the full graph without sampling and redundant computation. Experimental results demonstrate that our system is robust and efficient for inference tasks over graphs containing some hub nodes with many adjacent edges. Meanwhile, the system gains a remarkable performance compared with the traditional inference pipeline, and it can finish a GNN inference task over a graph with tens of billions of nodes and hundreds of billions of edges within 2 hours.
• Abstract（参考訳）: GNN推論は、特に巨大なグラフを持つ産業シナリオでは、巨大なグラフ上のフルグラフ推論に適したスケーラビリティ、確率的加速度戦略(サンプリングなど)による不整合、深刻な冗長な計算問題という3つの主要な課題を負う。 以上の課題に対処するため,産業シナリオにおけるGNN推論タスクを強化するために,InferTurboというスケーラブルなシステムを提案する。 GNN推論の計算パラダイムとデータフローを記述するため,GAS(Gather-Apply-Scatter)スキーマである‘think-like-a-vertex’の思想に触発された。 GNNの計算は反復的に表現され、頂点はエッジを介してメッセージを収集し、それらのメッセージと関連するGNNの層を転送して状態情報を更新し、その更新情報を他の頂点に送信する。 スキーマに従って提案されたInferTurboは、代替バックエンド(バッチ処理システムやグラフコンピューティングシステムなど)で構築することができる。 さらにinferturboでは,ロードバランシングを改善するために,シャドウノードや部分ガザといったいくつかの戦略を導入している。 InferTurboでは、サンプリングや冗長な計算をすることなく、全グラフ上でGNN推論を階層的に行うことができる。 実験の結果,多数のエッジを持つハブノードを含むグラフ上でのロバストで効率的な推論が可能となった。 一方、システムは従来の推論パイプラインと比較して顕著なパフォーマンスを得ており、2時間以内に数千億のノードと数十億のエッジを持つグラフ上でGNN推論タスクを終了することができる。

関連論文リスト

• GLISP: A Scalable GNN Learning System by Exploiting Inherent Structural Properties of Graphs [5.410321469222541]
  産業規模グラフのためのサンプリングベースGNN学習システムであるGLISPを提案する。 GLISPは、グラフパーティショナ、グラフサンプリングサービス、グラフ推論エンジンの3つのコアコンポーネントで構成されている。 実験の結果、GLISPはトレーニングと推論タスクのために既存のGNNシステムよりも最大6.53タイム、70.77タイムのスピードアップを達成した。
  論文  参考訳（メタデータ） (2024-01-06T02:59:24Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Parallel and Distributed Graph Neural Networks: An In-Depth Concurrency Analysis [28.464210819376593]
  グラフニューラルネットワーク(GNN)は、ディープラーニングにおいて最も強力なツールのひとつだ。 ノード分類、グラフ分類、リンク予測などの非構造化ネットワーク上の複雑な問題を高精度に解決する。 しかし、GNNの推論とトレーニングは複雑であり、不規則なグラフ処理の特徴と密度と正規な計算を一意に組み合わせている。 この複雑さは、現代の大規模並列アーキテクチャ上でGNNを効率的に実行することを非常に困難にしている。
  論文  参考訳（メタデータ） (2022-05-19T17:11:45Z)
• VQ-GNN: A Universal Framework to Scale up Graph Neural Networks using Vector Quantization [70.8567058758375]
  VQ-GNNは、Vector Quantization(VQ)を使用して、パフォーマンスを損なうことなく、畳み込みベースのGNNをスケールアップするための普遍的なフレームワークである。 我々のフレームワークは,グラフ畳み込み行列の低ランク版と組み合わせた量子化表現を用いて,GNNの「隣の爆発」問題を回避する。
  論文  参考訳（メタデータ） (2021-10-27T11:48:50Z)
• GNNAutoScale: Scalable and Expressive Graph Neural Networks via Historical Embeddings [51.82434518719011]
  GNNAutoScale(GAS)は、任意のメッセージパスGNNを大規模グラフにスケールするためのフレームワークである。 ガスは、前回のトレーニングの繰り返しから過去の埋め込みを利用して計算グラフのサブツリー全体を掘り起こします。 ガスは大規模グラフ上で最先端のパフォーマンスに達する。
  論文  参考訳（メタデータ） (2021-06-10T09:26:56Z)
• Learning to Drop: Robust Graph Neural Network via Topological Denoising [50.81722989898142]
  グラフニューラルネットワーク(GNN)のロバスト性および一般化性能を向上させるために,パラメータ化トポロジカルデノイングネットワークであるPTDNetを提案する。 PTDNetは、パラメータ化されたネットワークでスパーシファイドグラフ内のエッジ数をペナル化することで、タスク非関連エッジを創出する。 PTDNetはGNNの性能を著しく向上させ,さらにノイズの多いデータセットでは性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-11-13T18:53:21Z)
• Distance Encoding: Design Provably More Powerful Neural Networks for Graph Representation Learning [63.97983530843762]
  グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。 GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。 より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。 本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
  論文  参考訳（メタデータ） (2020-08-31T23:15:40Z)
• Hierarchical Representation Learning in Graph Neural Networks with Node Decimation Pooling [31.812988573924674]
  グラフニューラルネットワーク(GNN)では、プール演算子は入力グラフの局所的な要約を計算し、そのグローバルな特性をキャプチャする。 グラフトポロジ全体を保存しながら粗いグラフを生成するGNNのためのプール演算子であるNode Decimation Pooling (NDP)を提案する。 NDPは、最先端のグラフプーリング演算子よりも効率的であり、同時に、様々なグラフ分類タスクにおける競合性能にも達する。
  論文  参考訳（メタデータ） (2019-10-24T21:42:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。