論文の概要: GraphScale: A Framework to Enable Machine Learning over Billion-node Graphs

• arxiv url: http://arxiv.org/abs/2407.15452v1
• Date: Mon, 22 Jul 2024 08:09:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 15:40:55.062282
• Title: GraphScale: A Framework to Enable Machine Learning over Billion-node Graphs
• Title（参考訳）: GraphScale: 数十億のノードグラフで機械学習を可能にするフレームワーク
• Authors: Vipul Gupta, Xin Chen, Ruoyun Huang, Fanlong Meng, Jianjun Chen, Yujun Yan,
• Abstract要約: 本研究では,大規模グラフデータを分散的に保存・処理するための,教師付き学習と教師なし学習の両方のための統一的なフレームワークを提案する。 私たちの設計における重要な洞察は、データを保存する労働者とトレーニングを行う労働者の分離です。 実験の結果,GraphScaleはGNNとノード埋め込みの両方の分散トレーニングにおいて,最先端の手法よりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 6.418397511692011
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) have emerged as powerful tools for supervised machine learning over graph-structured data, while sampling-based node representation learning is widely utilized in unsupervised learning. However, scalability remains a major challenge in both supervised and unsupervised learning for large graphs (e.g., those with over 1 billion nodes). The scalability bottleneck largely stems from the mini-batch sampling phase in GNNs and the random walk sampling phase in unsupervised methods. These processes often require storing features or embeddings in memory. In the context of distributed training, they require frequent, inefficient random access to data stored across different workers. Such repeated inter-worker communication for each mini-batch leads to high communication overhead and computational inefficiency. We propose GraphScale, a unified framework for both supervised and unsupervised learning to store and process large graph data distributedly. The key insight in our design is the separation of workers who store data and those who perform the training. This separation allows us to decouple computing and storage in graph training, thus effectively building a pipeline where data fetching and data computation can overlap asynchronously. Our experiments show that GraphScale outperforms state-of-the-art methods for distributed training of both GNNs and node embeddings. We evaluate GraphScale both on public and proprietary graph datasets and observe a reduction of at least 40% in end-to-end training times compared to popular distributed frameworks, without any loss in performance. While most existing methods don't support billion-node graphs for training node embeddings, GraphScale is currently deployed in production at TikTok enabling efficient learning over such large graphs.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ構造化データよりも機械学習を教師する強力なツールとして登場し、サンプリングベースのノード表現学習は教師なし学習に広く利用されている。 しかし、大規模なグラフ(例えば10億以上のノードを持つもの)の教師あり学習と教師なし学習において、スケーラビリティは依然として大きな課題である。 スケーラビリティのボトルネックは、GNNのミニバッチサンプリングフェーズと教師なし手法のランダムウォークサンプリングフェーズに大きく起因している。 これらのプロセスは、しばしば機能やメモリへの埋め込みを必要とする。 分散トレーニングのコンテキストでは、さまざまなワーカにまたがるデータに対して、頻繁で非効率なランダムアクセスを必要とする。 各ミニバッチに対する労働者間通信の繰り返しは、高い通信オーバーヘッドと計算効率の低下につながる。 大規模なグラフデータを分散的に保存・処理するための教師付き学習と教師なし学習の両方のための統合フレームワークであるGraphScaleを提案する。 私たちの設計における重要な洞察は、データを保存する労働者とトレーニングを行う労働者の分離です。 この分離により、グラフトレーニングで計算とストレージを分離し、データフェッチとデータ計算が非同期に重複するパイプラインを効果的に構築できます。 実験の結果,GraphScaleはGNNとノード埋め込みの両方の分散トレーニングにおいて,最先端の手法よりも優れていることがわかった。 GraphScaleを公開とプロプライエタリの両方のグラフデータセットで評価し、パフォーマンスを損なうことなく、人気のある分散フレームワークと比較して、エンドツーエンドのトレーニング時間の少なくとも40%削減を観測しました。 既存のほとんどのメソッドはノードの埋め込みをトレーニングするための数十億のノードグラフをサポートしていませんが、GraphScaleは現在、TikTokで本番環境にデプロイされています。

関連論文リスト

• GLISP: A Scalable GNN Learning System by Exploiting Inherent Structural Properties of Graphs [5.410321469222541]
  産業規模グラフのためのサンプリングベースGNN学習システムであるGLISPを提案する。 GLISPは、グラフパーティショナ、グラフサンプリングサービス、グラフ推論エンジンの3つのコアコンポーネントで構成されている。 実験の結果、GLISPはトレーニングと推論タスクのために既存のGNNシステムよりも最大6.53タイム、70.77タイムのスピードアップを達成した。
  論文  参考訳（メタデータ） (2024-01-06T02:59:24Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• Distributed Graph Embedding with Information-Oriented Random Walks [16.290803469068145]
  グラフ埋め込みはグラフノードを低次元ベクトルにマッピングし、機械学習タスクで広く採用されている。 数十億のエッジグラフを埋め込むためにスケール可能な,汎用的で分散された情報中心のランダムウォークベースのグラフ埋め込みフレームワークであるDistGERを提案する。 D DistGERは2.33x-129x加速、機械間通信の45%削減、下流タスクの10%改善を示す。
  論文  参考訳（メタデータ） (2023-03-28T03:11:21Z)
• Scalable Graph Convolutional Network Training on Distributed-Memory Systems [5.169989177779801]
  グラフ畳み込みネットワーク(GCN)はグラフの深層学習に広く利用されている。 グラフ上の畳み込み操作は不規則なメモリアクセスパターンを誘導するので、GCNトレーニングのためのメモリと通信効率の並列アルゴリズムを設計することはユニークな課題である。 本稿では,大規模プロセッサ数にスケールする並列トレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-09T17:51:13Z)
• Scaling R-GCN Training with Graph Summarization [71.06855946732296]
  リレーショナルグラフ畳み込みネットワーク(R-GCN)のトレーニングは、グラフのサイズに合わない。 本研究では,グラフの要約手法を用いてグラフを圧縮する実験を行った。 AIFB, MUTAG, AMデータセットについて妥当な結果を得た。
  論文  参考訳（メタデータ） (2022-03-05T00:28:43Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Distributed Graph Learning with Smooth Data Priors [61.405131495287755]
  本稿では,ノード上の信号観測からグラフを推論する分散グラフ学習アルゴリズムを提案する。 この結果から,分散手法は,推定グラフの精度を損なうことなく,集中型アルゴリズムよりも通信コストが低いことがわかった。
  論文  参考訳（メタデータ） (2021-12-11T00:52:02Z)
• GraphTheta: A Distributed Graph Neural Network Learning System With Flexible Training Strategy [5.466414428765544]
  新しい分散グラフ学習システムGraphThetaを紹介します。 複数のトレーニング戦略をサポートし、大規模グラフ上で効率的でスケーラブルな学習を可能にします。 この仕事は、文学における10億規模のネットワーク上で実施された最大のエッジアトリビュートGNN学習タスクを表します。
  論文  参考訳（メタデータ） (2021-04-21T14:51:33Z)
• Distributed Training of Graph Convolutional Networks using Subgraph Approximation [72.89940126490715]
  本稿では,グラフの複数の分割にまたがる失われる情報をサブグラフ近似スキームで緩和するトレーニング戦略を提案する。 サブグラフ近似アプローチは、分散トレーニングシステムが単一マシン精度で収束するのに役立つ。
  論文  参考訳（メタデータ） (2020-12-09T09:23:49Z)
• Scaling Graph Neural Networks with Approximate PageRank [64.92311737049054]
  GNNにおける情報拡散の効率的な近似を利用したPPRGoモデルを提案する。 高速であることに加えて、PPRGoは本質的にスケーラブルであり、業界設定で見られるような大規模なデータセットに対して、自明に並列化することができる。 このグラフのすべてのノードに対するPPRGoのトレーニングとラベルの予測には1台のマシンで2分未満で、同じグラフ上の他のベースラインをはるかに上回ります。
  論文  参考訳（メタデータ） (2020-07-03T09:30:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。