論文の概要: NeutronOrch: Rethinking Sample-based GNN Training under CPU-GPU Heterogeneous Environments

• arxiv url: http://arxiv.org/abs/2311.13225v1
• Date: Wed, 22 Nov 2023 08:26:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 15:41:29.500894
• Title: NeutronOrch: Rethinking Sample-based GNN Training under CPU-GPU Heterogeneous Environments
• Title（参考訳）: NeutronOrch: CPU-GPU異種環境下でのサンプルベースGNNトレーニングの再考
• Authors: Xin Ai, Qiange Wang, Chunyu Cao, Yanfeng Zhang, Chaoyi Chen, Hao Yuan, Yu Gu, Ge Yu
• Abstract要約: 我々は,階層型タスクオーケストレーションを組み込んだサンプルベースGNNトレーニングシステムであるNeurotronOrchを提案する。 最先端のGNNシステムと比較すると、NeurotronOrchは最大4.61倍の性能向上を達成できる。
• 参考スコア（独自算出の注目度）: 19.65047604468417
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) have demonstrated outstanding performance in various applications. Existing frameworks utilize CPU-GPU heterogeneous environments to train GNN models and integrate mini-batch and sampling techniques to overcome the GPU memory limitation. In CPU-GPU heterogeneous environments, we can divide sample-based GNN training into three steps: sample, gather, and train. Existing GNN systems use different task orchestrating methods to employ each step on CPU or GPU. After extensive experiments and analysis, we find that existing task orchestrating methods fail to fully utilize the heterogeneous resources, limited by inefficient CPU processing or GPU resource contention. In this paper, we propose NeutronOrch, a system for sample-based GNN training that incorporates a layer-based task orchestrating method and ensures balanced utilization of the CPU and GPU. NeutronOrch decouples the training process by layer and pushes down the training task of the bottom layer to the CPU. This significantly reduces the computational load and memory footprint of GPU training. To avoid inefficient CPU processing, NeutronOrch only offloads the training of frequently accessed vertices to the CPU and lets GPU reuse their embeddings with bounded staleness. Furthermore, NeutronOrch provides a fine-grained pipeline design for the layer-based task orchestrating method, fully overlapping different tasks on heterogeneous resources while strictly guaranteeing bounded staleness. The experimental results show that compared with the state-of-the-art GNN systems, NeutronOrch can achieve up to 4.61x performance speedup.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は様々なアプリケーションで優れた性能を示している。 既存のフレームワークは、gnnモデルをトレーニングするためにcpu-gpuヘテロジニアス環境を利用し、gpuメモリ制限を克服するためにミニバッチとサンプリング技術を統合する。 CPU-GPUヘテロジニアス環境では、サンプルベースのGNNトレーニングを、サンプル、コレクション、トレーニングの3つのステップに分けることができます。 既存のGNNシステムでは、CPUやGPUの各ステップを使用するために異なるタスクオーケストレーション手法を使用している。 大規模な実験と分析の結果、既存のタスクオーケストレーション手法では、非効率なCPU処理やGPUリソースの競合によって制限された異種資源を十分に活用できないことがわかった。 本稿では,階層型タスクオーケストレーション手法を取り入れ,CPUとGPUのバランスよく利用するためのサンプルベースGNNトレーニングシステムであるNeurotronOrchを提案する。 neutronorchはトレーニングプロセスをレイヤ単位で分離し、下位層のトレーニングタスクをcpuにプッシュダウンする。 これにより、GPUトレーニングの計算負荷とメモリフットプリントが大幅に削減される。 非効率なCPU処理を避けるため、NeutronOrchは頻繁にアクセスされる頂点のトレーニングをCPUにオフロードするだけで、GPUはバウンドスタルネスで埋め込みを再利用できる。 さらに、trontronorchは層ベースのタスクオーケストレーション法のためのきめ細かいパイプライン設計を提供し、異なるリソース上の異なるタスクを完全に重複させながら、境界的な停滞を厳密に保証する。 実験結果から、現在最先端のGNNシステムと比較すると、NeurotronOrchは最大4.61倍の性能向上を達成できることがわかった。

関連論文リスト

• DistTGL: Distributed Memory-Based Temporal Graph Neural Network Training [18.52206409432894]
  DistTGLは、分散GPUクラスタ上でメモリベースのTGNNをトレーニングするための、効率的でスケーラブルなソリューションである。 実験では、DistTGLはほぼ直線収束のスピードアップを実現し、最先端のシングルマシン法を14.5%、トレーニングスループットは10.17倍に向上した。
  論文  参考訳（メタデータ） (2023-07-14T22:52:27Z)
• Accelerating Sampling and Aggregation Operations in GNN Frameworks with GPU Initiated Direct Storage Accesses [9.773813896475264]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習するための強力なツールとして登場している。 大規模グラフ上でのGNNのトレーニングは、効率的なデータアクセスとデータ移動方法が欠如しているため、依然として大きな課題である。 大規模グラフに対するGPU指向GNNトレーニングを実現するために,GPU Initiated Direct Storage Access (GIDS) データローダを提案する。
  論文  参考訳（メタデータ） (2023-06-28T17:22:15Z)
• Quiver: Supporting GPUs for Low-Latency, High-Throughput GNN Serving with Workload Awareness [4.8412870364335925]
  Quiverは、低レイテンシと高スループットを備えた分散GPUベースのGNNサービスシステムである。 最新のGNN手法と比較して,Quiverは8倍のスループットで最大35倍のレイテンシを実現している。
  論文  参考訳（メタデータ） (2023-05-18T10:34:23Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
  グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。 我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。 本稿では,これらのボトルネックを緩和する一連の改良点について述べる。 また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
  論文  参考訳（メタデータ） (2021-10-16T02:41:35Z)
• Global Neighbor Sampling for Mixed CPU-GPU Training on Giant Graphs [26.074384252289384]
  グラフニューラルネットワーク(GNN)は、グラフデータから学習するための強力なツールであり、様々なアプリケーションで広く利用されている。 大規模なグラフ上でのミニバッチトレーニングを実現するためのサンプリングベース手法が数多く提案されているが、これらの手法は真の産業規模のグラフ上では機能していない。 我々は,CPU-GPUの混合学習に特化して,GNNを巨大なグラフ上でトレーニングすることを目的としたグローバル近隣サンプリングを提案する。
  論文  参考訳（メタデータ） (2021-06-11T03:30:25Z)
• DistGNN: Scalable Distributed Training for Large-Scale Graph Neural Networks [58.48833325238537]
  大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。 本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。 4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
  論文  参考訳（メタデータ） (2021-04-14T08:46:35Z)
• Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
  ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。 本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
  論文  参考訳（メタデータ） (2021-02-08T05:55:47Z)
• Hybrid Models for Learning to Branch [81.93868699246214]
  我々はCPUマシン上で効率的な分岐を行うための新しいハイブリッドアーキテクチャを提案する。 提案アーキテクチャは,GNNの表現力と分岐処理のための計算コストの低い多層パーセプトロン(MLP)を組み合わせる。
  論文  参考訳（メタデータ） (2020-06-26T21:03:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。