論文の概要: Dorylus: Affordable, Scalable, and Accurate GNN Training with Distributed CPU Servers and Serverless Threads

• arxiv url: http://arxiv.org/abs/2105.11118v2
• Date: Tue, 25 May 2021 01:14:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-26 14:35:40.590942
• Title: Dorylus: Affordable, Scalable, and Accurate GNN Training with Distributed CPU Servers and Serverless Threads
• Title（参考訳）: Dorylus: 分散CPUサーバとサーバレススレッドによるGNNトレーニングの強化、スケーラブル化、高精度化
• Authors: John Thorpe, Yifan Qiao, Jonathan Eyolfson, Shen Teng, Guanzhou Hu, Zhihao Jia, Jinliang Wei, Keval Vora, Ravi Netravali, Miryung Kim, Guoqing Harry Xu
• Abstract要約: グラフニューラルネットワーク(GNN)は、構造化グラフデータの深層学習を可能にする。 DorylusはGNNをトレーニングするための分散システムである。 Dorylusはサーバレスコンピューティングを利用して、低コストでスケーラビリティを向上させることができる。
• 参考スコア（独自算出の注目度）: 14.125479738288893
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A graph neural network (GNN) enables deep learning on structured graph data. There are two major GNN training obstacles: 1) it relies on high-end servers with many GPUs which are expensive to purchase and maintain, and 2) limited memory on GPUs cannot scale to today's billion-edge graphs. This paper presents Dorylus: a distributed system for training GNNs. Uniquely, Dorylus can take advantage of serverless computing to increase scalability at a low cost. The key insight guiding our design is computation separation. Computation separation makes it possible to construct a deep, bounded-asynchronous pipeline where graph and tensor parallel tasks can fully overlap, effectively hiding the network latency incurred by Lambdas. With the help of thousands of Lambda threads, Dorylus scales GNN training to billion-edge graphs. Currently, for large graphs, CPU servers offer the best performance-per-dollar over GPU servers. Just using Lambdas on top of CPU servers offers up to 2.75x more performance-per-dollar than training only with CPU servers. Concretely, Dorylus is 1.22x faster and 4.83x cheaper than GPU servers for massive sparse graphs. Dorylus is up to 3.8x faster and 10.7x cheaper compared to existing sampling-based systems.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、構造化グラフデータの深層学習を可能にする。 主要なgnnトレーニングの障害は2つある: 1)多くのgpuを持つハイエンドサーバに依存しており、購入とメンテナンスに費用がかかる、2)gpu上のメモリ制限は今日の10億エッジグラフではスケールできない。 本稿では,GNNを学習するための分散システムDorylusについて述べる。 ユニークなことに、dorylusはサーバーレスコンピューティングを利用して、低コストでスケーラビリティを向上させることができる。 私たちの設計を導く重要な洞察は、計算の分離です。 計算分離により、グラフとテンソル並列タスクが完全に重複し、Lambdaが生み出すネットワーク遅延を効果的に隠蔽する、深い境界付き非同期パイプラインを構築することができる。 数千のLambdaスレッドの助けを借りて、DrylusはGNNトレーニングを10億のエッジグラフにスケールする。 現在、大規模なグラフでは、CPUサーバはGPUサーバーよりも最高のパフォーマンスを提供する。 CPUサーバ上でLambdaを使用すると、CPUサーバでのトレーニングよりも最大2.75倍パフォーマンスが向上する。 具体的には、dorylusは1.22倍高速で、大規模なスパースグラフ用のgpuサーバより4.83倍安くなる。 Dorylusは既存のサンプリングベースシステムに比べて最大3.8倍高速、10.7倍安価である。

関連論文リスト

• INR-Arch: A Dataflow Architecture and Compiler for Arbitrary-Order Gradient Computations in Implicit Neural Representation Processing [66.00729477511219]
  計算グラフとして表される関数を考えると、従来のアーキテクチャはn階勾配を効率的に計算する上で困難に直面している。 InR-Archは,n階勾配の計算グラフをハードウェア最適化データフローアーキテクチャに変換するフレームワークである。 1.8-4.8x と 1.5-3.6x の高速化を CPU と GPU のベースラインと比較した結果を示す。
  論文  参考訳（メタデータ） (2023-08-11T04:24:39Z)
• Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
  CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。 我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
  論文  参考訳（メタデータ） (2023-08-06T21:04:58Z)
• DistTGL: Distributed Memory-Based Temporal Graph Neural Network Training [18.52206409432894]
  DistTGLは、分散GPUクラスタ上でメモリベースのTGNNをトレーニングするための、効率的でスケーラブルなソリューションである。 実験では、DistTGLはほぼ直線収束のスピードアップを実現し、最先端のシングルマシン法を14.5%、トレーニングスループットは10.17倍に向上した。
  論文  参考訳（メタデータ） (2023-07-14T22:52:27Z)
• Quiver: Supporting GPUs for Low-Latency, High-Throughput GNN Serving with Workload Awareness [4.8412870364335925]
  Quiverは、低レイテンシと高スループットを備えた分散GPUベースのGNNサービスシステムである。 最新のGNN手法と比較して,Quiverは8倍のスループットで最大35倍のレイテンシを実現している。
  論文  参考訳（メタデータ） (2023-05-18T10:34:23Z)
• PLSSVM: A (multi-)GPGPU-accelerated Least Squares Support Vector Machine [68.8204255655161]
  Support Vector Machines (SVM) は機械学習で広く使われている。 しかし、現代的で最適化された実装でさえ、最先端ハードウェア上の大きな非自明な高密度データセットにはうまくスケールしない。 PLSSVMはLVMのドロップイン代替として使用できる。
  論文  参考訳（メタデータ） (2022-02-25T13:24:23Z)
• DistGNN: Scalable Distributed Training for Large-Scale Graph Neural Networks [58.48833325238537]
  大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。 本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。 4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
  論文  参考訳（メタデータ） (2021-04-14T08:46:35Z)
• Large Graph Convolutional Network Training with GPU-Oriented Data Communication Architecture [19.2129567657739]
  グラフ畳み込みネットワーク(gcns)は大規模グラフベースのレコメンデーションシステムでますます採用されている。 現在のGCNトレーニングシステムは、フィーチャーテーブルをホストメモリに保持し、スパース機能の収集にCPUに依存している。 しかしこのアプローチは、ホストメモリの帯域幅とCPUに大きなプレッシャーを与えます。 本稿では,GPUスレッドがホストメモリのスパース機能に直接アクセスするGCNトレーニングのための新しいGPU指向データ通信手法を提案する。
  論文  参考訳（メタデータ） (2021-03-04T21:00:17Z)
• Nimble: Lightweight and Parallel GPU Task Scheduling for Deep Learning [7.43260596107574]
  我々は、最小のスケジューリングオーバーヘッドでタスクを並列に実行する、ディープラーニング(DL)実行エンジンであるNimbleを提案する。 Nableは、単一のGPUで複数のGPUストリームを活用することで、GPUタスクの実行を自動的に並列化する。 PyTorchと比較して、Nimbleは推論とトレーニングを最大22.34$times$と3.61$times$で高速化している。
  論文  参考訳（メタデータ） (2020-12-04T17:25:46Z)
• Scaling Graph Neural Networks with Approximate PageRank [64.92311737049054]
  GNNにおける情報拡散の効率的な近似を利用したPPRGoモデルを提案する。 高速であることに加えて、PPRGoは本質的にスケーラブルであり、業界設定で見られるような大規模なデータセットに対して、自明に並列化することができる。 このグラフのすべてのノードに対するPPRGoのトレーニングとラベルの予測には1台のマシンで2分未満で、同じグラフ上の他のベースラインをはるかに上回ります。
  論文  参考訳（メタデータ） (2020-07-03T09:30:07Z)
• Hybrid Models for Learning to Branch [81.93868699246214]
  我々はCPUマシン上で効率的な分岐を行うための新しいハイブリッドアーキテクチャを提案する。 提案アーキテクチャは,GNNの表現力と分岐処理のための計算コストの低い多層パーセプトロン(MLP)を組み合わせる。
  論文  参考訳（メタデータ） (2020-06-26T21:03:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。