Fugu-MT 論文翻訳(概要): Efficient Scaling of Dynamic Graph Neural Networks

論文の概要: Efficient Scaling of Dynamic Graph Neural Networks

arxiv url: http://arxiv.org/abs/2109.07893v1
Date: Thu, 16 Sep 2021 11:51:20 GMT
ステータス: 処理完了
システム内更新日: 2021-09-17 16:26:48.424036
Title: Efficient Scaling of Dynamic Graph Neural Networks
Title（参考訳）: 動的グラフニューラルネットワークの効率的なスケーリング
Authors: Venkatesan T. Chakaravarthy, Shivmaran S. Pandian, Saurabh Raje, Yogish Sabharwal, Toyotaro Suzumura, Shashanka Ubaru
Abstract要約: これは、動的グラフニューラルネットワークに関する最初のスケーリング研究である。我々はGPUメモリ使用量を削減するメカニズムを考案した。我々は、転送時間を著しく短縮するグラフ差分に基づく戦略を設計する。
参考スコア（独自算出の注目度）: 7.313571385612325
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: We present distributed algorithms for training dynamic Graph Neural Networks (GNN) on large scale graphs spanning multi-node, multi-GPU systems. To the best of our knowledge, this is the first scaling study on dynamic GNN. We devise mechanisms for reducing the GPU memory usage and identify two execution time bottlenecks: CPU-GPU data transfer; and communication volume. Exploiting properties of dynamic graphs, we design a graph difference-based strategy to significantly reduce the transfer time. We develop a simple, but effective data distribution technique under which the communication volume remains fixed and linear in the input size, for any number of GPUs. Our experiments using billion-size graphs on a system of 128 GPUs shows that: (i) the distribution scheme achieves up to 30x speedup on 128 GPUs; (ii) the graph-difference technique reduces the transfer time by a factor of up to 4.1x and the overall execution time by up to 40%
Abstract（参考訳）: マルチノード,マルチGPUシステムにまたがる大規模グラフ上で,動的グラフニューラルネットワーク(GNN)を学習するための分散アルゴリズムを提案する。我々の知る限りでは、これは動的GNNに関する最初のスケーリング研究である。我々は,GPUメモリ使用量を削減する機構を考案し,CPU-GPUデータ転送と通信量という2つの実行時間ボトルネックを特定した。動的グラフの爆発特性を抽出し,移動時間を著しく短縮するグラフ差分に基づく戦略を設計する。我々は,任意の数のGPUに対して,通信容量を固定し,入力サイズを線形に維持する,単純かつ効果的なデータ分散手法を開発した。 128GPUのシステム上で10億のグラフを用いた実験は、次のように示している。 (i)128GPU上で最大30倍の高速化を実現する。 (二)グラフ差分法により、転送時間を最大4.1倍に短縮し、全体の実行時間を最大40%短縮する。

関連論文リスト

Graph Transformers for Large Graphs [57.19338459218758]
この研究は、モデルの特徴と重要な設計制約を識別することに焦点を当てた、単一の大規模グラフでの表現学習を前進させる。この研究の重要な革新は、局所的な注意機構と組み合わされた高速な近傍サンプリング技術の作成である。 ogbn-products と snap-patents の3倍の高速化と16.8%の性能向上を報告し、ogbn-100M で LargeGT を5.9% の性能改善で拡張した。
論文参考訳（メタデータ） (2023-12-18T11:19:23Z)
GNNFlow: A Distributed Framework for Continuous Temporal GNN Learning on Dynamic Graphs [11.302970701867844]
本稿では,効率的な時間的グラフ表現学習のための分散フレームワークであるGNNFlowを紹介する。 GNNFlowは、負荷バランスを確保するために、静的スケジューリングを備えた複数のマシンでの分散トレーニングをサポートする。実験の結果,GNNFlowは既存のシステムに比べて最大21.1倍高速な継続的学習を実現することがわかった。
論文参考訳（メタデータ） (2023-11-29T07:30:32Z)
Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
論文参考訳（メタデータ） (2023-08-06T21:04:58Z)
DistTGL: Distributed Memory-Based Temporal Graph Neural Network Training [18.52206409432894]
DistTGLは、分散GPUクラスタ上でメモリベースのTGNNをトレーニングするための、効率的でスケーラブルなソリューションである。実験では、DistTGLはほぼ直線収束のスピードアップを実現し、最先端のシングルマシン法を14.5%、トレーニングスループットは10.17倍に向上した。
論文参考訳（メタデータ） (2023-07-14T22:52:27Z)
Scalable Graph Convolutional Network Training on Distributed-Memory Systems [5.169989177779801]
グラフ畳み込みネットワーク(GCN)はグラフの深層学習に広く利用されている。グラフ上の畳み込み操作は不規則なメモリアクセスパターンを誘導するので、GCNトレーニングのためのメモリと通信効率の並列アルゴリズムを設計することはユニークな課題である。本稿では,大規模プロセッサ数にスケールする並列トレーニングアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-12-09T17:51:13Z)
DOTIN: Dropping Task-Irrelevant Nodes for GNNs [119.17997089267124]
最近のグラフ学習アプローチでは、学習のためのグラフのサイズを減らすためのプール戦略が導入されている。我々はDOTIN(underlineDrunderlineopping underlineTask-underlineIrrelevant underlineNodes)と呼ばれる新しいアプローチを設計し、グラフのサイズを減らす。本手法は,グラフ分類やグラフ編集距離を含むグラフレベルのタスクにおいて,GATを約50%高速化する。
論文参考訳（メタデータ） (2022-04-28T12:00:39Z)
Scaling R-GCN Training with Graph Summarization [71.06855946732296]
リレーショナルグラフ畳み込みネットワーク(R-GCN)のトレーニングは、グラフのサイズに合わない。本研究では,グラフの要約手法を用いてグラフを圧縮する実験を行った。 AIFB, MUTAG, AMデータセットについて妥当な結果を得た。
論文参考訳（メタデータ） (2022-03-05T00:28:43Z)
Graph Neural Network Training with Data Tiering [16.02267628659034]
グラフニューラルネットワーク(GNN)は、不正検出やレコメンデーション、知識グラフ推論など、グラフ構造化データから学ぶことに成功している。しかし,1)GPUメモリ容量が限られ,大規模なデータセットでは不十分であり,2)グラフベースのデータ構造が不規則なデータアクセスパターンを引き起こすため,GNNを効率的にトレーニングすることは困難である。本研究では,GNNトレーニングに先立って,より頻繁にアクセスされるデータを統計的に分析し,識別する手法を提案する。
論文参考訳（メタデータ） (2021-11-10T19:35:10Z)
DistGNN: Scalable Distributed Training for Large-Scale Graph Neural Networks [58.48833325238537]
大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。 4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
論文参考訳（メタデータ） (2021-04-14T08:46:35Z)
Large Graph Convolutional Network Training with GPU-Oriented Data Communication Architecture [19.2129567657739]
グラフ畳み込みネットワーク(gcns)は大規模グラフベースのレコメンデーションシステムでますます採用されている。現在のGCNトレーニングシステムは、フィーチャーテーブルをホストメモリに保持し、スパース機能の収集にCPUに依存している。しかしこのアプローチは、ホストメモリの帯域幅とCPUに大きなプレッシャーを与えます。本稿では,GPUスレッドがホストメモリのスパース機能に直接アクセスするGCNトレーニングのための新しいGPU指向データ通信手法を提案する。
論文参考訳（メタデータ） (2021-03-04T21:00:17Z)
Scaling Graph Neural Networks with Approximate PageRank [64.92311737049054]
GNNにおける情報拡散の効率的な近似を利用したPPRGoモデルを提案する。高速であることに加えて、PPRGoは本質的にスケーラブルであり、業界設定で見られるような大規模なデータセットに対して、自明に並列化することができる。このグラフのすべてのノードに対するPPRGoのトレーニングとラベルの予測には1台のマシンで2分未満で、同じグラフ上の他のベースラインをはるかに上回ります。
論文参考訳（メタデータ） (2020-07-03T09:30:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。