Fugu-MT 論文翻訳(概要): GraNNDis: Efficient Unified Distributed Training Framework for Deep GNNs on Large Clusters

論文の概要: GraNNDis: Efficient Unified Distributed Training Framework for Deep GNNs on Large Clusters

arxiv url: http://arxiv.org/abs/2311.06837v1
Date: Sun, 12 Nov 2023 13:30:31 GMT
ステータス: 処理完了
システム内更新日: 2023-11-14 16:42:19.402465
Title: GraNNDis: Efficient Unified Distributed Training Framework for Deep GNNs on Large Clusters
Title（参考訳）: GraNNDis: 大規模クラスタ上でのディープGNNのための効率的な統一分散トレーニングフレームワーク
Authors: Jaeyong Song, Hongsun Jang, Jaewon Jung, Youngsok Kim, Jinho Lee
Abstract要約: グラフニューラルネットワーク(GNN)は、ディープラーニングにおいて最も急速に成長している分野の1つである。 GraNNDisは、大きなグラフとディープレイヤ上でGNNをトレーニングするための、効率的な分散GNNトレーニングフレームワークである。 GraNNDisは最先端の分散GNNトレーニングフレームワークよりも優れたスピードアップを提供する。
参考スコア（独自算出の注目度）: 8.137466511979586
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Graph neural networks (GNNs) are one of the most rapidly growing fields within deep learning. According to the growth in the dataset and the model size used for GNNs, an important problem is that it becomes nearly impossible to keep the whole network on GPU memory. Among numerous attempts, distributed training is one popular approach to address the problem. However, due to the nature of GNNs, existing distributed approaches suffer from poor scalability, mainly due to the slow external server communications. In this paper, we propose GraNNDis, an efficient distributed GNN training framework for training GNNs on large graphs and deep layers. GraNNDis introduces three new techniques. First, shared preloading provides a training structure for a cluster of multi-GPU servers. We suggest server-wise preloading of essential vertex dependencies to reduce the low-bandwidth external server communications. Second, we present expansion-aware sampling. Because shared preloading alone has limitations because of the neighbor explosion, expansion-aware sampling reduces vertex dependencies that span across server boundaries. Third, we propose cooperative batching to create a unified framework for full-graph and minibatch training. It significantly reduces redundant memory usage in mini-batch training. From this, GraNNDis enables a reasonable trade-off between full-graph and mini-batch training through unification especially when the entire graph does not fit into the GPU memory. With experiments conducted on a multi-server/multi-GPU cluster, we show that GraNNDis provides superior speedup over the state-of-the-art distributed GNN training frameworks.
Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、ディープラーニングにおいて最も急速に成長している分野の1つである。データセットの成長とGNNで使用されるモデルサイズによると、重要な問題は、ネットワーク全体をGPUメモリ上に保持することがほぼ不可能になることだ。多くの試みの中で、分散トレーニングはこの問題に対処するための一般的なアプローチである。しかし、GNNの性質のため、既存の分散アプローチはスケーラビリティが悪く、主に外部サーバの通信が遅いためである。本稿では,大規模グラフおよび深層層上でGNNを学習するための分散GNNトレーニングフレームワークであるGraNNDisを提案する。 GraNNDisは3つの新しいテクニックを導入した。まず、共有プリローディングはマルチgpuサーバのクラスタのトレーニング構造を提供する。低帯域の外部サーバ通信を減らすために,本質的な頂点依存性のサーバワイドプリロードを提案する。第2に,拡張対応サンプリングを提案する。共有プリロードだけでは、隣の爆発のために制限があるため、拡張対応サンプリングは、サーバ境界を越えた頂点依存性を減らす。第3に、フルグラフおよびミニバッチトレーニングのための統合フレームワークを作成するための協調的バッチ化を提案する。ミニバッチトレーニングにおける冗長メモリ使用量を大幅に削減する。これによりGraNNDisは、特にグラフ全体がGPUメモリに収まらない場合の統一を通じて、フルグラフとミニバッチトレーニングの間の合理的なトレードオフを可能にする。マルチサーバ/マルチGPUクラスタ上での実験により、GraNNDisは最先端の分散GNNトレーニングフレームワークよりも優れたスピードアップを提供することを示した。

関連論文リスト

FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
分散トレーニングは、システム設計と効率に関する重要な課題に直面します。大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
論文参考訳（メタデータ） (2024-10-16T16:13:19Z)
Distributed Convolutional Neural Network Training on Mobile and Edge Clusters [0.9421843976231371]
機械学習タスクをエッジに完全にローカライズするための最近の取り組みが登場した。これにより、レイテンシの低減とプライバシの向上にメリットがあるが、リソース制約のあるデバイスで作業する必要がある。本稿では,モバイルデバイスとエッジデバイスのみを対象とした分散CNNトレーニングのアプローチについて述べる。
論文参考訳（メタデータ） (2024-09-11T02:44:28Z)
CDFGNN: a Systematic Design of Cache-based Distributed Full-Batch Graph Neural Network Training with Communication Reduction [7.048300785744331]
グラフニューラルネットワークトレーニングは、主にミニバッチとフルバッチのトレーニング方法に分類される。分散クラスタでは、機能とグラデーションの頻繁なリモートアクセスが、通信オーバーヘッドを大きくします。キャッシュベースの分散フルバッチグラフニューラルネットワークトレーニングフレームワーク(CDFGNN)を紹介する。本結果は,CDFGNNが分散フルバッチGNNトレーニングタスクを高速化する大きな可能性を示唆している。
論文参考訳（メタデータ） (2024-08-01T01:57:09Z)
Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文参考訳（メタデータ） (2024-02-28T03:27:10Z)
Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
論文参考訳（メタデータ） (2023-08-06T21:04:58Z)
Timely Asynchronous Hierarchical Federated Learning: Age of Convergence [59.96266198512243]
クライアント-エッジ-クラウドフレームワークを用いた非同期階層型フェデレーション学習環境について検討する。クライアントはトレーニングされたパラメータをエッジサーバと交換し、ローカルに集約されたモデルを更新する。各クライアントの目標は、クライアントのタイムラインを維持しながら、グローバルモデルに収束することだ。
論文参考訳（メタデータ） (2023-06-21T17:39:16Z)
Distributed SLIDE: Enabling Training Large Neural Networks on Low Bandwidth and Simple CPU-Clusters via Model Parallelism and Sparsity [36.254527362066725]
本稿では,インターネット帯域幅の少ない小さなCPUクラスタ上で,大規模ニューラルネットワークのトレーニングを可能にする分散モデル並列トレーニングフレームワークを提案する。通信の幅が狭くなれば、単純な4-16コアCPUノード上で10億近いパラメータモデルを訓練できることを示す。
論文参考訳（メタデータ） (2022-01-29T21:37:34Z)
Learn Locally, Correct Globally: A Distributed Algorithm for Training Graph Neural Networks [22.728439336309858]
通信効率の良い分散GNNトレーニング手法であるtextLearn Locally, Correct Globally$ (LLCG)を提案する。 LLCGは、異なるマシン間のノード間の依存関係を無視してGNNをローカルデータでトレーニングし、その後、定期的なモデル平均化のためにローカルにトレーニングされたモデルをサーバに送信する。我々は,GNNを訓練するための周期モデル平均化による分散手法の収束度を厳密に分析し,周期モデル平均化を適用するが,ノード間の依存性を無視することは既約残差に悩まされることを示す。
論文参考訳（メタデータ） (2021-11-16T03:07:01Z)
SpreadGNN: Serverless Multi-task Federated Learning for Graph Neural Networks [13.965982814292971]
グラフニューラルネットワーク(GNN)は、グラフ機械学習問題の第一選択方法である。 GNNトレーニングのための大量の実世界のグラフデータを集中させることは、ユーザ側のプライバシー上の懸念から禁じられている。本研究では,新しいマルチタスク・フェデレーション・トレーニング・フレームワークであるSpreadGNNを提案する。
論文参考訳（メタデータ） (2021-06-04T22:20:47Z)
DistGNN: Scalable Distributed Training for Large-Scale Graph Neural Networks [58.48833325238537]
大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。 4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
論文参考訳（メタデータ） (2021-04-14T08:46:35Z)
Towards Deeper Graph Neural Networks with Differentiable Group Normalization [61.20639338417576]
グラフニューラルネットワーク(GNN)は、隣接するノードを集約することでノードの表現を学習する。オーバースムーシングは、レイヤーの数が増えるにつれてGNNのパフォーマンスが制限される重要な問題のひとつです。 2つのオーバースムースなメトリクスと新しいテクニック、すなわち微分可能群正規化(DGN)を導入する。
論文参考訳（メタデータ） (2020-06-12T07:18:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。