論文の概要: Armada: Memory-Efficient Distributed Training of Large-Scale Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2502.17846v1
• Date: Tue, 25 Feb 2025 04:47:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:20:59.887609
• Title: Armada: Memory-Efficient Distributed Training of Large-Scale Graph Neural Networks
• Title（参考訳）: Armada: 大規模グラフニューラルネットワークのメモリ効率の良い分散トレーニング
• Authors: Roger Waleffe, Devesh Sarda, Jason Mohoney, Emmanouil-Vasileios Vlatakis-Gkaragkounis, Theodoros Rekatsinas, Shivaram Venkataraman,
• Abstract要約: 本稿では,マシン間で分割された数十億規模のグラフ上でのグラフニューラルネットワーク(GNN)の分散トレーニングについて検討する。 この環境での効率的な訓練は、GNN近傍サンプリングによる機械間通信を最小限に抑える分断アルゴリズムに頼っている。 我々は、分散GNNトレーニングのための新しいエンドツーエンドシステムであるArmandaを紹介し、その主な貢献は、大規模グラフに効率よくスケール可能な、新しいmin-edge-cutパーティショニングアルゴリズムであるGREMである。
• 参考スコア（独自算出の注目度）: 14.061451788125938
• License:
• Abstract: We study distributed training of Graph Neural Networks (GNNs) on billion-scale graphs that are partitioned across machines. Efficient training in this setting relies on min-edge-cut partitioning algorithms, which minimize cross-machine communication due to GNN neighborhood sampling. Yet, min-edge-cut partitioning over large graphs remains a challenge: State-of-the-art (SoTA) offline methods (e.g., METIS) are effective, but they require orders of magnitude more memory and runtime than GNN training itself, while computationally efficient algorithms (e.g., streaming greedy approaches) suffer from increased edge cuts. Thus, in this work we introduce Armada, a new end-to-end system for distributed GNN training whose key contribution is GREM, a novel min-edge-cut partitioning algorithm that can efficiently scale to large graphs. GREM builds on streaming greedy approaches with one key addition: prior vertex assignments are continuously refined during streaming, rather than frozen after an initial greedy selection. Our theoretical analysis and experimental results show that this refinement is critical to minimizing edge cuts and enables GREM to reach partition quality comparable to METIS but with 8-65x less memory and 8-46x faster. Given a partitioned graph, Armada leverages a new disaggregated architecture for distributed GNN training to further improve efficiency; we find that on common cloud machines, even with zero communication, GNN neighborhood sampling and feature loading bottleneck training. Disaggregation allows Armada to independently allocate resources for these operations and ensure that expensive GPUs remain saturated with computation. We evaluate Armada against SoTA systems for distributed GNN training and find that the disaggregated architecture leads to runtime improvements up to 4.5x and cost reductions up to 3.1x.
• Abstract（参考訳）: 本稿では,マシン間で分割された数十億規模のグラフ上でのグラフニューラルネットワーク(GNN)の分散トレーニングについて検討する。 この環境での効率的な訓練は、GNN近傍サンプリングによる機械間通信を最小限に抑える分断アルゴリズムに頼っている。 最先端(SoTA)オフラインメソッド(例えばMETIS)は効率的だが、GNNのトレーニング自体よりも桁違いに多くのメモリとランタイムを必要とする一方、計算効率のよいアルゴリズム(例えばストリーミンググレディなアプローチ)はエッジカットの増大に悩まされている。 そこで本研究では,分散GNNトレーニングのための新たなエンドツーエンドシステムであるArmandaを紹介する。 GREMはストリーミンググリージーなアプローチを1つの重要な追加で構築する: 先行の頂点割り当ては、最初のグリージーな選択の後に凍結されるのではなく、ストリーミング中に継続的に洗練される。 理論的解析と実験結果から, この改良はエッジカットの最小化に不可欠であり, GREMはMETISに匹敵するパーティション品質に到達できるが, メモリは8-65倍, 8-46倍高速であることがわかった。 分割グラフが与えられた場合、Armandaは分散GNNトレーニングのために分散GNNトレーニングに新たな非集約アーキテクチャを活用して効率を向上する。 デアグリゲーションにより、Armandaは独立してこれらのオペレーションのリソースを割り当て、高価なGPUが計算に飽和していないことを保証できる。 我々は分散GNNトレーニングのためのSoTAシステムに対するArmandaの評価を行い、分散アーキテクチャがランタイムの改善を4.5倍にし、コストを3.1倍に削減することを発見した。

関連論文リスト

• GDSG: Graph Diffusion-based Solution Generator for Optimization Problems in MEC Networks [109.17835015018532]
  グラフ拡散型ソリューション生成(GDSG)法を提案する。 このアプローチは、おそらく最適な解に収束しながら、最適以下のデータセットを扱うように設計されている。 グラフニューラルネットワーク(GNN)を用いたマルチタスク拡散モデルとしてGDSGを構築し,高品質な解の分布を求める。
  論文  参考訳（メタデータ） (2024-12-11T11:13:43Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• CDFGNN: a Systematic Design of Cache-based Distributed Full-Batch Graph Neural Network Training with Communication Reduction [7.048300785744331]
  グラフニューラルネットワークトレーニングは、主にミニバッチとフルバッチのトレーニング方法に分類される。 分散クラスタでは、機能とグラデーションの頻繁なリモートアクセスが、通信オーバーヘッドを大きくします。 キャッシュベースの分散フルバッチグラフニューラルネットワークトレーニングフレームワーク(CDFGNN)を紹介する。 本結果は,CDFGNNが分散フルバッチGNNトレーニングタスクを高速化する大きな可能性を示唆している。
  論文  参考訳（メタデータ） (2024-08-01T01:57:09Z)
• Distributed Training of Large Graph Neural Networks with Variable Communication Rates [71.7293735221656]
  大きなグラフ上でグラフニューラルネットワーク(GNN)をトレーニングすることは、大きなメモリとコンピューティング要件のために、ユニークな課題を提示する。 グラフを複数のマシンに分割する分散GNNトレーニングは、大きなグラフ上でGNNをトレーニングするための一般的なアプローチである。 本稿では,学習モデルの精度を損なうことなく,分散GNNトレーニングにおける通信量を削減するための可変圧縮方式を提案する。
  論文  参考訳（メタデータ） (2024-06-25T14:57:38Z)
• CATGNN: Cost-Efficient and Scalable Distributed Training for Graph Neural Networks [7.321893519281194]
  既存の分散システムは、グラフパーティショニングのためにメモリ内のグラフ全体をロードします。 低コストでスケーラブルな分散GNNトレーニングシステムであるCATGNNを提案する。 また、分散GNNトレーニングのためのSPRingという新しいストリーミング分割アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-04-02T20:55:39Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
  CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。 我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
  論文  参考訳（メタデータ） (2023-08-06T21:04:58Z)
• Communication-Efficient Graph Neural Networks with Probabilistic Neighborhood Expansion Analysis and Caching [59.8522166385372]
  大規模グラフ上でのグラフニューラルネットワーク(GNN)のトレーニングと推論は、GNNの登場以来活発に研究されている。 本稿では,分散環境におけるノードワイドサンプリングを用いたGNNによるミニバッチ学習と推論について述べる。 分割された特徴データを扱うために,従来のSALIENTシステムを拡張したSALIENT++を提案する。
  論文  参考訳（メタデータ） (2023-05-04T21:04:01Z)
• Scalable Graph Convolutional Network Training on Distributed-Memory Systems [5.169989177779801]
  グラフ畳み込みネットワーク(GCN)はグラフの深層学習に広く利用されている。 グラフ上の畳み込み操作は不規則なメモリアクセスパターンを誘導するので、GCNトレーニングのためのメモリと通信効率の並列アルゴリズムを設計することはユニークな課題である。 本稿では,大規模プロセッサ数にスケールする並列トレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-09T17:51:13Z)
• BGL: GPU-Efficient GNN Training by Optimizing Graph Data I/O and Preprocessing [0.0]
  グラフニューラルネットワーク(GNN)は、ディープニューラルネットワーク(DNN)の成功を非ユークリッドグラフデータに拡張した。 既存のシステムは、数十億のノードとエッジを持つ巨大なグラフをGPUでトレーニングする非効率である。 本稿では,ボトルネックに対処するための分散GNN学習システムであるBGLを提案する。
  論文  参考訳（メタデータ） (2021-12-16T00:37:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。