論文の概要: Grappa: Gradient-Only Communication for Scalable Graph Neural Network Training

• arxiv url: http://arxiv.org/abs/2602.01872v1
• Date: Mon, 02 Feb 2026 09:44:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:34.051246
• Title: Grappa: Gradient-Only Communication for Scalable Graph Neural Network Training
• Title（参考訳）: Grappa: スケーラブルなグラフニューラルネットワークトレーニングのためのグラディエントオンリー通信
• Authors: Chongyang Xu, Christoph Siebenbrunner, Laurent Bindschaedler,
• Abstract要約: Grappaは、勾配のみの通信を実行する分散GNNトレーニングフレームワークである。 各イテレーションでは、パーティションは独立してトレーニングされ、グローバルアップデートのためにのみ交換される。 また,Grappaは最先端システムに比べて,GNNを4倍(最大13倍)高速化することを示した。
• 参考スコア（独自算出の注目度）: 2.3139750881704044
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cross-partition edges dominate the cost of distributed GNN training: fetching remote features and activations per iteration overwhelms the network as graphs deepen and partition counts grow. Grappa is a distributed GNN training framework that enforces gradient-only communication: during each iteration, partitions train in isolation and exchange only gradients for the global update. To recover accuracy lost to isolation, Grappa (i) periodically repartitions to expose new neighborhoods and (ii) applies a lightweight coverage-corrected gradient aggregation inspired by importance sampling. We prove the corrected estimator is asymptotically unbiased under standard support and boundedness assumptions, and we derive a batch-level variant for compatibility with common deep-learning packages that minimizes mean-squared deviation from the ideal node-level correction. We also introduce a shrinkage version that improves stability in practice. Empirical results on real and synthetic graphs show that Grappa trains GNNs 4 times faster on average (up to 13 times) than state-of-the-art systems, achieves better accuracy especially for deeper models, and sustains training at the trillion-edge scale on commodity hardware. Grappa is model-agnostic, supports full-graph and mini-batch training, and does not rely on high-bandwidth interconnects or caching.
• Abstract（参考訳）: パーティションエッジは、分散GNNトレーニングのコストを支配している。 リモート機能とイテレーション毎のアクティベーションを取得することで、グラフが深くなり、パーティション数が増加するにつれて、ネットワークを圧倒する。 Grappaは分散GNNトレーニングフレームワークで、グラデーションのみの通信を実行する。各イテレーションの間、パーティションは独立してトレーニングし、グローバルアップデートのためのグラデーションのみを交換する。 Grappa (複数形 Grappas) 一 新しい地区を露見し、定期的に分割すること (II)重要サンプリングに着想を得た軽量なカバレッジ補正勾配アグリゲーションを適用した。 我々は,修正推定器が標準サポートと有界性仮定の下で漸近的に偏りがないことを証明し,理想的なノードレベルの補正から平均二乗偏差を最小限に抑えるような,一般的なディープラーニングパッケージとの互換性のためのバッチレベルの変種を導出する。 また、実際の安定性を改善する縮小版も導入しています。 実および合成グラフを用いた実験結果から、Grappaは最先端システムよりも平均で4倍(最大13倍)高速でGNNを訓練し、特により深いモデルでは精度が向上し、コモディティハードウェアでは1兆倍の規模でトレーニングを継続していることがわかった。 Grappaはモデルに依存しず、フルグラフとミニバッチのトレーニングをサポートし、高帯域幅の相互接続やキャッシュに依存しない。

関連論文リスト

• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• Gradient Rewiring for Editable Graph Neural Network Training [84.77778876113099]
  underlineGradient underlineRewiringメソッドは、textbfGREという、アンダーライン編集可能なグラフニューラルネットワークトレーニングのためのものだ。 そこで本稿では,textbfGRE という名前のアンダーライン編集可能なグラフニューラルネットワークトレーニングのための,シンプルで効果的なアンダーライングラディエントアンダーラインリスイッチ法を提案する。
  論文  参考訳（メタデータ） (2024-10-21T01:01:50Z)
• Distributed Training of Large Graph Neural Networks with Variable Communication Rates [71.7293735221656]
  大きなグラフ上でグラフニューラルネットワーク(GNN)をトレーニングすることは、大きなメモリとコンピューティング要件のために、ユニークな課題を提示する。 グラフを複数のマシンに分割する分散GNNトレーニングは、大きなグラフ上でGNNをトレーニングするための一般的なアプローチである。 本稿では,学習モデルの精度を損なうことなく,分散GNNトレーニングにおける通信量を削減するための可変圧縮方式を提案する。
  論文  参考訳（メタデータ） (2024-06-25T14:57:38Z)
• Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
  CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。 我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
  論文  参考訳（メタデータ） (2023-08-06T21:04:58Z)
• Fast and Effective GNN Training through Sequences of Random Path Graphs [20.213843086649014]
  本稿では,ノード分類タスクにおいて,GNNをトレーニングするためのスケーラブルなフレームワークであるGERNを紹介する。 提案手法は,経路グラフに好適に変換された無作為な散在木列のGNN重みを漸進的に洗練する。 これらの経路グラフのスパース性は、GNN訓練の計算負担を大幅に軽減する。
  論文  参考訳（メタデータ） (2023-06-07T23:12:42Z)
• Adaptive Message Quantization and Parallelization for Distributed Full-graph GNN Training [6.557328947642343]
  大きなグラフ上のグラフニューラルネットワーク(GNN)の分散フルグラフトレーニングは、帯域幅の要求と時間を要する。 本稿では,分散フルグラフ学習を高速化する効率的なGNNトレーニングシステムであるAdaQPを提案する。
  論文  参考訳（メタデータ） (2023-06-02T09:02:09Z)
• Optimal Propagation for Graph Neural Networks [51.08426265813481]
  最適グラフ構造を学習するための二段階最適化手法を提案する。 また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
  論文  参考訳（メタデータ） (2022-05-06T03:37:00Z)
• DNN gradient lossless compression: Can GenNorm be the answer? [17.37160669785566]
  勾配圧縮は多くの分散ディープニューラルネットワーク(DNN)トレーニングシナリオに関係している。 実用的関心を持ついくつかのネットワークでは、勾配成分は一般化正規分布(GenNorm)を持つようにうまくモデル化することができる。
  論文  参考訳（メタデータ） (2021-11-15T08:33:10Z)
• Efficient Distributed Auto-Differentiation [22.192220404846267]
  大規模ディープニューラルネットワーク(DNN)をトレーニングするための勾配ベースのアルゴリズムは通信量が多い。 グラデーションよりもコミュニケーションにやさしい分散型DNNをトレーニングするための驚くほど単純な統計を紹介します。 このプロセスは、バックプロパゲーション中のグラデーション平均の柔軟性を提供し、新しい柔軟なトレーニングスキーマを可能にします。
  論文  参考訳（メタデータ） (2021-02-18T21:46:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。