Fugu-MT 論文翻訳(概要): Accelerating Backward Aggregation in GCN Training with Execution Path Preparing on GPUs

論文の概要: Accelerating Backward Aggregation in GCN Training with Execution Path Preparing on GPUs

arxiv url: http://arxiv.org/abs/2204.02662v1
Date: Wed, 6 Apr 2022 08:22:03 GMT
ステータス: 処理完了
システム内更新日: 2022-04-07 14:57:15.881678
Title: Accelerating Backward Aggregation in GCN Training with Execution Path Preparing on GPUs
Title（参考訳）: GPUを用いたGCNトレーニングにおける後方アグリゲーションの高速化
Authors: Shaoxian Xu, Zhiyuan Shao, Ci Yang, Xiaofei Liao, Hai Jin
Abstract要約: グラフ畳み込みネットワーク(GCN)は多くの領域で広く使われている。 GCNのトレーニングを加速することで、アプリケーションの効率を改善することは困難である。
参考スコア（独自算出の注目度）: 14.315322150350202
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The emerging Graph Convolutional Network (GCN) has now been widely used in many domains, and it is challenging to improve the efficiencies of applications by accelerating the GCN trainings. For the sparsity nature and exploding scales of input real-world graphs, state-of-the-art GCN training systems (e.g., GNNAdvisor) employ graph processing techniques to accelerate the message exchanging (i.e. aggregations) among the graph vertices. Nevertheless, these systems treat both the aggregation stages of forward and backward propagation phases as all-active graph processing procedures that indiscriminately conduct computation on all vertices of an input graph. In this paper, we first point out that in a GCN training problem with a given training set, the aggregation stages of its backward propagation phase (called as backward aggregations in this paper) can be converted to partially-active graph processing procedures, which conduct computation on only partial vertices of the input graph. By leveraging such a finding, we propose an execution path preparing method that collects and coalesces the data used during backward propagations of GCN training conducted on GPUs. The experimental results show that compared with GNNAdvisor, our approach improves the performance of the backward aggregation of GCN trainings on typical real-world graphs by 1.48x~5.65x. Moreover, the execution path preparing can be conducted either before the training (during preprocessing) or on-the-fly with the training. When used during preprocessing, our approach improves the overall GCN training by 1.05x~1.37x. And when used on-the-fly, our approach improves the overall GCN training by 1.03x~1.35x.
Abstract（参考訳）: 新たなGraph Convolutional Network(GCN)は、今では多くのドメインで広く使われており、GCNトレーニングを加速することでアプリケーションの効率を改善することは困難である。入力実世界のグラフのスパーシティの性質と爆発的スケールのために、最先端のgcnトレーニングシステム(gnnadvisorなど)は、グラフ頂点間のメッセージ交換(集約)を高速化するためにグラフ処理技術を使用している。にもかかわらず、これらのシステムは前向きおよび後向きの伝播相の集約段階を、入力グラフの全ての頂点上で不特定に計算を行う全能グラフ処理手順として扱う。本稿では,与えられたトレーニングセットを持つgcnトレーニング問題において,その後方伝播位相(本論文では後方凝集と呼ばれる)の集約段階を,入力グラフの部分的頂点のみの計算を行う部分アクティブグラフ処理手順に変換することができることを指摘した。このような発見を生かして,GPUを用いたGCNトレーニングの後方伝播時に使用するデータを収集・結合する実行経路作成手法を提案する。実験の結果,本手法はgnnadvisorと比較して,典型的な実世界のグラフにおけるgcnトレーニングの後方集計性能を1.48x~5.65x向上させることがわかった。また、トレーニング前(前処理中)またはトレーニング後オンザフライで実行経路の準備を行うことができる。前処理で使用する場合、GCNトレーニング全体の1.05x~1.37xを改善する。オンザフライで使用すると、GCNトレーニング全体の1.03x~1.35xが改善される。

関連論文リスト

Efficient Message Passing Architecture for GCN Training on HBM-based FPGAs with Orthogonal Topology On-Chip Networks [0.0]
グラフ畳み込みネットワーク(GCN)は、グラフ上の表現学習のための最先端のディープラーニングモデルである。 NUMAベースのメモリアクセス特性を利用したメッセージパッシングアーキテクチャを提案する。また,提案アクセラレータ内でGCN特有のバックプロパゲーションアルゴリズムを再設計した。
論文参考訳（メタデータ） (2024-11-06T12:00:51Z)
Do We Really Need Graph Convolution During Training? Light Post-Training Graph-ODE for Efficient Recommendation [34.93725892725111]
トレーニングレコメンデータシステム(RecSys)におけるグラフ畳み込みネットワーク(GCNs)は、絶え間なく懸念されてきた。本稿では,学習段階におけるグラフ畳み込みの必要性を批判的に考察する。光後学習グラフ正規分方程式(LightGODE)という革新的な方法を導入する。
論文参考訳（メタデータ） (2024-07-26T17:59:32Z)
Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
論文参考訳（メタデータ） (2023-08-06T21:04:58Z)
SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文参考訳（メタデータ） (2023-08-03T07:00:04Z)
Graph Neural Networks Go Forward-Forward [0.0]
グラフフォワード・フォワード法の拡張であるグラフフォワード・フォワード法(GFF)を提案する。提案手法はメッセージパッシング方式であり,バックプロパゲーションよりも生物学的に妥当な学習方式を提供する。 11の標準グラフ特性予測タスクの実験を行い、GFFがバックプロパゲーションの効果的な代替手段を提供する方法を示した。
論文参考訳（メタデータ） (2023-02-10T14:45:36Z)
Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文参考訳（メタデータ） (2022-07-18T14:23:31Z)
BNS-GCN: Efficient Full-Graph Training of Graph Convolutional Networks with Boundary Node Sampling [25.32242812045678]
本稿では,BNS-GCNという,ランダム境界ノードサンプリングを併用して,効率よくスケーラブルな分散GCNトレーニングを実現する,シンプルで効果的なBNS-GCNを提案する。 BNS-GCNの有効性を一貫して検証し、スループットを最大16.2倍にし、メモリ使用量を最大58%削減し、フルグラフの精度を維持した。
論文参考訳（メタデータ） (2022-03-21T13:44:37Z)
PipeGCN: Efficient Full-Graph Training of Graph Convolutional Networks with Pipelined Feature Communication [24.05916878277873]
Graph Convolutional Networks (GCNs) は、グラフ構造化データを学習するための最先端の手法である。分散GCNトレーニングは、ノード機能とパーティション間の機能勾配の通信の不要なオーバーヘッドを引き起こす。分割間通信をパイプライン化することで通信オーバーヘッドを隠蔽するPipeGCNを提案する。
論文参考訳（メタデータ） (2022-03-20T02:08:03Z)
Scalable Graph Neural Networks via Bidirectional Propagation [89.70835710988395]
グラフニューラルネットワーク(GNN)は、非ユークリッドデータを学習するための新興分野である。本稿では、特徴ベクトルとトレーニング/テストノードの両方から局所的な双方向伝搬プロセスを利用するスケーラブルなGNNであるGBPを提案する。実証実験により、GBPは、トレーニング/テスト時間を大幅に減らして最先端のパフォーマンスを達成することが示された。
論文参考訳（メタデータ） (2020-10-29T08:55:33Z)
GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
論文参考訳（メタデータ） (2020-06-17T16:18:35Z)
L$^2$-GCN: Layer-Wise and Learned Efficient Training of Graph Convolutional Networks [118.37805042816784]
グラフ畳み込みネットワーク(GCN)は、多くのアプリケーションで人気が高まっているが、大きなグラフデータセットをトレーニングするのは依然として難しい。本稿では,GCN (L-GCN) のための新しいレイヤワイドトレーニングフレームワークを提案する。実験の結果、L-GCNは少なくとも1桁の精度で最先端よりも高速であり、メモリ使用量はデータセットのサイズに依存しないことがわかった。
論文参考訳（メタデータ） (2020-03-30T16:37:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。