論文の概要: Understanding GNN Computational Graph: A Coordinated Computation, IO, and Memory Perspective

• arxiv url: http://arxiv.org/abs/2110.09524v1
• Date: Mon, 18 Oct 2021 12:51:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-20 14:34:16.595107
• Title: Understanding GNN Computational Graph: A Coordinated Computation, IO, and Memory Perspective
• Title（参考訳）: GNN計算グラフを理解する: 協調計算、IO、メモリパースペクティブ
• Authors: Hengrui Zhang, Zhongming Yu, Guohao Dai, Guyue Huang, Yufei Ding, Yuan Xie, Yu Wang
• Abstract要約: グラフニューラルネットワーク(GNN)は、様々な領域で広く使われている。 高度な計算グラフを持つGNNは、レイテンシの向上とメモリ消費の増大につながる。 冗長なニューラル演算子計算、一貫性のないスレッドマッピング、過剰な中間データを引き合いに出す。
• 参考スコア（独自算出の注目度）: 14.36780118926491
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) have been widely used in various domains, and GNNs with sophisticated computational graph lead to higher latency and larger memory consumption. Optimizing the GNN computational graph suffers from: (1) Redundant neural operator computation. The same data are propagated through the graph structure to perform the same neural operation multiple times in GNNs, leading to redundant computation which accounts for 92.4% of total operators. (2) Inconsistent thread mapping. Efficient thread mapping schemes for vertex-centric and edge-centric operators are different. This inconsistency prohibits operator fusion to reduce memory IO. (3) Excessive intermediate data. For GNN training which is usually performed concurrently with inference, intermediate data must be stored for the backward pass, consuming 91.9% of the total memory requirement. To tackle these challenges, we propose following designs to optimize the GNN computational graph from a novel coordinated computation, IO, and memory perspective: (1) Propagation-postponed operator reorganization. We reorganize operators to perform neural operations before the propagation, thus the redundant computation is eliminated. (2) Unified thread mapping for fusion. We propose a unified thread mapping scheme for both vertex- and edge-centric operators to enable fusion and reduce IO. (3) Intermediate data recomputation. Intermediate data are recomputed during the backward pass to reduce the total memory consumption. Extensive experimental results on three typical GNN models show that, we achieve up to 2.75x end-to-end speedup, 6.89x less memory IO, and 7.73x less memory consumption over state-of-the-art frameworks.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、様々な領域で広く使われており、高度な計算グラフを持つGNNは、より高いレイテンシとメモリ消費をもたらす。 GNN計算グラフの最適化は、(1)冗長なニューラル演算子計算に悩まされる。 同じデータはグラフ構造を通じて伝播され、gnnで同じニューラルネットワーク操作を複数回実行し、総オペレータの92.4%を占める冗長な計算に繋がる。 2) 一貫性のないスレッドマッピング。 頂点中心演算子とエッジ中心演算子の効率的なスレッドマッピングスキームは異なる。 この矛盾は、メモリIOを減らす演算子融合を禁止している。 (3)過剰な中間データ。 通常推論と並行して実行されるGNNトレーニングでは、中間データを後方パスに格納し、総メモリ要求の91.9%を消費しなければならない。 これらの課題に対処するために,新しい協調計算,IO,メモリの観点からGNN計算グラフを最適化する設計を提案する。 伝搬前に演算子を再編成してニューラル演算を行い、冗長計算を除去する。 (2)融合のための統一スレッドマッピング。 本稿では,頂点演算子と辺中心演算子を統一したスレッドマッピング方式を提案する。 (3)中間データ再計算。 中間データは後方パス中に再計算され、全メモリ消費が減少する。 3つの典型的なGNNモデルの大規模な実験結果から、最先端のフレームワークよりも最大2.75倍のスピードアップ、6.89倍のメモリIO、7.73倍のメモリ消費を実現した。

関連論文リスト

• Can Graph Reordering Speed Up Graph Neural Network Training? An Experimental Study [13.354505458409957]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習することができる。 グラフのばらつきは、最適以下のメモリアクセスパターンと長いトレーニング時間をもたらす。 グラフの並べ替えは、CPUおよびGPUベースのトレーニングのトレーニング時間を削減するのに有効であることを示す。
  論文  参考訳（メタデータ） (2024-09-17T12:28:02Z)
• Cached Operator Reordering: A Unified View for Fast GNN Training [24.917363701638607]
  グラフニューラルネットワーク(GNN)は、構造化グラフデータを扱う強力なツールであり、ノード分類、グラフ分類、クラスタリングといったタスクに対処する。 しかし、GNN計算のスパース性は、従来のディープニューラルネットワークと比較してパフォーマンス最適化に新たな課題をもたらす。 GNN計算,I/O,メモリの統一的なビューを提供することで,これらの課題に対処する。
  論文  参考訳（メタデータ） (2023-08-23T12:27:55Z)
• Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
  CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。 我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
  論文  参考訳（メタデータ） (2023-08-06T21:04:58Z)
• Hector: An Efficient Programming and Compilation Framework for Implementing Relational Graph Neural Networks in GPU Architectures [24.841128441671234]
  RGNNは、異種グラフ内の異なるタイプのノードとエッジをモデリングするための専用の構造を持つグラフニューラルネットワークである。 本稿では,新しい2レベル中間表現とコード生成フレームワークであるHectorを提案し,RGNNモデルの鍵となる特性を捉える。 Hectorは、最先端のパブリックシステムと比較して、推論で最大9.9倍、トレーニングで最大43.7倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2023-01-16T06:53:18Z)
• Sequential Aggregation and Rematerialization: Distributed Full-batch Training of Graph Neural Networks on Large Graphs [7.549360351036771]
  大規模グラフ上でのグラフニューラルネットワーク(GNN)の分散フルバッチ学習のための逐次アグリゲーション・リマテリアル化(SAR)方式を提案する。 SARは、すべてのGNNタイプを大きなグラフ上で直接トレーニングできる分散技術である。 また,カーネル融合とアテンション行列再構成に基づく汎用手法を提案し,アテンションベースモデルの実行時間とメモリ効率を最適化する。
  論文  参考訳（メタデータ） (2021-11-11T22:27:59Z)
• DistGNN: Scalable Distributed Training for Large-Scale Graph Neural Networks [58.48833325238537]
  大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。 本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。 4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
  論文  参考訳（メタデータ） (2021-04-14T08:46:35Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• Bi-GCN: Binary Graph Convolutional Network [57.733849700089955]
  ネットワークパラメータと入力ノードの特徴を二項化するバイナリグラフ畳み込みネットワーク(Bi-GCN)を提案する。 我々のBi-GCNは、ネットワークパラメータと入力データの両方で平均30倍のメモリ消費を削減でき、推論速度を平均47倍に加速できる。
  論文  参考訳（メタデータ） (2020-10-15T07:26:23Z)
• Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
  我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
  論文  参考訳（メタデータ） (2020-06-21T08:23:03Z)
• Graph Highway Networks [77.38665506495553]
  グラフ畳み込みネットワーク(GCN)は、グラフ表現の有効性と効率性から、グラフ表現の学習に広く利用されている。 彼らは、多くの層が積み重ねられたとき、学習された表現が類似したベクトルに収束するという悪名高い過度に滑らかな問題に悩まされる。 本稿では,GCN学習プロセスにおける均一性と不均一性との間のトレードオフのバランスをとるため,ゲーティングユニットを利用したグラフハイウェイネットワークを提案する。
  論文  参考訳（メタデータ） (2020-04-09T16:26:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。