論文の概要: DF-GNN: Dynamic Fusion Framework for Attention Graph Neural Networks on GPUs

• arxiv url: http://arxiv.org/abs/2411.16127v1
• Date: Mon, 25 Nov 2024 06:26:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:18:31.801810
• Title: DF-GNN: Dynamic Fusion Framework for Attention Graph Neural Networks on GPUs
• Title（参考訳）: DF-GNN:GPU上の注意グラフニューラルネットワークのための動的融合フレームワーク
• Authors: Jiahui Liu, Zhenkun Cai, Zhiyong Chen, Minjie Wang,
• Abstract要約: 本稿では,Attention Graph Neural Networks (AT-GNN) ファミリーを対象とした動的カーネル融合フレームワーク DF-GNN を提案する。 DF-GNNは動的双方向スレッドスケジューリング戦略を導入し、スレッドスケジューリングの柔軟な調整を可能にする。 cuGraphやdgNNのような既存のGNNカーネルの最適化作業を超え、最先端のDGLスパースライブラリよりも7.0times$のスピードアップを実現している。
• 参考スコア（独自算出の注目度）: 10.766922709869831
• License:
• Abstract: Attention Graph Neural Networks (AT-GNNs), such as GAT and Graph Transformer, have demonstrated superior performance compared to other GNNs. However, existing GNN systems struggle to efficiently train AT-GNNs on GPUs due to their intricate computation patterns. The execution of AT-GNN operations without kernel fusion results in heavy data movement and significant kernel launch overhead, while fixed thread scheduling in existing GNN kernel fusion strategies leads to sub-optimal performance, redundant computation and unbalanced workload. To address these challenges, we propose a dynamic kernel fusion framework, DF-GNN, for the AT-GNN family. DF-GNN introduces a dynamic bi-level thread scheduling strategy, enabling flexible adjustments to thread scheduling while retaining the benefits of shared memory within the fused kernel. DF-GNN tailors specific thread scheduling for operations in AT-GNNs and considers the performance bottleneck shift caused by the presence of super nodes. Additionally, DF-GNN is integrated with the PyTorch framework for high programmability. Evaluations across diverse GNN models and multiple datasets reveal that DF-GNN surpasses existing GNN kernel optimization works like cuGraph and dgNN, with speedups up to $7.0\times$ over the state-of-the-art non-fusion DGL sparse library. Moreover, it achieves an average speedup of $2.16\times$ in end-to-end training compared to the popular GNN computing framework DGL.
• Abstract（参考訳）: GATやGraph Transformerのような注意グラフニューラルネットワーク(AT-GNN)は、他のGNNと比較して優れた性能を示している。 しかし、既存のGNNシステムは、複雑な計算パターンのため、GPU上でAT-GNNを効率的にトレーニングするのに苦労している。 カーネル融合のないAT-GNN操作の実行は、大量のデータ移動と重要なカーネル起動オーバーヘッドをもたらす一方、既存のGNNカーネル融合戦略における固定スレッドスケジューリングは、サブ最適性能、冗長計算、アンバランスなワークロードをもたらす。 これらの課題に対処するため,AT-GNN ファミリー向けに動的カーネル融合フレームワーク DF-GNN を提案する。 DF-GNNは動的双方向スレッドスケジューリング戦略を導入し、融合カーネル内の共有メモリの利点を維持しながらスレッドスケジューリングの柔軟な調整を可能にする。 DF-GNNは、AT-GNNのオペレーションのための特定のスレッドスケジューリングを調整し、スーパーノードの存在によるパフォーマンスのボトルネックシフトを考慮する。 さらに、DF-GNNは高いプログラマビリティのためにPyTorchフレームワークと統合されている。 さまざまなGNNモデルと複数のデータセットによる評価によると、DF-GNNはcuGraphやdgNNのような既存のGNNカーネル最適化作業を超え、最先端の非融合DGLスパースライブラリよりも7.0\times$に高速化されている。 さらに、一般的なGNNコンピューティングフレームワークであるDGLと比較して、エンドツーエンドのトレーニングで平均2.16\times$を達成している。

関連論文リスト

• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• Cached Operator Reordering: A Unified View for Fast GNN Training [24.917363701638607]
  グラフニューラルネットワーク(GNN)は、構造化グラフデータを扱う強力なツールであり、ノード分類、グラフ分類、クラスタリングといったタスクに対処する。 しかし、GNN計算のスパース性は、従来のディープニューラルネットワークと比較してパフォーマンス最適化に新たな課題をもたらす。 GNN計算,I/O,メモリの統一的なビューを提供することで,これらの課題に対処する。
  論文  参考訳（メタデータ） (2023-08-23T12:27:55Z)
• Distributed Graph Neural Network Training: A Survey [51.77035975191926]
  グラフニューラルネットワーク(GNN)は、グラフに基づいてトレーニングされたディープラーニングモデルの一種で、さまざまな領域にうまく適用されている。 GNNの有効性にもかかわらず、GNNが大規模グラフに効率的にスケールすることは依然として困難である。 治療法として、分散コンピューティングは大規模GNNをトレーニングするための有望なソリューションとなる。
  論文  参考訳（メタデータ） (2022-11-01T01:57:00Z)
• Robust Graph Neural Networks using Weighted Graph Laplacian [1.8292714902548342]
  グラフニューラルネットワーク(GNN)は、入力データにおけるノイズや敵攻撃に対して脆弱である。 重み付きラプラシアンGNN(RWL-GNN)として知られるGNNの強化のための汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-08-03T05:36:35Z)
• Parallel and Distributed Graph Neural Networks: An In-Depth Concurrency Analysis [28.464210819376593]
  グラフニューラルネットワーク(GNN)は、ディープラーニングにおいて最も強力なツールのひとつだ。 ノード分類、グラフ分類、リンク予測などの非構造化ネットワーク上の複雑な問題を高精度に解決する。 しかし、GNNの推論とトレーニングは複雑であり、不規則なグラフ処理の特徴と密度と正規な計算を一意に組み合わせている。 この複雑さは、現代の大規模並列アーキテクチャ上でGNNを効率的に実行することを非常に困難にしている。
  論文  参考訳（メタデータ） (2022-05-19T17:11:45Z)
• TC-GNN: Bridging Sparse GNN Computation and Dense Tensor Cores on GPUs [21.63854538768414]
  我々はGPUコアユニット(TCU)をベースとした最初のGNNフレームワークであるTC-GNNを提案する。 中心となるアイデアは、"スパース"GNNを高性能な"デンス"TCUと整合させることである。 厳密な実験は、最先端のDGLフレームワーク上で平均1.70のスピードアップを示している。
  論文  参考訳（メタデータ） (2021-12-03T18:06:23Z)
• BlockGNN: Towards Efficient GNN Acceleration Using Block-Circulant Weight Matrices [9.406007544032848]
  グラフニューラルネットワーク(GNN)は、非ユークリッドグラフデータを分析するための最先端のアルゴリズムです。 リアルタイムにGNNを推論する方法は、リソース制限のあるエッジコンピューティングプラットフォームでは難しい問題となっている。 効率的なGNN加速を実現するソフトウェアハードウェアの共同設計手法であるBlockGNNを提案する。
  論文  参考訳（メタデータ） (2021-04-13T14:09:22Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)
• GPT-GNN: Generative Pre-Training of Graph Neural Networks [93.35945182085948]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データのモデリングにおいて強力であることが示されている。 生成事前学習によりGNNを初期化するためのGPT-GNNフレームワークを提案する。 GPT-GNNは、様々な下流タスクにおいて、事前トレーニングを最大9.1%行うことなく、最先端のGNNモデルを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2020-06-27T20:12:33Z)
• Towards Deeper Graph Neural Networks with Differentiable Group Normalization [61.20639338417576]
  グラフニューラルネットワーク(GNN)は、隣接するノードを集約することでノードの表現を学習する。 オーバースムーシングは、レイヤーの数が増えるにつれてGNNのパフォーマンスが制限される重要な問題のひとつです。 2つのオーバースムースなメトリクスと新しいテクニック、すなわち微分可能群正規化(DGN)を導入する。
  論文  参考訳（メタデータ） (2020-06-12T07:18:02Z)
• Eigen-GNN: A Graph Structure Preserving Plug-in for GNNs [95.63153473559865]
  グラフニューラルネットワーク(GNN)は、グラフ上の新たな機械学習モデルである。 既存のGNNモデルの多くは浅く、本質的に機能中心である。 我々は,既存の浅いGNNがグラフ構造をよく保存できないことを経験的かつ解析的に示す。 本稿では,グラフ構造保存におけるGNNの能力を高めるプラグインモジュールであるEigen-GNNを提案する。
  論文  参考訳（メタデータ） (2020-06-08T02:47:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。