論文の概要: Accelerating Sparse Graph Neural Networks with Tensor Core Optimization

• arxiv url: http://arxiv.org/abs/2412.12218v2
• Date: Sun, 23 Feb 2025 21:26:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 22:39:46.638492
• Title: Accelerating Sparse Graph Neural Networks with Tensor Core Optimization
• Title（参考訳）: テンソルコア最適化によるスパースグラフニューラルネットワークの高速化
• Authors: Ka Wai Wu,
• Abstract要約: グラフセンスネットワーク(GNN)は、ソーシャルネットワーク、バイオインフォマティクス、計算、レコメンデーションシステムなどの分野に広く応用されている。 従来の計算手法は、GNNの性能要求を満たすには不十分である。 最近の研究では、CoresとCoresを使った並列アクセラレーションが検討されているが、大きな課題が続いている。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Graph neural networks (GNNs) have seen extensive application in domains such as social networks, bioinformatics, and recommendation systems. However, the irregularity and sparsity of graph data challenge traditional computing methods, which are insufficient to meet the performance demands of GNNs. Recent research has explored parallel acceleration using CUDA Cores and Tensor Cores, but significant challenges persist: (1) kernel fusion leads to false high utilization, failing to treat CUDA and Tensor Cores as independent resources, and (2) heterogeneous cores have distinct computation preferences, causing inefficiencies. To address these issues, this paper proposes FTC-GNN, a novel acceleration framework that efficiently utilizes CUDA and Tensor Cores for GNN computation. FTC-GNN introduces (1) a collaborative design that enables the parallel utilization of CUDA and Tensor Cores and (2) a sparse-to-dense transformation strategy that assigns dense matrix operations to Tensor Cores while leveraging CUDA Cores for data management and sparse edge processing. This design optimizes GPU resource utilization and improves computational efficiency. Experimental results demonstrate the effectiveness of FTC-GNN using GCN and AGNN models across various datasets. For GCN, FTC-GNN achieves speedups of 4.90x, 7.10x, and 1.17x compared to DGL, PyG, and TC-GNN, respectively. For AGNN, it achieves speedups of 5.32x, 2.92x, and 1.02x, establishing its superiority in accelerating GNN computations.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、ソーシャルネットワーク、バイオインフォマティクス、レコメンデーションシステムといった分野に広く応用されている。 しかし,グラフデータの不規則性や空間性は,GNNの性能要求を満たすには不十分な従来の計算手法に挑戦する。 最近の研究では、CUDA CoresとTensor Coresを用いた並列加速度の研究が続けられているが、(1)カーネル融合は偽の高利用につながるため、CUDAとTensor Coresを独立したリソースとして扱うことができなかった。 本稿では, CUDA と Tensor Cores を効率よく GNN 計算に活用する新しいアクセラレーションフレームワークである FTC-GNN を提案する。 FTC-GNNは,(1)CUDAとTensor Coresの並列利用を可能にする協調設計,(2)データ管理と疎エッジ処理にCUDA Coresを活用しながら,密度の高い行列操作をTensor Coresに割り当てるスパース・ツー・デンス変換戦略を導入する。 この設計はGPUリソースの利用を最適化し、計算効率を向上させる。 実験結果から,GCNモデルとAGNNモデルを用いたFTC-GNNの有効性が示された。 GCNでは、FTC-GNNはDGL、PyG、TC-GNNと比較して4.90倍、7.10倍、および1.17倍のスピードアップを達成する。 AGNNでは5.32x、2.92x、1.02xの高速化を実現し、GNN計算の高速化においてその優位性を確立している。

関連論文リスト

• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
  ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる 本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。 我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
  論文  参考訳（メタデータ） (2024-05-27T17:52:12Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• Cached Operator Reordering: A Unified View for Fast GNN Training [24.917363701638607]
  グラフニューラルネットワーク(GNN)は、構造化グラフデータを扱う強力なツールであり、ノード分類、グラフ分類、クラスタリングといったタスクに対処する。 しかし、GNN計算のスパース性は、従来のディープニューラルネットワークと比較してパフォーマンス最適化に新たな課題をもたらす。 GNN計算,I/O,メモリの統一的なビューを提供することで,これらの課題に対処する。
  論文  参考訳（メタデータ） (2023-08-23T12:27:55Z)
• TC-GNN: Bridging Sparse GNN Computation and Dense Tensor Cores on GPUs [21.63854538768414]
  我々はGPUコアユニット(TCU)をベースとした最初のGNNフレームワークであるTC-GNNを提案する。 中心となるアイデアは、"スパース"GNNを高性能な"デンス"TCUと整合させることである。 厳密な実験は、最先端のDGLフレームワーク上で平均1.70のスピードアップを示している。
  論文  参考訳（メタデータ） (2021-12-03T18:06:23Z)
• APNN-TC: Accelerating Arbitrary Precision Neural Networks on Ampere GPU Tensor Cores [19.516279899089735]
  我々は、Ampere Coresにおける量子化の利点をフル活用するために、最初のArbitrary Precision Neural Network framework (APNN-TC)を導入する。 APNN-TCは、int1計算プリミティブとXOR/AND演算による任意のビット幅計算をサポートする。 これは、LAS CUTSカーネルとResNetやVGGといった様々なNNモデルよりも大幅に高速化できる。
  論文  参考訳（メタデータ） (2021-06-23T05:39:34Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• BlockGNN: Towards Efficient GNN Acceleration Using Block-Circulant Weight Matrices [9.406007544032848]
  グラフニューラルネットワーク(GNN)は、非ユークリッドグラフデータを分析するための最先端のアルゴリズムです。 リアルタイムにGNNを推論する方法は、リソース制限のあるエッジコンピューティングプラットフォームでは難しい問題となっている。 効率的なGNN加速を実現するソフトウェアハードウェアの共同設計手法であるBlockGNNを提案する。
  論文  参考訳（メタデータ） (2021-04-13T14:09:22Z)
• Towards Efficient Graph Convolutional Networks for Point Cloud Handling [181.59146413326056]
  ポイントクラウド上で学習するためのグラフ畳み込みネットワーク(GCN)の計算効率の向上を目指します。 一連の実験により、最適化されたネットワークは計算複雑性を減らし、メモリ消費を減らし、推論速度を加速した。
  論文  参考訳（メタデータ） (2021-04-12T17:59:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。