論文の概要: TC-GNN: Bridging Sparse GNN Computation and Dense Tensor Cores on GPUs
- arxiv url: http://arxiv.org/abs/2112.02052v4
- Date: Wed, 31 May 2023 19:24:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-03 02:23:30.060583
- Title: TC-GNN: Bridging Sparse GNN Computation and Dense Tensor Cores on GPUs
- Title（参考訳）: TC-GNN:GPU上のスパースGNN計算とDense Tensor Coreのブリッジ
- Authors: Yuke Wang, Boyuan Feng, Zheng Wang, Guyue Huang, Yufei Ding
- Abstract要約: 我々はGPUコアユニット(TCU)をベースとした最初のGNNフレームワークであるTC-GNNを提案する。
中心となるアイデアは、"スパース"GNNを高性能な"デンス"TCUと整合させることである。
厳密な実験は、最先端のDGLフレームワーク上で平均1.70のスピードアップを示している。
- 参考スコア（独自算出の注目度）: 21.63854538768414
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, graph neural networks (GNNs), as the backbone of graph-based
machine learning, demonstrate great success in various domains (e.g.,
e-commerce). However, the performance of GNNs is usually unsatisfactory due to
the highly sparse and irregular graph-based operations. To this end, we propose
TC-GNN, the first GNN acceleration framework based on GPU Tensor Core Units
(TCUs). The core idea is to reconcile the "Sparse" GNN computation with the
high-performance "Dense" TCUs. Specifically, we conduct an in-depth analysis of
the sparse operations in mainstream GNN computing frameworks. We introduce a
novel sparse graph translation technique to facilitate TCU processing of the
sparse GNN workload. We implement an effective CUDA core and TCU collaboration
design to fully utilize GPU resources. We integrate TC-GNN with the PyTorch
framework for high programmability. Rigorous experiments show an average of
1.70X speedup over the state-of-the-art DGL framework across various models and
datasets.
- Abstract（参考訳）: 近年、グラフベース機械学習のバックボーンであるグラフニューラルネットワーク(GNN)は、さまざまな領域(eコマースなど)で大きな成功を収めている。
しかしながら、GNNの性能は、非常にスパースで不規則なグラフベースの操作のため、通常不満足である。
そこで我々は,GPU Tensor Core Units (TCU) をベースとした最初のGNN加速フレームワークであるTC-GNNを提案する。
中心となる考え方は、"スパース" GNN 計算を高性能な "Dense" TCU と整合させることである。
具体的には、メインストリームのGNNコンピューティングフレームワークにおけるスパース操作の詳細な分析を行う。
スパースGNNワークロードのTCU処理を容易にする新しいスパースグラフ変換手法を提案する。
我々は,GPUリソースをフル活用するために,有効なCUDAコアとTCUコラボレーション設計を実装した。
TC-GNNとPyTorchフレームワークを統合し,高いプログラマビリティを実現する。
厳密な実験は、さまざまなモデルとデータセットにわたる最先端のDGLフレームワークの平均1.70倍のスピードアップを示している。
関連論文リスト
- GCV-Turbo: End-to-end Acceleration of GNN-based Computer Vision Tasks on FPGA [3.2507129535290926]
グラフニューラルネットワーク(GNN)は最近、様々な新しいコンピュータビジョン(CV)タスクに権限を与えている。
本稿では,FPGA上のドメイン固有アクセラレータであるGCV-Turboについて紹介する。
論文 参考訳（メタデータ） (2024-04-10T17:41:41Z) - GeoT: Tensor Centric Library for Graph Neural Network via Efficient Segment Reduction on GPU [8.15747734801831]
グラフニューラルネットワーク(GNN)に特化した最先端テンソル中心ライブラリGeoTを紹介する。
GeoTは、新しい設計原則を導入するだけでなく、利用可能なデザイン空間を拡大する革新的な並列アルゴリズムをデビューさせた。
GeoTは平均演算子のスピードアップが1.80倍、エンドツーエンドのスピードアップが1.68倍であることを示すことでかなり進歩した。
論文 参考訳（メタデータ） (2024-04-03T19:03:15Z) - BitGNN: Unleashing the Performance Potential of Binary Graph Neural
Networks on GPUs [19.254040098787893]
最近の研究によると、バイナリグラフニューラルネットワーク(GNN)は双有理テンソルによるGNNの計算を省くことを約束している。
この作業は、効率の観点からバイナリGNN推論を再設計する。
GCN、GraphSAGE、GraphSAINTによる実世界のグラフの結果、提案手法は、同じ精度で8-22Xで最先端のバイナリGNN実装より優れていた。
論文 参考訳（メタデータ） (2023-05-04T03:20:25Z) - Distributed Graph Neural Network Training: A Survey [51.77035975191926]
グラフニューラルネットワーク(GNN)は、グラフに基づいてトレーニングされたディープラーニングモデルの一種で、さまざまな領域にうまく適用されている。
GNNの有効性にもかかわらず、GNNが大規模グラフに効率的にスケールすることは依然として困難である。
治療法として、分散コンピューティングは大規模GNNをトレーニングするための有望なソリューションとなる。
論文 参考訳（メタデータ） (2022-11-01T01:57:00Z) - A Comprehensive Study on Large-Scale Graph Training: Benchmarking and
Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である
本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。
提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文 参考訳（メタデータ） (2022-10-14T03:43:05Z) - Hardware/Software Co-Programmable Framework for Computational SSDs to
Accelerate Deep Learning Service on Large-Scale Graphs [8.698995648930806]
グラフニューラルネットワーク(GNN)は、100億のエッジからなる大規模グラフを処理する。
高速でエネルギー効率のよいGNN処理のための,使い易く,ほぼ保存可能な推論基盤を提供する,大規模グラフの新たなディープラーニングフレームワークであるHolisticGNNを提案する。
論文 参考訳（メタデータ） (2022-01-23T06:08:18Z) - Training Graph Neural Networks with 1000 Layers [133.84813995275988]
我々は、GNNのメモリとパラメータ効率を向上させるために、可逆接続、グループ畳み込み、重み付け、平衡モデルについて検討する。
我々の知る限りでは、RevGNN-Deepは文学で最も深いGNNである。
論文 参考訳（メタデータ） (2021-06-14T15:03:00Z) - DistGNN: Scalable Distributed Training for Large-Scale Graph Neural
Networks [58.48833325238537]
大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。
本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。
4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
論文 参考訳（メタデータ） (2021-04-14T08:46:35Z) - BlockGNN: Towards Efficient GNN Acceleration Using Block-Circulant
Weight Matrices [9.406007544032848]
グラフニューラルネットワーク(GNN)は、非ユークリッドグラフデータを分析するための最先端のアルゴリズムです。
リアルタイムにGNNを推論する方法は、リソース制限のあるエッジコンピューティングプラットフォームでは難しい問題となっている。
効率的なGNN加速を実現するソフトウェアハードウェアの共同設計手法であるBlockGNNを提案する。
論文 参考訳（メタデータ） (2021-04-13T14:09:22Z) - A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。
グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
論文 参考訳（メタデータ） (2021-02-12T21:52:43Z) - Eigen-GNN: A Graph Structure Preserving Plug-in for GNNs [95.63153473559865]
グラフニューラルネットワーク(GNN)は、グラフ上の新たな機械学習モデルである。
既存のGNNモデルの多くは浅く、本質的に機能中心である。
我々は,既存の浅いGNNがグラフ構造をよく保存できないことを経験的かつ解析的に示す。
本稿では,グラフ構造保存におけるGNNの能力を高めるプラグインモジュールであるEigen-GNNを提案する。
論文 参考訳（メタデータ） (2020-06-08T02:47:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。