論文の概要: LW-GCN: A Lightweight FPGA-based Graph Convolutional Network Accelerator
- arxiv url: http://arxiv.org/abs/2111.03184v1
- Date: Thu, 4 Nov 2021 22:29:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-08 16:07:14.775868
- Title: LW-GCN: A Lightweight FPGA-based Graph Convolutional Network Accelerator
- Title（参考訳）: LW-GCN:軽量FPGAベースのグラフ畳み込みネットワーク加速器
- Authors: Zhuofu Tao, Chen Wu, Yuan Liang, and Lei He
- Abstract要約: グラフ畳み込みネットワーク(GCN)は、非ユークリッドグラフデータを効率的に処理するために導入された。
LW-GCNは主要なGCN演算をスパースセンス行列乗算(SDMM)と密度行列乗算(DMM)に分解する
既存のCPU、GPU、最先端FPGAベースのアクセラレータと比較して、LW-GCNはレイテンシを最大60倍、12倍、および1.7倍に削減し、それぞれ最大912倍、511倍、および3.87倍まで電力効率を向上させる。
- 参考スコア（独自算出の注目度）: 14.145707219377917
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph convolutional networks (GCNs) have been introduced to effectively
process non-euclidean graph data. However, GCNs incur large amounts of
irregularity in computation and memory access, which prevents efficient use of
traditional neural network accelerators. Moreover, existing dedicated GCN
accelerators demand high memory volumes and are difficult to implement onto
resource limited edge devices. In this work, we propose LW-GCN, a lightweight
FPGA-based accelerator with a software-hardware co-designed process to tackle
irregularity in computation and memory access in GCN inference. LW-GCN
decomposes the main GCN operations into sparse-dense matrix multiplication
(SDMM) and dense matrix multiplication (DMM). We propose a novel compression
format to balance workload across PEs and prevent data hazards. Moreover, we
apply data quantization and workload tiling, and map both SDMM and DMM of GCN
inference onto a uniform architecture on resource limited hardware. Evaluation
on GCN and GraphSAGE are performed on Xilinx Kintex-7 FPGA with three popular
datasets. Compared to existing CPU, GPU, and state-of-the-art FPGA-based
accelerator, LW-GCN reduces latency by up to 60x, 12x and 1.7x and increases
power efficiency by up to 912x., 511x and 3.87x, respectively. Furthermore,
compared with NVIDIA's latest edge GPU Jetson Xavier NX, LW-GCN achieves
speedup and energy savings of 32x and 84x, respectively.
- Abstract（参考訳）: グラフ畳み込みネットワーク(GCN)は、非ユークリッドグラフデータを効率的に処理するために導入された。
しかし、GCNは計算とメモリアクセスにおいて大量の不規則を引き起こし、従来のニューラルネットワークアクセラレーターの効率的な使用を妨げている。
さらに、既存の専用GCNアクセラレータは高いメモリボリュームを必要としており、リソース制限されたエッジデバイスに実装することは困難である。
本稿では,GCN推論における計算およびメモリアクセスの不規則性に対処するために,ソフトウェアハードウェアを共設計した軽量FPGAベースのアクセラレータであるLW-GCNを提案する。
LW-GCNは主要なGCN演算をスパースセンス行列乗算(SDMM)と密度行列乗算(DMM)に分解する。
本稿では,PE間の負荷バランスとデータハザード防止のための新しい圧縮形式を提案する。
さらに、データ量子化とワークロードタイリングを適用し、リソース制限ハードウェア上の一様アーキテクチャに、GCN推論のSDMMとDMMの両方をマッピングする。
3つの一般的なデータセットを持つXilinx Kintex-7 FPGA上でGCNとGraphSAGEの評価を行う。
既存のCPU、GPU、最先端FPGAベースのアクセラレータと比較して、LW-GCNはレイテンシを最大60倍、12倍、および1.7倍に削減し、電力効率を最大912倍に向上させる。
511xと3.87xであった。
さらに、NVIDIAの最新のエッジGPU Jetson Xavier NXと比較して、LW-GCNはそれぞれ32xと84xのスピードアップと省エネを実現している。
関連論文リスト
- Accel-GCN: High-Performance GPU Accelerator Design for Graph Convolution
Networks [12.181052673940465]
グラフ畳み込みネットワーク(GCN)は、様々な領域にわたるグラフデータから潜伏情報を抽出する上で重要である。
本稿では,GCNのためのGPUアクセラレータアーキテクチャであるAccel-GCNを紹介する。
18のベンチマークグラフに対するAccel-GCNの評価では、cuSPARSE、GNNAdvisor、Graph-BLASTをそれぞれ1.17倍、1.86倍、2.94倍で上回っている。
論文 参考訳（メタデータ） (2023-08-22T23:12:17Z) - SGCN: Exploiting Compressed-Sparse Features in Deep Graph Convolutional
Network Accelerators [6.582242235154822]
グラフ畳み込みネットワーク(GCN)は、従来のニューラルネットワークの適用範囲が限られているため、ますます人気が高まっている。
本稿では,高速かつエネルギー効率の高いGCN加速器であるSGCNを提案する。
我々は、SGCNが既存の加速器と比べて1.71倍のスピードアップと43.9%のエネルギー効率を達成することを示した。
論文 参考訳（メタデータ） (2023-01-25T02:34:01Z) - GCoD: Graph Convolutional Network Acceleration via Dedicated Algorithm
and Accelerator Co-Design [27.311994997480745]
グラフ畳み込みネットワーク(GCN)が最先端のグラフ学習モデルとして登場した。
大きなグラフデータセット上でGCNを推論することは、非常に難しい。
本稿では、前述のGCNの不規則性を大幅に軽減できるGCNアルゴリズムとGCoDと呼ばれる加速器協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2021-12-22T00:30:50Z) - MG-GCN: Scalable Multi-GPU GCN Training Framework [1.7188280334580197]
グラフ畳み込みネットワーク(GCN)モデルの完全なバッチトレーニングは、大きなグラフのための単一のGPUでは実現できない。
MG-GCNは、メモリバッファの効率的な再使用を含む、複数のハイパフォーマンスコンピューティング最適化を採用している。
MG-GCNは、DGX-1(V100)とDGX-A100の両方のRedditグラフ上で、DGLに関する超線形スピードアップを達成する。
論文 参考訳（メタデータ） (2021-10-17T00:41:43Z) - GNNIE: GNN Inference Engine with Load-balancing and Graph-Specific
Caching [2.654276707313136]
GNNIEは、幅広いグラフニューラルネットワーク(GNN)を実行するために設計されたアクセラレータである。
i)ノード特徴オペランドをブロックに分割し、 (ii) 再注文と再配布を行い、 (iii) 処理要素間の通信オーバーヘッドの少ない柔軟なMACアーキテクチャを使用する。
GNNIEは、CPU上の8890倍、グラフアテンションネットワーク(GAT)、グラフ畳み込みネットワーク(GCN)、GraphSAGE、GINConv、DiffPool上の複数のデータセット上のGPU上の295倍の平均スピードアップを達成する。
論文 参考訳（メタデータ） (2021-05-21T20:07:14Z) - VersaGNN: a Versatile accelerator for Graph neural networks [81.1667080640009]
我々は,超効率的なサイストリックアレイベースの多用途ハードウェアアクセラレータである textitVersaGNN を提案する。
textitVersaGNNは平均3712$times$ speedup with 1301.25$times$ energy reduction on CPU、35.4$times$ speedup with 17.66$times$ energy reduction on GPUを達成している。
論文 参考訳（メタデータ） (2021-05-04T04:10:48Z) - DistGNN: Scalable Distributed Training for Large-Scale Graph Neural
Networks [58.48833325238537]
大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。
本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。
4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
論文 参考訳（メタデータ） (2021-04-14T08:46:35Z) - Bi-GCN: Binary Graph Convolutional Network [57.733849700089955]
ネットワークパラメータと入力ノードの特徴を二項化するバイナリグラフ畳み込みネットワーク(Bi-GCN)を提案する。
我々のBi-GCNは、ネットワークパラメータと入力データの両方で平均30倍のメモリ消費を削減でき、推論速度を平均47倍に加速できる。
論文 参考訳（メタデータ） (2020-10-15T07:26:23Z) - DeeperGCN: All You Need to Train Deeper GCNs [66.64739331859226]
グラフ畳み込みネットワーク(GCN)はグラフ上での表現学習の力で注目されている。
非常に深いレイヤを積み重ねることのできる畳み込みニューラルネットワーク(CNN)とは異なり、GCNはより深く進むと、勾配の消失、過度なスムース化、過度に適合する問題に悩まされる。
本稿では,非常に深いGCNを正常かつ確実に訓練できるDeeperGCNを提案する。
論文 参考訳（メタデータ） (2020-06-13T23:00:22Z) - Graph Highway Networks [77.38665506495553]
グラフ畳み込みネットワーク(GCN)は、グラフ表現の有効性と効率性から、グラフ表現の学習に広く利用されている。
彼らは、多くの層が積み重ねられたとき、学習された表現が類似したベクトルに収束するという悪名高い過度に滑らかな問題に悩まされる。
本稿では,GCN学習プロセスにおける均一性と不均一性との間のトレードオフのバランスをとるため,ゲーティングユニットを利用したグラフハイウェイネットワークを提案する。
論文 参考訳（メタデータ） (2020-04-09T16:26:43Z) - L$^2$-GCN: Layer-Wise and Learned Efficient Training of Graph
Convolutional Networks [118.37805042816784]
グラフ畳み込みネットワーク(GCN)は、多くのアプリケーションで人気が高まっているが、大きなグラフデータセットをトレーニングするのは依然として難しい。
本稿では,GCN (L-GCN) のための新しいレイヤワイドトレーニングフレームワークを提案する。
実験の結果、L-GCNは少なくとも1桁の精度で最先端よりも高速であり、メモリ使用量はデータセットのサイズに依存しないことがわかった。
論文 参考訳（メタデータ） (2020-03-30T16:37:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。