論文の概要: GCoD: Graph Convolutional Network Acceleration via Dedicated Algorithm
and Accelerator Co-Design
- arxiv url: http://arxiv.org/abs/2112.11594v1
- Date: Wed, 22 Dec 2021 00:30:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-23 16:03:31.033892
- Title: GCoD: Graph Convolutional Network Acceleration via Dedicated Algorithm
and Accelerator Co-Design
- Title(参考訳): GCoD: 述語アルゴリズムとアクセラレータ共設計によるグラフ畳み込みネットワーク高速化
- Authors: Haoran You, Tong Geng, Yongan Zhang, Ang Li, Yingyan Lin
- Abstract要約: グラフ畳み込みネットワーク(GCN)が最先端のグラフ学習モデルとして登場した。
大きなグラフデータセット上でGCNを推論することは、非常に難しい。
本稿では、前述のGCNの不規則性を大幅に軽減できるGCNアルゴリズムとGCoDと呼ばれる加速器協調設計フレームワークを提案する。
- 参考スコア(独自算出の注目度): 27.311994997480745
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Graph Convolutional Networks (GCNs) have emerged as the state-of-the-art
graph learning model. However, it can be notoriously challenging to inference
GCNs over large graph datasets, limiting their application to large real-world
graphs and hindering the exploration of deeper and more sophisticated GCN
graphs. This is because real-world graphs can be extremely large and sparse.
Furthermore, the node degree of GCNs tends to follow the power-law distribution
and therefore have highly irregular adjacency matrices, resulting in
prohibitive inefficiencies in both data processing and movement and thus
substantially limiting the achievable GCN acceleration efficiency. To this end,
this paper proposes a GCN algorithm and accelerator Co-Design framework dubbed
GCoD which can largely alleviate the aforementioned GCN irregularity and boost
GCNs' inference efficiency. Specifically, on the algorithm level, GCoD
integrates a split and conquer GCN training strategy that polarizes the graphs
to be either denser or sparser in local neighborhoods without compromising the
model accuracy, resulting in graph adjacency matrices that (mostly) have merely
two levels of workload and enjoys largely enhanced regularity and thus ease of
acceleration. On the hardware level, we further develop a dedicated two-pronged
accelerator with a separated engine to process each of the aforementioned
denser and sparser workloads, further boosting the overall utilization and
acceleration efficiency. Extensive experiments and ablation studies validate
that our GCoD consistently reduces the number of off-chip accesses, leading to
speedups of 15286x, 294x, 7.8x, and 2.5x as compared to CPUs, GPUs, and
prior-art GCN accelerators including HyGCN and AWB-GCN, respectively, while
maintaining or even improving the task accuracy.
- Abstract(参考訳): グラフ畳み込みネットワーク(GCN)が最先端のグラフ学習モデルとして登場した。
しかし、大規模なグラフデータセットに対してGCNを推論し、アプリケーションを大規模な現実世界のグラフに制限し、より深くより洗練されたGCNグラフの探索を妨げることで知られている。
これは、現実世界のグラフが非常に大きく、疎いためです。
さらに、GCNのノード次数は電力-法則分布に従う傾向にあり、従って非常に不規則な隣接行列を持ち、データ処理と移動の両方において非効率となり、GCN加速効率を著しく制限する。
そこで本研究では,上記GCNの不規則性を大幅に軽減し,GCNの推論効率を向上するGCNアルゴリズムとアクセラレータ共設計フレームワークGCoDを提案する。
特にアルゴリズムレベルでは、GCoDはGCNトレーニング戦略を分割し、グラフをモデル精度を損なうことなく、局所的により密度の高いグラフまたはスペーサーに分極する。
ハードウェアレベルでは、前述の密度の高いワークロードとスパルサーワークロードをそれぞれ処理するためのエンジンを分離した専用2段加速器を更に開発し、全体的な使用率と加速効率をさらに高めます。
GCoDはCPU,GPU,HyGCNやAWB-GCNといった先進的なGCNアクセラレータと比較して,それぞれ15286x,294x,7.8x,2.5xの高速化を実現し,タスク精度の維持や改善を実現しています。
関連論文リスト
- Graph Transformers for Large Graphs [57.19338459218758]
この研究は、モデルの特徴と重要な設計制約を識別することに焦点を当てた、単一の大規模グラフでの表現学習を前進させる。
この研究の重要な革新は、局所的な注意機構と組み合わされた高速な近傍サンプリング技術の作成である。
ogbn-products と snap-patents の3倍の高速化と16.8%の性能向上を報告し、ogbn-100M で LargeGT を5.9% の性能改善で拡張した。
論文 参考訳(メタデータ) (2023-12-18T11:19:23Z) - T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。
実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
論文 参考訳(メタデータ) (2023-10-05T02:58:29Z) - SGCN: Exploiting Compressed-Sparse Features in Deep Graph Convolutional
Network Accelerators [6.582242235154822]
グラフ畳み込みネットワーク(GCN)は、従来のニューラルネットワークの適用範囲が限られているため、ますます人気が高まっている。
本稿では,高速かつエネルギー効率の高いGCN加速器であるSGCNを提案する。
我々は、SGCNが既存の加速器と比べて1.71倍のスピードアップと43.9%のエネルギー効率を達成することを示した。
論文 参考訳(メタデータ) (2023-01-25T02:34:01Z) - Beyond Graph Convolutional Network: An Interpretable
Regularizer-centered Optimization Framework [12.116373546916078]
グラフ畳み込みネットワーク(GCN)は、性能向上と強力な一般化により、広く注目を集めている。
本稿では,ほとんどのGCNを解釈可能な正規化器中心最適化フレームワークを提案する。
提案フレームワークでは,グラフデータからトポロジとセマンティック構造を捉えるために,二重正規化グラフ畳み込みネットワーク(dubed tsGCN)を考案した。
論文 参考訳(メタデータ) (2023-01-11T05:51:33Z) - H-GCN: A Graph Convolutional Network Accelerator on Versal ACAP
Architecture [13.149863422504332]
H-GCNはその固有の不均一性に基づいてグラフを3つの部分グラフに分割し、それぞれPLとAIEを使用して処理する。
最先端のGNNアクセラレータと比較して、H-GCNは平均して1.12.3Xのスピードアップを達成する。
論文 参考訳(メタデータ) (2022-06-28T03:37:31Z) - BNS-GCN: Efficient Full-Graph Training of Graph Convolutional Networks
with Boundary Node Sampling [25.32242812045678]
本稿では,BNS-GCNという,ランダム境界ノードサンプリングを併用して,効率よくスケーラブルな分散GCNトレーニングを実現する,シンプルで効果的なBNS-GCNを提案する。
BNS-GCNの有効性を一貫して検証し、スループットを最大16.2倍にし、メモリ使用量を最大58%削減し、フルグラフの精度を維持した。
論文 参考訳(メタデータ) (2022-03-21T13:44:37Z) - GROW: A Row-Stationary Sparse-Dense GEMM Accelerator for
Memory-Efficient Graph Convolutional Neural Networks [4.669338722185048]
グラフ畳み込みニューラルネットワーク(GCN)のユニークな特徴は、その2つの主要な実行ステージであるアグリゲーションと組み合わせが、大幅に異なるデータフローを示すことである。
本稿では,GustavsonのアルゴリズムをベースとしたGCNアクセラレータGROWについて述べる。
論文 参考訳(メタデータ) (2022-03-01T00:26:31Z) - Bi-GCN: Binary Graph Convolutional Network [57.733849700089955]
ネットワークパラメータと入力ノードの特徴を二項化するバイナリグラフ畳み込みネットワーク(Bi-GCN)を提案する。
我々のBi-GCNは、ネットワークパラメータと入力データの両方で平均30倍のメモリ消費を削減でき、推論速度を平均47倍に加速できる。
論文 参考訳(メタデータ) (2020-10-15T07:26:23Z) - DeeperGCN: All You Need to Train Deeper GCNs [66.64739331859226]
グラフ畳み込みネットワーク(GCN)はグラフ上での表現学習の力で注目されている。
非常に深いレイヤを積み重ねることのできる畳み込みニューラルネットワーク(CNN)とは異なり、GCNはより深く進むと、勾配の消失、過度なスムース化、過度に適合する問題に悩まされる。
本稿では,非常に深いGCNを正常かつ確実に訓練できるDeeperGCNを提案する。
論文 参考訳(メタデータ) (2020-06-13T23:00:22Z) - Graph Highway Networks [77.38665506495553]
グラフ畳み込みネットワーク(GCN)は、グラフ表現の有効性と効率性から、グラフ表現の学習に広く利用されている。
彼らは、多くの層が積み重ねられたとき、学習された表現が類似したベクトルに収束するという悪名高い過度に滑らかな問題に悩まされる。
本稿では,GCN学習プロセスにおける均一性と不均一性との間のトレードオフのバランスをとるため,ゲーティングユニットを利用したグラフハイウェイネットワークを提案する。
論文 参考訳(メタデータ) (2020-04-09T16:26:43Z) - L$^2$-GCN: Layer-Wise and Learned Efficient Training of Graph
Convolutional Networks [118.37805042816784]
グラフ畳み込みネットワーク(GCN)は、多くのアプリケーションで人気が高まっているが、大きなグラフデータセットをトレーニングするのは依然として難しい。
本稿では,GCN (L-GCN) のための新しいレイヤワイドトレーニングフレームワークを提案する。
実験の結果、L-GCNは少なくとも1桁の精度で最先端よりも高速であり、メモリ使用量はデータセットのサイズに依存しないことがわかった。
論文 参考訳(メタデータ) (2020-03-30T16:37:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。