Fugu-MT 論文翻訳(概要): GCoD: Graph Convolutional Network Acceleration via Dedicated Algorithm and Accelerator Co-Design

論文の概要: GCoD: Graph Convolutional Network Acceleration via Dedicated Algorithm and Accelerator Co-Design

arxiv url: http://arxiv.org/abs/2112.11594v1
Date: Wed, 22 Dec 2021 00:30:50 GMT
ステータス: 処理完了
システム内更新日: 2021-12-23 16:03:31.033892
Title: GCoD: Graph Convolutional Network Acceleration via Dedicated Algorithm and Accelerator Co-Design
Title（参考訳）: GCoD: 述語アルゴリズムとアクセラレータ共設計によるグラフ畳み込みネットワーク高速化
Authors: Haoran You, Tong Geng, Yongan Zhang, Ang Li, Yingyan Lin
Abstract要約: グラフ畳み込みネットワーク(GCN)が最先端のグラフ学習モデルとして登場した。大きなグラフデータセット上でGCNを推論することは、非常に難しい。本稿では、前述のGCNの不規則性を大幅に軽減できるGCNアルゴリズムとGCoDと呼ばれる加速器協調設計フレームワークを提案する。
参考スコア（独自算出の注目度）: 27.311994997480745
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Graph Convolutional Networks (GCNs) have emerged as the state-of-the-art graph learning model. However, it can be notoriously challenging to inference GCNs over large graph datasets, limiting their application to large real-world graphs and hindering the exploration of deeper and more sophisticated GCN graphs. This is because real-world graphs can be extremely large and sparse. Furthermore, the node degree of GCNs tends to follow the power-law distribution and therefore have highly irregular adjacency matrices, resulting in prohibitive inefficiencies in both data processing and movement and thus substantially limiting the achievable GCN acceleration efficiency. To this end, this paper proposes a GCN algorithm and accelerator Co-Design framework dubbed GCoD which can largely alleviate the aforementioned GCN irregularity and boost GCNs' inference efficiency. Specifically, on the algorithm level, GCoD integrates a split and conquer GCN training strategy that polarizes the graphs to be either denser or sparser in local neighborhoods without compromising the model accuracy, resulting in graph adjacency matrices that (mostly) have merely two levels of workload and enjoys largely enhanced regularity and thus ease of acceleration. On the hardware level, we further develop a dedicated two-pronged accelerator with a separated engine to process each of the aforementioned denser and sparser workloads, further boosting the overall utilization and acceleration efficiency. Extensive experiments and ablation studies validate that our GCoD consistently reduces the number of off-chip accesses, leading to speedups of 15286x, 294x, 7.8x, and 2.5x as compared to CPUs, GPUs, and prior-art GCN accelerators including HyGCN and AWB-GCN, respectively, while maintaining or even improving the task accuracy.
Abstract（参考訳）: グラフ畳み込みネットワーク(GCN)が最先端のグラフ学習モデルとして登場した。しかし、大規模なグラフデータセットに対してGCNを推論し、アプリケーションを大規模な現実世界のグラフに制限し、より深くより洗練されたGCNグラフの探索を妨げることで知られている。これは、現実世界のグラフが非常に大きく、疎いためです。さらに、GCNのノード次数は電力-法則分布に従う傾向にあり、従って非常に不規則な隣接行列を持ち、データ処理と移動の両方において非効率となり、GCN加速効率を著しく制限する。そこで本研究では,上記GCNの不規則性を大幅に軽減し,GCNの推論効率を向上するGCNアルゴリズムとアクセラレータ共設計フレームワークGCoDを提案する。特にアルゴリズムレベルでは、GCoDはGCNトレーニング戦略を分割し、グラフをモデル精度を損なうことなく、局所的により密度の高いグラフまたはスペーサーに分極する。ハードウェアレベルでは、前述の密度の高いワークロードとスパルサーワークロードをそれぞれ処理するためのエンジンを分離した専用2段加速器を更に開発し、全体的な使用率と加速効率をさらに高めます。 GCoDはCPU,GPU,HyGCNやAWB-GCNといった先進的なGCNアクセラレータと比較して,それぞれ15286x,294x,7.8x,2.5xの高速化を実現し,タスク精度の維持や改善を実現しています。

関連論文リスト

Graph Transformers for Large Graphs [57.19338459218758]
この研究は、モデルの特徴と重要な設計制約を識別することに焦点を当てた、単一の大規模グラフでの表現学習を前進させる。この研究の重要な革新は、局所的な注意機構と組み合わされた高速な近傍サンプリング技術の作成である。 ogbn-products と snap-patents の3倍の高速化と16.8%の性能向上を報告し、ogbn-100M で LargeGT を5.9% の性能改善で拡張した。
論文参考訳（メタデータ） (2023-12-18T11:19:23Z)
T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
論文参考訳（メタデータ） (2023-10-05T02:58:29Z)
SGCN: Exploiting Compressed-Sparse Features in Deep Graph Convolutional Network Accelerators [6.582242235154822]
グラフ畳み込みネットワーク(GCN)は、従来のニューラルネットワークの適用範囲が限られているため、ますます人気が高まっている。本稿では,高速かつエネルギー効率の高いGCN加速器であるSGCNを提案する。我々は、SGCNが既存の加速器と比べて1.71倍のスピードアップと43.9%のエネルギー効率を達成することを示した。
論文参考訳（メタデータ） (2023-01-25T02:34:01Z)
Beyond Graph Convolutional Network: An Interpretable Regularizer-centered Optimization Framework [12.116373546916078]
グラフ畳み込みネットワーク(GCN)は、性能向上と強力な一般化により、広く注目を集めている。本稿では,ほとんどのGCNを解釈可能な正規化器中心最適化フレームワークを提案する。提案フレームワークでは,グラフデータからトポロジとセマンティック構造を捉えるために,二重正規化グラフ畳み込みネットワーク(dubed tsGCN)を考案した。
論文参考訳（メタデータ） (2023-01-11T05:51:33Z)
H-GCN: A Graph Convolutional Network Accelerator on Versal ACAP Architecture [13.149863422504332]
H-GCNはその固有の不均一性に基づいてグラフを3つの部分グラフに分割し、それぞれPLとAIEを使用して処理する。最先端のGNNアクセラレータと比較して、H-GCNは平均して1.12.3Xのスピードアップを達成する。
論文参考訳（メタデータ） (2022-06-28T03:37:31Z)
BNS-GCN: Efficient Full-Graph Training of Graph Convolutional Networks with Boundary Node Sampling [25.32242812045678]
本稿では,BNS-GCNという,ランダム境界ノードサンプリングを併用して,効率よくスケーラブルな分散GCNトレーニングを実現する,シンプルで効果的なBNS-GCNを提案する。 BNS-GCNの有効性を一貫して検証し、スループットを最大16.2倍にし、メモリ使用量を最大58%削減し、フルグラフの精度を維持した。
論文参考訳（メタデータ） (2022-03-21T13:44:37Z)
GROW: A Row-Stationary Sparse-Dense GEMM Accelerator for Memory-Efficient Graph Convolutional Neural Networks [4.669338722185048]
グラフ畳み込みニューラルネットワーク(GCN)のユニークな特徴は、その2つの主要な実行ステージであるアグリゲーションと組み合わせが、大幅に異なるデータフローを示すことである。本稿では,GustavsonのアルゴリズムをベースとしたGCNアクセラレータGROWについて述べる。
論文参考訳（メタデータ） (2022-03-01T00:26:31Z)
Bi-GCN: Binary Graph Convolutional Network [57.733849700089955]
ネットワークパラメータと入力ノードの特徴を二項化するバイナリグラフ畳み込みネットワーク(Bi-GCN)を提案する。我々のBi-GCNは、ネットワークパラメータと入力データの両方で平均30倍のメモリ消費を削減でき、推論速度を平均47倍に加速できる。
論文参考訳（メタデータ） (2020-10-15T07:26:23Z)
DeeperGCN: All You Need to Train Deeper GCNs [66.64739331859226]
グラフ畳み込みネットワーク(GCN)はグラフ上での表現学習の力で注目されている。非常に深いレイヤを積み重ねることのできる畳み込みニューラルネットワーク(CNN)とは異なり、GCNはより深く進むと、勾配の消失、過度なスムース化、過度に適合する問題に悩まされる。本稿では,非常に深いGCNを正常かつ確実に訓練できるDeeperGCNを提案する。
論文参考訳（メタデータ） (2020-06-13T23:00:22Z)
Graph Highway Networks [77.38665506495553]
グラフ畳み込みネットワーク(GCN)は、グラフ表現の有効性と効率性から、グラフ表現の学習に広く利用されている。彼らは、多くの層が積み重ねられたとき、学習された表現が類似したベクトルに収束するという悪名高い過度に滑らかな問題に悩まされる。本稿では,GCN学習プロセスにおける均一性と不均一性との間のトレードオフのバランスをとるため,ゲーティングユニットを利用したグラフハイウェイネットワークを提案する。
論文参考訳（メタデータ） (2020-04-09T16:26:43Z)
L$^2$-GCN: Layer-Wise and Learned Efficient Training of Graph Convolutional Networks [118.37805042816784]
グラフ畳み込みネットワーク(GCN)は、多くのアプリケーションで人気が高まっているが、大きなグラフデータセットをトレーニングするのは依然として難しい。本稿では,GCN (L-GCN) のための新しいレイヤワイドトレーニングフレームワークを提案する。実験の結果、L-GCNは少なくとも1桁の精度で最先端よりも高速であり、メモリ使用量はデータセットのサイズに依存しないことがわかった。
論文参考訳（メタデータ） (2020-03-30T16:37:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。