論文の概要: SGCN: Exploiting Compressed-Sparse Features in Deep Graph Convolutional Network Accelerators

• arxiv url: http://arxiv.org/abs/2301.10388v1
• Date: Wed, 25 Jan 2023 02:34:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-26 16:06:32.781173
• Title: SGCN: Exploiting Compressed-Sparse Features in Deep Graph Convolutional Network Accelerators
• Title（参考訳）: SGCN:Deep Graph Convolutional Network Acceleratorにおける圧縮スパース機能の爆発
• Authors: Mingi Yoo, Jaeyong Song, Jounghoo Lee, Namhyung Kim, Youngsok Kim, and Jinho Lee
• Abstract要約: グラフ畳み込みネットワーク(GCN)は、従来のニューラルネットワークの適用範囲が限られているため、ますます人気が高まっている。 本稿では,高速かつエネルギー効率の高いGCN加速器であるSGCNを提案する。 我々は、SGCNが既存の加速器と比べて1.71倍のスピードアップと43.9%のエネルギー効率を達成することを示した。
• 参考スコア（独自算出の注目度）: 6.582242235154822
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph convolutional networks (GCNs) are becoming increasingly popular as they overcome the limited applicability of prior neural networks. A GCN takes as input an arbitrarily structured graph and executes a series of layers which exploit the graph's structure to calculate their output features. One recent trend in GCNs is the use of deep network architectures. As opposed to the traditional GCNs which only span around two to five layers deep, modern GCNs now incorporate tens to hundreds of layers with the help of residual connections. From such deep GCNs, we find an important characteristic that they exhibit very high intermediate feature sparsity. We observe that with deep layers and residual connections, the number of zeros in the intermediate features sharply increases. This reveals a new opportunity for accelerators to exploit in GCN executions that was previously not present. In this paper, we propose SGCN, a fast and energy-efficient GCN accelerator which fully exploits the sparse intermediate features of modern GCNs. SGCN suggests several techniques to achieve significantly higher performance and energy efficiency than the existing accelerators. First, SGCN employs a GCN-friendly feature compression format. We focus on reducing the off-chip memory traffic, which often is the bottleneck for GCN executions. Second, we propose microarchitectures for seamlessly handling the compressed feature format. Third, to better handle locality in the existence of the varying sparsity, SGCN employs sparsity-aware cooperation. Sparsity-aware cooperation creates a pattern that exhibits multiple reuse windows, such that the cache can capture diverse sizes of working sets and therefore adapt to the varying level of sparsity. We show that SGCN achieves 1.71x speedup and 43.9% higher energy efficiency compared to the existing accelerators.
• Abstract（参考訳）: グラフ畳み込みネットワーク(GCN)は、従来のニューラルネットワークの適用範囲が限られているため、ますます人気が高まっている。 gcnは任意に構造化されたグラフを入力とし、グラフの構造を利用して出力特徴を計算する一連の層を実行する。 GCNの最近のトレンドの1つは、ディープネットワークアーキテクチャの利用である。 従来の2層から5層の深さしか持たないgcnとは対照的に、現代のgcnは残りの接続のために数十層から数百層を組み込んでいる。 このような深いGCNから、非常に高い中間的特徴の空間性を示す重要な特徴を見出した。 深い層と残りの接続では,中間特性の零点数が急激に増加することが観察された。 これにより、これまで存在していなかったGCN実行をアクセラレータが活用する新たな機会が明らかになる。 本稿では,現在のGCNのスパース中間特性をフル活用した高速かつエネルギー効率のGCN加速器であるSGCNを提案する。 SGCNは既存の加速器よりも高い性能とエネルギー効率を達成するためのいくつかの手法を提案する。 まず、SGCNはGCNフレンドリーな特徴圧縮フォーマットを採用している。 我々は、しばしばgcn実行のボトルネックとなるオフチップメモリトラフィックの削減にフォーカスしています。 次に,圧縮された特徴形式をシームレスに扱うマイクロアーキテクチャを提案する。 第三に、異なる空間の存在下での局所性をよりよく扱うために、SGCNは空間性に配慮した協力を採用している。 sparsity-awareコラボレーティブは、複数の再利用ウィンドウを示すパターンを作成し、キャッシュは、ワーキングセットのさまざまなサイズをキャプチャできるため、スパルサビリティのさまざまなレベルに対応できる。 sgcnは、既存の加速器に比べて1.71倍のスピードアップと43.9%のエネルギー効率を達成している。

関連論文リスト

• GROW: A Row-Stationary Sparse-Dense GEMM Accelerator for Memory-Efficient Graph Convolutional Neural Networks [4.669338722185048]
  グラフ畳み込みニューラルネットワーク(GCN)のユニークな特徴は、その2つの主要な実行ステージであるアグリゲーションと組み合わせが、大幅に異なるデータフローを示すことである。 本稿では,GustavsonのアルゴリズムをベースとしたGCNアクセラレータGROWについて述べる。
  論文  参考訳（メタデータ） (2022-03-01T00:26:31Z)
• GCoD: Graph Convolutional Network Acceleration via Dedicated Algorithm and Accelerator Co-Design [27.311994997480745]
  グラフ畳み込みネットワーク(GCN)が最先端のグラフ学習モデルとして登場した。 大きなグラフデータセット上でGCNを推論することは、非常に難しい。 本稿では、前述のGCNの不規則性を大幅に軽減できるGCNアルゴリズムとGCoDと呼ばれる加速器協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-22T00:30:50Z)
• Multi-scale Graph Convolutional Networks with Self-Attention [2.66512000865131]
  グラフ畳み込みネットワーク(GCN)は,様々なグラフ構造データを扱うための優れた学習能力を実現している。 GCNsの重要な問題として, 過平滑化現象が解決され, 検討が続けられている。 本稿では,GCNの設計に自己認識機構とマルチスケール情報を取り入れた2つの新しいマルチスケールGCNフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-04T04:41:24Z)
• LW-GCN: A Lightweight FPGA-based Graph Convolutional Network Accelerator [14.145707219377917]
  グラフ畳み込みネットワーク(GCN)は、非ユークリッドグラフデータを効率的に処理するために導入された。 LW-GCNは主要なGCN演算をスパースセンス行列乗算(SDMM)と密度行列乗算(DMM)に分解する 既存のCPU、GPU、最先端FPGAベースのアクセラレータと比較して、LW-GCNはレイテンシを最大60倍、12倍、および1.7倍に削減し、それぞれ最大912倍、511倍、および3.87倍まで電力効率を向上させる。
  論文  参考訳（メタデータ） (2021-11-04T22:29:53Z)
• Towards Efficient Graph Convolutional Networks for Point Cloud Handling [181.59146413326056]
  ポイントクラウド上で学習するためのグラフ畳み込みネットワーク(GCN)の計算効率の向上を目指します。 一連の実験により、最適化されたネットワークは計算複雑性を減らし、メモリ消費を減らし、推論速度を加速した。
  論文  参考訳（メタデータ） (2021-04-12T17:59:16Z)
• Tackling Over-Smoothing for General Graph Convolutional Networks [88.71154017107257]
  一般的なGCNは、GCN, GCN with bias, ResGCN, APPNPを含む深度の増加とともにどのように振る舞うかを検討する。 そこで我々はDropEdgeを提案し,各トレーニングエポックにおいて一定数のエッジをランダムに除去することで過度なスムース化を緩和する。
  論文  参考訳（メタデータ） (2020-08-22T16:14:01Z)
• DeeperGCN: All You Need to Train Deeper GCNs [66.64739331859226]
  グラフ畳み込みネットワーク(GCN)はグラフ上での表現学習の力で注目されている。 非常に深いレイヤを積み重ねることのできる畳み込みニューラルネットワーク(CNN)とは異なり、GCNはより深く進むと、勾配の消失、過度なスムース化、過度に適合する問題に悩まされる。 本稿では,非常に深いGCNを正常かつ確実に訓練できるDeeperGCNを提案する。
  論文  参考訳（メタデータ） (2020-06-13T23:00:22Z)
• Graph Highway Networks [77.38665506495553]
  グラフ畳み込みネットワーク(GCN)は、グラフ表現の有効性と効率性から、グラフ表現の学習に広く利用されている。 彼らは、多くの層が積み重ねられたとき、学習された表現が類似したベクトルに収束するという悪名高い過度に滑らかな問題に悩まされる。 本稿では,GCN学習プロセスにおける均一性と不均一性との間のトレードオフのバランスをとるため,ゲーティングユニットを利用したグラフハイウェイネットワークを提案する。
  論文  参考訳（メタデータ） (2020-04-09T16:26:43Z)
• L$^2$-GCN: Layer-Wise and Learned Efficient Training of Graph Convolutional Networks [118.37805042816784]
  グラフ畳み込みネットワーク(GCN)は、多くのアプリケーションで人気が高まっているが、大きなグラフデータセットをトレーニングするのは依然として難しい。 本稿では,GCN (L-GCN) のための新しいレイヤワイドトレーニングフレームワークを提案する。 実験の結果、L-GCNは少なくとも1桁の精度で最先端よりも高速であり、メモリ使用量はデータセットのサイズに依存しないことがわかった。
  論文  参考訳（メタデータ） (2020-03-30T16:37:56Z)
• LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation [100.76229017056181]
  Graph Convolution Network (GCN)は、協調フィルタリングのための新しい最先端技術となった。 本研究は,GCNの設計を簡略化し,より簡潔かつ適切なレコメンデーションを実現することを目的としている。 我々は,光GCNと呼ばれる新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-02-06T06:53:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。