論文の概要: VersaGNN: a Versatile accelerator for Graph neural networks

• arxiv url: http://arxiv.org/abs/2105.01280v1
• Date: Tue, 4 May 2021 04:10:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-05 13:04:05.260427
• Title: VersaGNN: a Versatile accelerator for Graph neural networks
• Title（参考訳）: VersaGNN: グラフニューラルネットワークのためのVersatileアクセラレータ
• Authors: Feng Shi, Ahren Yiqiao Jin, Song-Chun Zhu
• Abstract要約: 我々は,超効率的なサイストリックアレイベースの多用途ハードウェアアクセラレータである textitVersaGNN を提案する。 textitVersaGNNは平均3712$times$ speedup with 1301.25$times$ energy reduction on CPU、35.4$times$ speedup with 17.66$times$ energy reduction on GPUを達成している。
• 参考スコア（独自算出の注目度）: 81.1667080640009
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: \textit{Graph Neural Network} (GNN) is a promising approach for analyzing graph-structured data that tactfully captures their dependency information via node-level message passing. It has achieved state-of-the-art performances in many tasks, such as node classification, graph matching, clustering, and graph generation. As GNNs operate on non-Euclidean data, their irregular data access patterns cause considerable computational costs and overhead on conventional architectures, such as GPU and CPU. Our analysis shows that GNN adopts a hybrid computing model. The \textit{Aggregation} (or \textit{Message Passing}) phase performs vector additions where vectors are fetched with irregular strides. The \textit{Transformation} (or \textit{Node Embedding}) phase can be either dense or sparse-dense matrix multiplication. In this work, We propose \textit{VersaGNN}, an ultra-efficient, systolic-array-based versatile hardware accelerator that unifies dense and sparse matrix multiplication. By applying this single optimized systolic array to both aggregation and transformation phases, we have significantly reduced chip sizes and energy consumption. We then divide the computing engine into blocked systolic arrays to support the \textit{Strassen}'s algorithm for dense matrix multiplication, dramatically scaling down the number of multiplications and enabling high-throughput computation of GNNs. To balance the workload of sparse-dense matrix multiplication, we also introduced a greedy algorithm to combine sparse sub-matrices of compressed format into condensed ones to reduce computational cycles. Compared with current state-of-the-art GNN software frameworks, \textit{VersaGNN} achieves on average 3712$\times$ speedup with 1301.25$\times$ energy reduction on CPU, and 35.4$\times$ speedup with 17.66$\times$ energy reduction on GPU.
• Abstract（参考訳）: \textit{Graph Neural Network} (GNN)は、ノードレベルのメッセージパッシングを通じて依存関係情報を正確にキャプチャするグラフ構造化データを解析するための有望なアプローチである。 ノード分類、グラフマッチング、クラスタリング、グラフ生成など、多くのタスクで最先端のパフォーマンスを達成している。 GNNは非ユークリッドデータを扱うため、その不規則なデータアクセスパターンはGPUやCPUといった従来のアーキテクチャにかなりの計算コストとオーバーヘッドをもたらす。 分析の結果,GNNはハイブリッドコンピューティングモデルを採用している。 \textit{Aggregation} (または \textit{Message Passing}) フェーズはベクトルが不規則な進行でフェッチされるベクトル加算を実行する。 \textit{transformation} (または \textit{node embedded}) フェーズは、密度的あるいは疎結合な行列の乗算である。 本研究では,高密度かつスパースな行列乗算を統一する超効率,シストリックアレイベースの多用途ハードウェアアクセラレータである \textit{VersaGNN} を提案する。 この単一最適化シストリックアレイをアグリゲーションおよび変換相の両方に適用することにより、チップサイズとエネルギー消費を大幅に削減した。 次に、計算エンジンをブロックされたシストリック配列に分割し、密度行列乗算のための \textit{strassen} のアルゴリズムをサポートし、乗算回数を劇的に削減し、gnnの高スループット計算を可能にする。 スパース・デンス行列乗算の作業負荷のバランスをとるために,圧縮されたフォーマットのスパース部分行列を凝縮したものに組み合わせて計算サイクルを短縮するグリーディアルゴリズムも導入した。 現在の最先端のGNNソフトウェアフレームワークと比較して、 \textit{VersaGNN}は平均3712$\times$スピードアップで1301.25$\times$CPU、35.4$\times$スピードアップで17.66$\times$GPUで達成している。

関連論文リスト

• CiliaGraph: Enabling Expression-enhanced Hyper-Dimensional Computation in Ultra-Lightweight and One-Shot Graph Classification on Edge [1.8726646412385333]
  CiliaGraphはグラフ分類のための拡張表現型だが超軽量なHDCモデルである。 CiliaGraphはメモリ使用量を削減し、トレーニング速度を平均292倍に高速化する。
  論文  参考訳（メタデータ） (2024-05-29T12:22:59Z)
• Graph neural networks with configuration cross-attention for tensor compilers [0.157286095422595]
  対象の計算グラフの高速な構成のスクリーニングを可能にするニューラルネットワークアーキテクチャであるTGraphを提案する。 我々は、我々の研究に関連するCO$排出量削減の可能性について、AI指向のデータセンターをホストする分野における家計排出量の50%以上に相当すると見積もっている。
  論文  参考訳（メタデータ） (2024-05-26T16:39:19Z)
• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• Batch-efficient EigenDecomposition for Small and Medium Matrices [65.67315418971688]
  EigenDecomposition (ED)は多くのコンピュータビジョンアルゴリズムとアプリケーションの中心にある。 本稿では,コンピュータビジョンの応用シナリオに特化したQRベースのED手法を提案する。
  論文  参考訳（メタデータ） (2022-07-09T09:14:12Z)
• Nimble GNN Embedding with Tensor-Train Decomposition [10.726368002799765]
  本稿では、テンソルトレイン(TT)分解によりグラフニューラルネットワーク(GNN)の埋め込みテーブルをよりコンパクトに表現する新しい手法について述べる。 場合によっては、入力に明示的なノード機能がないモデルでも、ノード機能を使用するモデルの精度にマッチすることもある。
  論文  参考訳（メタデータ） (2022-06-21T17:57:35Z)
• Neighbor2Seq: Deep Learning on Massive Graphs by Transforming Neighbors to Sequences [55.329402218608365]
  本研究では,各ノードの階層的近傍をシーケンスに変換するためにNeighbor2Seqを提案する。 1100万以上のノードと160億のエッジを持つ大規模グラフ上で,本手法の評価を行った。 その結果,提案手法は大規模グラフに対してスケーラブルであり,大規模グラフと中規模グラフにまたがる優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-02-07T16:38:36Z)
• Instant Neural Graphics Primitives with a Multiresolution Hash Encoding [67.33850633281803]
  品質を犠牲にすることなく、より小さなネットワークを使用できる汎用的な新しい入力符号化を提案する。 小さなニューラルネットワークは、勾配降下によって値が最適化された訓練可能な特徴ベクトルの多分解能ハッシュテーブルによって拡張される。 数桁の高速化を実現し、高品質なニューラルネットワークプリミティブを数秒でトレーニングすることができる。
  論文  参考訳（メタデータ） (2022-01-16T07:22:47Z)
• DistGNN: Scalable Distributed Training for Large-Scale Graph Neural Networks [58.48833325238537]
  大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。 本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。 4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
  論文  参考訳（メタデータ） (2021-04-14T08:46:35Z)
• Accelerating Sparse DNN Models without Hardware-Support via Tile-Wise Sparsity [12.643043455369297]
  本稿では,既存の高密度アーキテクチャ上での遅延高速化を実現するアルゴリズム-ソフトウェア共設計プルーニング手法を提案する。 我々はGPUテンソルコア上でのスパーシティパターンの実装と評価を行い,高密度モデル上での1.95倍の高速化を実現した。
  論文  参考訳（メタデータ） (2020-08-29T16:27:41Z)
• Reducing Communication in Graph Neural Network Training [0.0]
  グラフニューラルネットワーク(GNN)は、データの自然な疎結合情報を使用する、強力で柔軟なニューラルネットワークである。 我々は,GNNを訓練するための並列アルゴリズムのファミリーを導入し,従来の並列GNN訓練手法と比較して通信を効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2020-05-07T07:45:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。