Fugu-MT 論文翻訳(概要): Accelerating Generic Graph Neural Networks via Architecture, Compiler, Partition Method Co-Design

論文の概要: Accelerating Generic Graph Neural Networks via Architecture, Compiler, Partition Method Co-Design

arxiv url: http://arxiv.org/abs/2308.08174v1
Date: Wed, 16 Aug 2023 07:05:47 GMT
ステータス: 処理完了
システム内更新日: 2023-08-17 14:33:09.101814
Title: Accelerating Generic Graph Neural Networks via Architecture, Compiler, Partition Method Co-Design
Title（参考訳）: アーキテクチャ,コンパイラ,パーティションメソッドによるジェネリックグラフニューラルネットワークの高速化
Authors: Shuwen Lu, Zhihui Zhang, Cong Guo, Jingwen Leng, Yangjie Zhou, Minyi Guo
Abstract要約: グラフニューラルネットワーク(GNN)は,さまざまなグラフ学習領域において,大幅な精度向上を実現している。 GNNモデルのための高性能かつ効率的なハードウェアアクセラレーションを開発することが不可欠である。設計者は、GNNモデルの高帯域幅要求とGNNモデルの多様性の2つの根本的な課題に直面している。
参考スコア（独自算出の注目度）: 15.500725014235412
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Graph neural networks (GNNs) have shown significant accuracy improvements in a variety of graph learning domains, sparking considerable research interest. To translate these accuracy improvements into practical applications, it is essential to develop high-performance and efficient hardware acceleration for GNN models. However, designing GNN accelerators faces two fundamental challenges: the high bandwidth requirement of GNN models and the diversity of GNN models. Previous works have addressed the first challenge by using more expensive memory interfaces to achieve higher bandwidth. For the second challenge, existing works either support specific GNN models or have generic designs with poor hardware utilization. In this work, we tackle both challenges simultaneously. First, we identify a new type of partition-level operator fusion, which we utilize to internally reduce the high bandwidth requirement of GNNs. Next, we introduce partition-level multi-threading to schedule the concurrent processing of graph partitions, utilizing different hardware resources. To further reduce the extra on-chip memory required by multi-threading, we propose fine-grained graph partitioning to generate denser graph partitions. Importantly, these three methods make no assumptions about the targeted GNN models, addressing the challenge of model variety. We implement these methods in a framework called SwitchBlade, consisting of a compiler, a graph partitioner, and a hardware accelerator. Our evaluation demonstrates that SwitchBlade achieves an average speedup of $1.85\times$ and energy savings of $19.03\times$ compared to the NVIDIA V100 GPU. Additionally, SwitchBlade delivers performance comparable to state-of-the-art specialized accelerators.
Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、さまざまなグラフ学習領域で大幅な精度向上を示し、かなりの研究関心を呼んだ。これらの精度向上を実用化するためには、GNNモデルの高性能かつ効率的なハードウェアアクセラレーションを開発することが不可欠である。しかし、GNNアクセラレータの設計には、GNNモデルの高帯域要求とGNNモデルの多様性の2つの根本的な課題がある。以前の作業では、高帯域幅を実現するために高価なメモリインターフェースを使用することで、最初の課題に対処してきた。第2の課題として、既存の作業は特定のGNNモデルをサポートするか、ハードウェア利用の貧弱なジェネリックデザインを持っている。この作業では、両方の課題を同時に取り組む。まず、GNNの高帯域幅要求を内部的に低減するために、新しいタイプの分割レベル演算子融合を特定する。次に、異なるハードウェアリソースを利用するグラフ分割の並列処理をスケジュールするために、パーティションレベルのマルチスレッドを導入する。マルチスレッドで必要となる余分なオンチップメモリを削減するため,より高密度なグラフパーティショニングを生成するための微細なグラフパーティショニングを提案する。重要な点として、これらの3つの手法は対象のGNNモデルを仮定せず、モデル多様体の課題に対処する。コンパイラ,グラフパーティショナ,ハードウェアアクセラレータで構成されるSwitchBladeというフレームワークで,これらの手法を実装した。我々の評価では、SwitchBladeはNVIDIA V100 GPUと比較して平均で1.85\times$と19.03\times$を達成している。さらに、SwitchBladeは最先端の専門アクセラレータに匹敵するパフォーマンスを提供する。

関連論文リスト

Spatio-Spectral Graph Neural Networks [50.277959544420455]
比スペクトルグラフネットワーク(S$2$GNN)を提案する。 S$2$GNNは空間的およびスペクトル的にパラメータ化されたグラフフィルタを組み合わせる。 S$2$GNNsは、MPGNNsよりも厳密な近似理論誤差境界を生じる。
論文参考訳（メタデータ） (2024-05-29T14:28:08Z)
Graph Transformers for Large Graphs [57.19338459218758]
この研究は、モデルの特徴と重要な設計制約を識別することに焦点を当てた、単一の大規模グラフでの表現学習を前進させる。この研究の重要な革新は、局所的な注意機構と組み合わされた高速な近傍サンプリング技術の作成である。 ogbn-products と snap-patents の3倍の高速化と16.8%の性能向上を報告し、ogbn-100M で LargeGT を5.9% の性能改善で拡張した。
論文参考訳（メタデータ） (2023-12-18T11:19:23Z)
Cached Operator Reordering: A Unified View for Fast GNN Training [24.917363701638607]
グラフニューラルネットワーク(GNN)は、構造化グラフデータを扱う強力なツールであり、ノード分類、グラフ分類、クラスタリングといったタスクに対処する。しかし、GNN計算のスパース性は、従来のディープニューラルネットワークと比較してパフォーマンス最適化に新たな課題をもたらす。 GNN計算,I/O,メモリの統一的なビューを提供することで,これらの課題に対処する。
論文参考訳（メタデータ） (2023-08-23T12:27:55Z)
Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
論文参考訳（メタデータ） (2023-08-06T21:04:58Z)
Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
論文参考訳（メタデータ） (2022-10-27T16:00:45Z)
A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文参考訳（メタデータ） (2022-10-14T03:43:05Z)
FlowGNN: A Dataflow Architecture for Universal Graph Neural Network Inference via Multi-Queue Streaming [1.566528527065232]
グラフニューラルネットワーク(GNN)は、グラフ関連の問題に広く適用可能であるため、最近人気が高まっている。効率的な加速器の開発と新しいGNNモデルの迅速な作成の間にギャップがあるため、新しいGNNモデルの需要と高速推論を同時に行うことは困難である。本稿では,メッセージパッシングGNNの大部分を柔軟にサポートできるFlowGNNという,GNNアクセラレーションのための汎用データフローアーキテクチャを提案する。
論文参考訳（メタデータ） (2022-04-27T17:59:25Z)
GenGNN: A Generic FPGA Framework for Graph Neural Network Acceleration [1.460161657933122]
我々はGenGNNという名前の高レベル合成(HLS)を用いた汎用的なGNN加速フレームワークを提案する。リアルタイム要求に対するグラフ前処理なしで超高速なGNN推論を実現することを目指している。我々は,Xilinx Alveo U50 FPGA上での実装を検証するとともに,CPU(6226R)ベースラインに対して最大25倍,GPU(A6000)ベースラインに対して最大13倍のスピードアップを観測する。
論文参考訳（メタデータ） (2022-01-20T22:30:59Z)
GNNIE: GNN Inference Engine with Load-balancing and Graph-Specific Caching [2.654276707313136]
GNNIEは、幅広いグラフニューラルネットワーク(GNN)を実行するために設計されたアクセラレータである。 i)ノード特徴オペランドをブロックに分割し、 (ii) 再注文と再配布を行い、 (iii) 処理要素間の通信オーバーヘッドの少ない柔軟なMACアーキテクチャを使用する。 GNNIEは、CPU上の8890倍、グラフアテンションネットワーク(GAT)、グラフ畳み込みネットワーク(GCN)、GraphSAGE、GINConv、DiffPool上の複数のデータセット上のGPU上の295倍の平均スピードアップを達成する。
論文参考訳（メタデータ） (2021-05-21T20:07:14Z)
BlockGNN: Towards Efficient GNN Acceleration Using Block-Circulant Weight Matrices [9.406007544032848]
グラフニューラルネットワーク(GNN)は、非ユークリッドグラフデータを分析するための最先端のアルゴリズムです。リアルタイムにGNNを推論する方法は、リソース制限のあるエッジコンピューティングプラットフォームでは難しい問題となっている。効率的なGNN加速を実現するソフトウェアハードウェアの共同設計手法であるBlockGNNを提案する。
論文参考訳（メタデータ） (2021-04-13T14:09:22Z)
Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文参考訳（メタデータ） (2020-12-31T18:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。