論文の概要: PIGEON: Optimizing CUDA Code Generator for End-to-End Training and
Inference of Relational Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2301.06284v2
- Date: Tue, 11 Apr 2023 21:46:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-13 18:08:19.405478
- Title: PIGEON: Optimizing CUDA Code Generator for End-to-End Training and
Inference of Relational Graph Neural Networks
- Title(参考訳): PIGEON:関係グラフニューラルネットワークのエンドツーエンドトレーニングと推論のためのCUDAコードジェネレータ最適化
- Authors: Kun Wu, Mert Hidayeto\u{g}lu, Xiang Song, Sitao Huang, Da Zheng, Israt
Nisa, Wen-mei Hwu
- Abstract要約: プログラミングインターフェースとカーネルAPIのギャップを埋めるために、Pigeonを提案する。
1つの汎用行列乗算(GEMM)テンプレートとノード/エッジテンプレート上に構築することで、ピジョンは推論の7.8倍のスピードアップとトレーニングの5.6倍のスピードアップを達成する。
- 参考スコア(独自算出の注目度): 15.79269735529738
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Relational graph neural networks (RGNNs) are graph neural networks (GNNs)
with dedicated structures for modeling the different types of nodes and/or
edges in heterogeneous graphs. While RGNNs have been increasingly adopted in
many real-world applications due to their versatility and accuracy, they pose
performance and system design challenges due to their inherent computation
patterns, gap between the programming interface and kernel APIs, and heavy
programming efforts in optimizing kernels caused by their coupling with data
layout and heterogeneity. To systematically address these challenges, we
propose Pigeon, a novel two-level intermediate representation (IR) and its code
generator framework, that (a) represents the key properties of the RGNN models
to bridge the gap between the programming interface and kernel APIs, (b)
decouples model semantics, data layout, and operators-specific optimization
from each other to reduce programming efforts, (c) expresses and leverages
optimization opportunities in inter-operator transforms, data layout, and
operator-specific schedules. By building on one general matrix multiply (GEMM)
template and a node/edge traversal template, Pigeon achieves up to 7.8x
speed-up in inference and 5.6x speed-up in training compared with the
state-of-the-art public systems in select models, i.e., RGCN, RGAT, HGT, when
running heterogeneous graphs provided by Deep Graph Library (DGL) and Open
Graph Benchmark (OGB). Pigeon also triggers fewer out-of-memory (OOM) errors.
In addition, we propose linear operator fusion and compact materialization to
further accelerate the system by up to 2.2x.
- Abstract(参考訳): 関係グラフニューラルネットワーク (relational graph neural network, rgnn) は、異種グラフにおける異なる種類のノードやエッジをモデル化する専用の構造を持つグラフニューラルネットワーク (gnns) である。
RGNNは、その汎用性と正確性から、多くの現実世界のアプリケーションで採用されているが、それら固有の計算パターン、プログラミングインターフェースとカーネルAPIのギャップ、およびデータレイアウトと不均一性との結合によるカーネルの最適化における重いプログラミングの取り組みにより、パフォーマンスとシステム設計上の課題を提起している。
これらの課題に体系的に対処するために、新しい2レベル中間表現(IR)とコードジェネレータフレームワークであるPigeonを提案する。
a)は、プログラミングインターフェースとカーネルAPIの間のギャップを埋めるために、RGNNモデルのキーとなる特性を表す。
(b)モデルセマンティクス、データレイアウト、演算子固有の最適化を分離し、プログラミングの労力を削減する。
c) 演算子間変換、データレイアウト、オペレータ固有のスケジュールにおける最適化の機会を表現し、活用する。
1つの汎用行列乗算(GEMM)テンプレートとノード/エッジトラバーサルテンプレート上に構築することで、Deep Graph Library(DGL)とOpen Graph Benchmark(OGB)が提供する異種グラフの実行時に、特定のモデルにおける最先端の公開システムと比較して、推論の7.8倍のスピードアップとトレーニングの5.6倍のスピードアップを達成する。
Pigeonはメモリ外エラー(OOM)も少なくする。
さらに, 最大2.2倍の加速を実現するために, 線形作用素融合とコンパクト化を提案する。
関連論文リスト
- Cached Operator Reordering: A Unified View for Fast GNN Training [24.917363701638607]
グラフニューラルネットワーク(GNN)は、構造化グラフデータを扱う強力なツールであり、ノード分類、グラフ分類、クラスタリングといったタスクに対処する。
しかし、GNN計算のスパース性は、従来のディープニューラルネットワークと比較してパフォーマンス最適化に新たな課題をもたらす。
GNN計算,I/O,メモリの統一的なビューを提供することで,これらの課題に対処する。
論文 参考訳(メタデータ) (2023-08-23T12:27:55Z) - AGNN: Alternating Graph-Regularized Neural Networks to Alleviate
Over-Smoothing [29.618952407794776]
グラフ畳み込み層(GCL)とグラフ埋め込み層(GEL)からなる交代グラフ正規化ニューラルネットワーク(AGNN)を提案する。
GELはラプラシアン埋め込み項を含むグラフ正規化最適化から導かれる。
AGNNは、いくつかの多層または多次グラフニューラルネットワークのパフォーマンス比較を含む、多数の実験を通じて評価されている。
論文 参考訳(メタデータ) (2023-04-14T09:20:03Z) - Relation Embedding based Graph Neural Networks for Handling
Heterogeneous Graph [58.99478502486377]
我々は、同種GNNが不均一グラフを扱うのに十分な能力を持つように、シンプルで効率的なフレームワークを提案する。
具体的には、エッジ型関係と自己ループ接続の重要性を埋め込むために、関係1つのパラメータのみを使用する関係埋め込みベースのグラフニューラルネットワーク(RE-GNN)を提案する。
論文 参考訳(メタデータ) (2022-09-23T05:24:18Z) - Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural
Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。
LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。
提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文 参考訳(メタデータ) (2022-07-18T14:23:31Z) - End-to-end Mapping in Heterogeneous Systems Using Graph Representation
Learning [13.810753108848582]
本稿では,エンドツーエンドでプログラム可能なグラフ表現学習フレームワークを提案する。
高レベルのプログラムの複雑さを普遍的な中間表現にマイニングし、特定の計算パターンを抽出し、特定のコア上でどのコードセグメントがベストに動作するかを予測できる。
評価では、スレッドベースの実行と比較して最大速度が6.42倍、最先端技術と比較して2.02倍であることを示す。
論文 参考訳(メタデータ) (2022-04-25T22:13:13Z) - ACE-HGNN: Adaptive Curvature Exploration Hyperbolic Graph Neural Network [72.16255675586089]
本稿では、入力グラフと下流タスクに基づいて最適な曲率を適応的に学習する適応曲率探索ハイパーボリックグラフニューラルネットワークACE-HGNNを提案する。
複数の実世界のグラフデータセットの実験は、競争性能と優れた一般化能力を備えたモデル品質において、顕著で一貫したパフォーマンス改善を示す。
論文 参考訳(メタデータ) (2021-10-15T07:18:57Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳(メタデータ) (2020-12-31T18:48:58Z) - A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。
本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。
UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
論文 参考訳(メタデータ) (2020-10-05T04:57:18Z) - SCG-Net: Self-Constructing Graph Neural Networks for Semantic
Segmentation [23.623276007011373]
本稿では,画像から直接長距離依存グラフを学習し,コンテキスト情報を効率的に伝達するモジュールを提案する。
モジュールは、新しい適応対角法と変分下界により最適化される。
ニューラルネットワーク(SCG-Net)に組み込まれると、セマンティックセグメンテーションがエンドツーエンドで行われ、競争性能が向上する。
論文 参考訳(メタデータ) (2020-09-03T12:13:09Z) - Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。
提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。
実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文 参考訳(メタデータ) (2020-04-19T09:43:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。