論文の概要: PIGEON: Optimizing CUDA Code Generator for End-to-End Training and
Inference of Relational Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2301.06284v1
- Date: Mon, 16 Jan 2023 06:53:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-18 16:27:19.373506
- Title: PIGEON: Optimizing CUDA Code Generator for End-to-End Training and
Inference of Relational Graph Neural Networks
- Title（参考訳）: PIGEON:関係グラフニューラルネットワークのエンドツーエンドトレーニングと推論のためのCUDAコードジェネレータ最適化
- Authors: Kun Wu, Mert Hidayeto\u{g}lu, Xiang Song, Sitao Huang, Da Zheng, Israt
Nisa, Wen-mei Hwu
- Abstract要約: プログラミングインターフェースとカーネルAPIのギャップを埋めるために、Pigeonを提案する。
1つの汎用行列乗算(GEMM)テンプレートとノード/エッジテンプレート上に構築することで、ピジョンは推論の7.8倍のスピードアップとトレーニングの5.6倍のスピードアップを達成する。
- 参考スコア（独自算出の注目度）: 15.79269735529738
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Relational graph neural networks (RGNNs) are graph neural networks (GNNs)
with dedicated structures for modeling the different types of nodes and/or
edges in heterogeneous graphs. While RGNNs have been increasingly adopted in
many real-world applications due to their versatility and accuracy, they pose
performance and system design challenges due to their inherent computation
patterns, gap between the programming interface and kernel APIs, and heavy
programming efforts in optimizing kernels caused by their coupling with data
layout and heterogeneity. To systematically address these challenges, we
propose Pigeon, a novel two-level intermediate representation (IR) and its code
generator framework, that (a) represents the key properties of the RGNN models
to bridge the gap between the programming interface and kernel APIs, (b)
decouples model semantics, data layout, and operators-specific optimization
from each other to reduce programming efforts, (c) expresses and leverages
optimization opportunities in inter-operator transforms, data layout, and
operator-specific schedules. By building on one general matrix multiply (GEMM)
template and a node/edge traversal template, Pigeon achieves up to 7.8x
speed-up in inference and 5.6x speed-up in training compared with the
state-of-the-art public systems in select models, i.e., RGCN, RGAT, HGT, when
running heterogeneous graphs provided by Deep Graph Library (DGL) and Open
Graph Benchmark (OGB). Pigeon also triggers fewer out-of-memory (OOM) errors.
In addition, we propose linear operator fusion and compact materialization to
further accelerate the system by up to 2.2x.
- Abstract（参考訳）: 関係グラフニューラルネットワーク (relational graph neural network, rgnn) は、異種グラフにおける異なる種類のノードやエッジをモデル化する専用の構造を持つグラフニューラルネットワーク (gnns) である。
RGNNは、その汎用性と正確性から、多くの現実世界のアプリケーションで採用されているが、それら固有の計算パターン、プログラミングインターフェースとカーネルAPIのギャップ、およびデータレイアウトと不均一性との結合によるカーネルの最適化における重いプログラミングの取り組みにより、パフォーマンスとシステム設計上の課題を提起している。
これらの課題に体系的に対処するために、新しい2レベル中間表現(IR)とコードジェネレータフレームワークであるPigeonを提案する。
a)は、プログラミングインターフェースとカーネルAPIの間のギャップを埋めるために、RGNNモデルのキーとなる特性を表す。
(b)モデルセマンティクス、データレイアウト、演算子固有の最適化を分離し、プログラミングの労力を削減する。
c) 演算子間変換、データレイアウト、オペレータ固有のスケジュールにおける最適化の機会を表現し、活用する。
1つの汎用行列乗算(GEMM)テンプレートとノード/エッジトラバーサルテンプレート上に構築することで、Deep Graph Library(DGL)とOpen Graph Benchmark(OGB)が提供する異種グラフの実行時に、特定のモデルにおける最先端の公開システムと比較して、推論の7.8倍のスピードアップとトレーニングの5.6倍のスピードアップを達成する。
Pigeonはメモリ外エラー(OOM)も少なくする。
さらに, 最大2.2倍の加速を実現するために, 線形作用素融合とコンパクト化を提案する。
関連論文リスト
- CONCORD: Towards a DSL for Configurable Graph Code Representation [3.756550107432323]
カスタマイズ可能なグラフ表現を構築するためのドメイン固有言語であるCONCORDを紹介する。
実例として,コードの臭い検出に有効であることを示す。
ConCORDは、研究者がカスタマイズ可能なグラフベースのコード表現を作成し、実験するのに役立つ。
論文 参考訳（メタデータ） (2024-01-31T16:16:48Z) - T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。
実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
論文 参考訳（メタデータ） (2023-10-05T02:58:29Z) - Connectivity Optimized Nested Graph Networks for Crystal Structures [1.1470070927586016]
グラフニューラルネットワーク(GNN)は、材料科学や化学における様々な応用に応用されている。
提案したモデルでは,MateBenchベンチマークのすべてのタスクにおいて,最新の結果が体系的に改善されることが示されている。
論文 参考訳（メタデータ） (2023-02-27T19:26:48Z) - Scalable Graph Convolutional Network Training on Distributed-Memory
Systems [5.169989177779801]
グラフ畳み込みネットワーク(GCN)はグラフの深層学習に広く利用されている。
グラフ上の畳み込み操作は不規則なメモリアクセスパターンを誘導するので、GCNトレーニングのためのメモリと通信効率の並列アルゴリズムを設計することはユニークな課題である。
本稿では,大規模プロセッサ数にスケールする並列トレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-12-09T17:51:13Z) - A Comprehensive Study on Large-Scale Graph Training: Benchmarking and
Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である
本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。
提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文 参考訳（メタデータ） (2022-10-14T03:43:05Z) - Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural
Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。
LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。
提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文 参考訳（メタデータ） (2022-07-18T14:23:31Z) - End-to-end Mapping in Heterogeneous Systems Using Graph Representation
Learning [13.810753108848582]
本稿では,エンドツーエンドでプログラム可能なグラフ表現学習フレームワークを提案する。
高レベルのプログラムの複雑さを普遍的な中間表現にマイニングし、特定の計算パターンを抽出し、特定のコア上でどのコードセグメントがベストに動作するかを予測できる。
評価では、スレッドベースの実行と比較して最大速度が6.42倍、最先端技術と比較して2.02倍であることを示す。
論文 参考訳（メタデータ） (2022-04-25T22:13:13Z) - A Robust and Generalized Framework for Adversarial Graph Embedding [73.37228022428663]
本稿では,AGE という逆グラフ埋め込みのための頑健なフレームワークを提案する。
AGEは、暗黙の分布から強化された負のサンプルとして偽の隣接ノードを生成する。
本フレームワークでは,3種類のグラフデータを扱う3つのモデルを提案する。
論文 参考訳（メタデータ） (2021-05-22T07:05:48Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳（メタデータ） (2020-12-31T18:48:58Z) - Ramanujan Bipartite Graph Products for Efficient Block Sparse Neural
Networks [2.4235475271758076]
本稿では,グラフ積の理論を用いて,構造化マルチレベルブロックスパースニューラルネットワークを生成するフレームワークを提案する。
ラマヌジャングラフの積も提案するが、これは与えられた範囲で最高の接続性を与える。
我々は,VGG19とWideResnet-40-4ネットワークを用いて,CIFARデータセット上の画像分類タスクを実験することで,我々のアプローチをベンチマークする。
論文 参考訳（メタデータ） (2020-06-24T05:08:17Z) - Embedding Graph Auto-Encoder for Graph Clustering [90.8576971748142]
グラフ自動エンコーダ(GAE)モデルは、半教師付きグラフ畳み込みネットワーク(GCN)に基づく
我々は、グラフクラスタリングのための特定のGAEベースのモデルを設計し、その理論、すなわち、埋め込みグラフオートエンコーダ(EGAE)と整合する。
EGAEは1つのエンコーダと2つのデコーダで構成される。
論文 参考訳（メタデータ） (2020-02-20T09:53:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。