論文の概要: Hector: An Efficient Programming and Compilation Framework for Implementing Relational Graph Neural Networks in GPU Architectures
- arxiv url: http://arxiv.org/abs/2301.06284v3
- Date: Tue, 9 Apr 2024 04:17:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 20:45:54.763388
- Title: Hector: An Efficient Programming and Compilation Framework for Implementing Relational Graph Neural Networks in GPU Architectures
- Title（参考訳）: Hector:GPUアーキテクチャでリレーショナルグラフニューラルネットワークを実装するための効率的なプログラミングとコンパイルフレームワーク
- Authors: Kun Wu, Mert Hidayetoğlu, Xiang Song, Sitao Huang, Da Zheng, Israt Nisa, Wen-mei Hwu,
- Abstract要約: RGNNは、異種グラフ内の異なるタイプのノードとエッジをモデリングするための専用の構造を持つグラフニューラルネットワークである。
本稿では,新しい2レベル中間表現とコード生成フレームワークであるHectorを提案し,RGNNモデルの鍵となる特性を捉える。
Hectorは、最先端のパブリックシステムと比較して、推論で最大9.9倍、トレーニングで最大43.7倍のスピードアップを達成する。
- 参考スコア（独自算出の注目度）: 24.841128441671234
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Relational graph neural networks (RGNNs) are graph neural networks with dedicated structures for modeling the different types of nodes and edges in heterogeneous graphs. While RGNNs have been increasingly adopted in many real-world applications due to their versatility and accuracy, they pose performance and system design challenges: inherent memory-intensive computation patterns, the gap between the programming interface and kernel APIs, and heavy programming effort in optimizing kernels caused by their coupling with data layout and heterogeneity. To systematically address these challenges, we propose Hector, a novel two-level intermediate representation and its code generator framework, that (a) captures the key properties of RGNN models, and opportunities to reduce memory accesses in inter-operator scheduling and materialization, (b) generates code with flexible data access scheme to eliminate redundant data copies, (c) decouples model semantics, data layout, and operators-specific optimization from each other to reduce programming effort. By building on one general matrix multiply (GEMM) template and a node/edge traversal template, Hector achieves up to 9.9x speed-up in inference and 43.7x speed-up in training compared with the state-of-the-art public systems on select models, i.e., RGCN, RGAT and HGT, when running heterogeneous graphs provided by Deep Graph Library (DGL) and Open Graph Benchmark (OGB). In addition, Hector does not trigger any out-of-memory (OOM) exception in these tests. We also propose the linear operator reorder and compact materialization to further accelerate the system by up to 3.8x. As an indicator of programming effort reduction, Hector takes in 51 lines of code expressing the three models and generates a total of 8K lines of CUDA and C++ code.
- Abstract（参考訳）: リレーショナルグラフニューラルネットワーク(Relational Graph Neural Network、RGNN)は、異種グラフ内の異なるタイプのノードとエッジをモデリングするための専用の構造を持つグラフニューラルネットワークである。
RGNNは、その汎用性と正確性から、多くの現実世界のアプリケーションで採用されているが、パフォーマンスとシステム設計の課題として、固有のメモリ集約型計算パターン、プログラミングインターフェースとカーネルAPIのギャップ、データレイアウトと不均一性との結合によるカーネルの最適化における重いプログラミングの取り組みがある。
これらの課題に体系的に対処するために、新しい2レベル中間表現であるHectorとそのコードジェネレータフレームワークを提案する。
(a)RGNNモデルの鍵となる特性と、演算子間スケジューリングおよび実体化におけるメモリアクセスを減らす機会をキャプチャする。
b) 冗長なデータコピーを排除するフレキシブルなデータアクセススキームを持つコードを生成する。
(c) モデルのセマンティクス、データレイアウト、演算子固有の最適化を分離し、プログラミングの労力を減らす。
1つの汎用行列乗算(GEMM)テンプレートとノード/エッジトラバーサルテンプレートに基づいて、Hectorは、Deep Graph Library(DGL)とOpen Graph Benchmark(OGB)によって提供される異種グラフを実行する際に、選択されたモデル上の最先端のパブリックシステム(RGCN、RGAT、HGT)と比較して、推論における最大9.9倍のスピードアップとトレーニング時の43.7倍のスピードアップを達成する。
さらに、HectorはこれらのテストでOOM(out-of-Memory)例外をトリガーしない。
また,最大3.8倍の高速化を実現するために,線形作用素のリオーダーとコンパクトな物質化を提案する。
プログラミングの労力削減の指標として、Hectorは3つのモデルを表現した51行のコードを取り込み、合計8K行のCUDAとC++コードを生成する。
関連論文リスト
- CONCORD: Towards a DSL for Configurable Graph Code Representation [3.756550107432323]
カスタマイズ可能なグラフ表現を構築するためのドメイン固有言語であるCONCORDを紹介する。
実例として,コードの臭い検出に有効であることを示す。
ConCORDは、研究者がカスタマイズ可能なグラフベースのコード表現を作成し、実験するのに役立つ。
論文 参考訳（メタデータ） (2024-01-31T16:16:48Z) - Connectivity Optimized Nested Graph Networks for Crystal Structures [1.1470070927586016]
グラフニューラルネットワーク(GNN)は、材料科学や化学における様々な応用に応用されている。
提案したモデルでは,MateBenchベンチマークのすべてのタスクにおいて,最新の結果が体系的に改善されることが示されている。
論文 参考訳（メタデータ） (2023-02-27T19:26:48Z) - Scalable Graph Convolutional Network Training on Distributed-Memory
Systems [5.169989177779801]
グラフ畳み込みネットワーク(GCN)はグラフの深層学習に広く利用されている。
グラフ上の畳み込み操作は不規則なメモリアクセスパターンを誘導するので、GCNトレーニングのためのメモリと通信効率の並列アルゴリズムを設計することはユニークな課題である。
本稿では,大規模プロセッサ数にスケールする並列トレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-12-09T17:51:13Z) - A Comprehensive Study on Large-Scale Graph Training: Benchmarking and
Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である
本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。
提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文 参考訳（メタデータ） (2022-10-14T03:43:05Z) - Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural
Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。
LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。
提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文 参考訳（メタデータ） (2022-07-18T14:23:31Z) - End-to-end Mapping in Heterogeneous Systems Using Graph Representation
Learning [13.810753108848582]
本稿では,エンドツーエンドでプログラム可能なグラフ表現学習フレームワークを提案する。
高レベルのプログラムの複雑さを普遍的な中間表現にマイニングし、特定の計算パターンを抽出し、特定のコア上でどのコードセグメントがベストに動作するかを予測できる。
評価では、スレッドベースの実行と比較して最大速度が6.42倍、最先端技術と比較して2.02倍であることを示す。
論文 参考訳（メタデータ） (2022-04-25T22:13:13Z) - A Robust and Generalized Framework for Adversarial Graph Embedding [73.37228022428663]
本稿では,AGE という逆グラフ埋め込みのための頑健なフレームワークを提案する。
AGEは、暗黙の分布から強化された負のサンプルとして偽の隣接ノードを生成する。
本フレームワークでは,3種類のグラフデータを扱う3つのモデルを提案する。
論文 参考訳（メタデータ） (2021-05-22T07:05:48Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳（メタデータ） (2020-12-31T18:48:58Z) - Ramanujan Bipartite Graph Products for Efficient Block Sparse Neural
Networks [2.4235475271758076]
本稿では,グラフ積の理論を用いて,構造化マルチレベルブロックスパースニューラルネットワークを生成するフレームワークを提案する。
ラマヌジャングラフの積も提案するが、これは与えられた範囲で最高の接続性を与える。
我々は,VGG19とWideResnet-40-4ネットワークを用いて,CIFARデータセット上の画像分類タスクを実験することで,我々のアプローチをベンチマークする。
論文 参考訳（メタデータ） (2020-06-24T05:08:17Z) - Graph Highway Networks [77.38665506495553]
グラフ畳み込みネットワーク(GCN)は、グラフ表現の有効性と効率性から、グラフ表現の学習に広く利用されている。
彼らは、多くの層が積み重ねられたとき、学習された表現が類似したベクトルに収束するという悪名高い過度に滑らかな問題に悩まされる。
本稿では,GCN学習プロセスにおける均一性と不均一性との間のトレードオフのバランスをとるため,ゲーティングユニットを利用したグラフハイウェイネットワークを提案する。
論文 参考訳（メタデータ） (2020-04-09T16:26:43Z) - Embedding Graph Auto-Encoder for Graph Clustering [90.8576971748142]
グラフ自動エンコーダ(GAE)モデルは、半教師付きグラフ畳み込みネットワーク(GCN)に基づく
我々は、グラフクラスタリングのための特定のGAEベースのモデルを設計し、その理論、すなわち、埋め込みグラフオートエンコーダ(EGAE)と整合する。
EGAEは1つのエンコーダと2つのデコーダで構成される。
論文 参考訳（メタデータ） (2020-02-20T09:53:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。