論文の概要: On Efficient Scaling of GNNs via IO-Aware Layers Implementations
- arxiv url: http://arxiv.org/abs/2605.31500v1
- Date: Fri, 29 May 2026 16:22:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.739958
- Title: On Efficient Scaling of GNNs via IO-Aware Layers Implementations
- Title（参考訳）: IO対応層実装によるGNNの効率的なスケーリングについて
- Abstract要約: グラフニューラルネットワーク(GNN)は不規則なメモリアクセスによってボトルネックとなる。
広く使われているレイヤは、SpMMベースの畳み込み、還元ベースのアグリゲーション、注意ベースの3つのカーネルファミリーに分類される。
各ファミリーは、データ移動を減らし、局所性を向上し、現実的なグラフをまたいで堅牢なカーネルを開発する。
- 参考スコア（独自算出の注目度）: 1.0262304700896199
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graph Neural Networks (GNNs) are bottlenecked by sparse, irregular memory access. Popular frameworks such as DGL and PyTorch Geometric support general message passing, but complex layers often materialize edge-wise intermediates, increasing memory traffic and limiting scalability on large graphs. We take an I/O- and arithmetic-intensity--centric view and show that widely used layers fall into three kernel families: SpMM-based convolutions, reduction-based aggregations, and attention-based layers (GATv2/Graph Transformer). For each family, we develop GPU kernels that reduce data movement, improve locality, and remain robust across realistic graphs. We also study graph reordering and find that its impact depends on the kernel mapping: it benefits neighbor-parallel (gather-dominated) kernels more consistently than feature-parallel designs. Empirically, our fused attention kernels reach up to $\textbf{3.9}\times$ speedup for Graph Transformer (median $\textbf{1.6}\times$), with Tensor Core (block-sparse) variants up to $\textbf{7.3}\times$ on locally dense graphs; for GATv2 we reach up to $\textbf{8.5}\times$ speedup (median $\textbf{2.0}\times$) while reducing peak memory by up to $\textbf{76}\times$ (median $\textbf{6}\times$). Our degree-aware reduction kernels achieve up to $\textbf{10}\times$ speedup (median $\textbf{2.6}\times$). For SpMM-based layers, properly cached cuSPARSE achieves up to $\textbf{8}\times$ speedup over DGL and outperforms evaluated custom baselines in the majority of evaluations. We release our implementations as drop-in replacements to support reproducible, hardware-aware GNN acceleration.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、スパースで不規則なメモリアクセスによってボトルネックとなる。
DGLやPyTorch Geometricといった一般的なフレームワークは一般的なメッセージパッシングをサポートしているが、複雑なレイヤはしばしばエッジワイド中間体を形成し、メモリトラフィックを増やし、大きなグラフのスケーラビリティを制限する。
我々は、I/Oと算術強度中心のビューを取り、広く使われているレイヤは、SpMMベースの畳み込み、還元ベースの集約、注意ベースのレイヤ(GATv2/Graph Transformer)の3つのカーネルファミリーに分類されることを示す。
各ファミリに対して、データの移動を減らし、局所性を改善し、現実的なグラフをまたいだ堅牢性を維持するGPUカーネルを開発します。
また、グラフの並べ替えも検討し、その影響はカーネルマッピングに依存することを発見した。
GATv2では、最大$\textbf{8.5}\times$ speedup (median $\textbf{2.0}\times$)まで到達し、ピークメモリを$\textbf{76}\times$ (median $\textbf{6}\times$)まで削減します。
我々の次数対応リダクションカーネルは、最大$\textbf{10}\times$ speedup (median $\textbf{2.6}\times$)を達成する。
SpMMベースのレイヤでは、適切にキャッシュされたcuSPARSEが最大$\textbf{8}\times$DGLのスピードアップを実現し、多くの評価において評価されたカスタムベースラインを上回っている。
我々は、再現性のあるハードウェア対応のGNNアクセラレーションをサポートするために、ドロップイン代替として実装をリリースする。
関連論文リスト
- Scalable Graph Generative Modeling via Substructure Sequences [50.32639806800683]
本稿では,グラフ生成用トランスフォーマー事前学習フレームワークである生成グラフパターンマシン(G$2$PM)を紹介する。
G$2$PMはグラフインスタンス(ノード、エッジ、グラフ全体)をサブ構造のシーケンスとして表現する。
それは、一般化可能かつ伝達可能な表現を学ぶために、シーケンスに関する生成的事前学習を採用する。
論文 参考訳（メタデータ） (2025-05-22T02:16:34Z) - GraNNite: Enabling High-Performance Execution of Graph Neural Networks on Resource-Constrained Neural Processing Units [0.6063137165121326]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習するために不可欠であり、ネットワーク分析、レコメンデーションシステム、音声分析の応用を可能にする。
GraNNiteは、COTS(Commercial-off-the-Shelf) SOTAアクセラレータ上でGNNの実行を最適化する最初のハードウェア対応フレームワークである。
論文 参考訳（メタデータ） (2025-02-10T17:03:02Z) - FastGL: A GPU-Efficient Framework for Accelerating Sampling-Based GNN Training at Large Scale [29.272368697268433]
グラフニューラルネットワーク(GNN)は、非ユークリッドグラフデータに対して大きな優位性を示している。
我々は,大規模なGNNのサンプリングベーストレーニングを高速化するGPU効率のフレームワークであるFastGLを提案する。
FastGLは、最先端フレームワークであるPyG、DGL、GNNLabに対して平均11.8x、2.2x、1.5xのスピードアップを達成することができる。
論文 参考訳（メタデータ） (2024-09-23T11:45:47Z) - Graph Transformers for Large Graphs [57.19338459218758]
この研究は、モデルの特徴と重要な設計制約を識別することに焦点を当てた、単一の大規模グラフでの表現学習を前進させる。
この研究の重要な革新は、局所的な注意機構と組み合わされた高速な近傍サンプリング技術の作成である。
ogbn-products と snap-patents の3倍の高速化と16.8%の性能向上を報告し、ogbn-100M で LargeGT を5.9% の性能改善で拡張した。
論文 参考訳（メタデータ） (2023-12-18T11:19:23Z) - Accel-GCN: High-Performance GPU Accelerator Design for Graph Convolution
Networks [12.181052673940465]
グラフ畳み込みネットワーク(GCN)は、様々な領域にわたるグラフデータから潜伏情報を抽出する上で重要である。
本稿では,GCNのためのGPUアクセラレータアーキテクチャであるAccel-GCNを紹介する。
18のベンチマークグラフに対するAccel-GCNの評価では、cuSPARSE、GNNAdvisor、Graph-BLASTをそれぞれ1.17倍、1.86倍、2.94倍で上回っている。
論文 参考訳（メタデータ） (2023-08-22T23:12:17Z) - INR-Arch: A Dataflow Architecture and Compiler for Arbitrary-Order
Gradient Computations in Implicit Neural Representation Processing [66.00729477511219]
計算グラフとして表される関数を考えると、従来のアーキテクチャはn階勾配を効率的に計算する上で困難に直面している。
InR-Archは,n階勾配の計算グラフをハードウェア最適化データフローアーキテクチャに変換するフレームワークである。
1.8-4.8x と 1.5-3.6x の高速化を CPU と GPU のベースラインと比較した結果を示す。
論文 参考訳（メタデータ） (2023-08-11T04:24:39Z) - DistTGL: Distributed Memory-Based Temporal Graph Neural Network Training [18.52206409432894]
DistTGLは、分散GPUクラスタ上でメモリベースのTGNNをトレーニングするための、効率的でスケーラブルなソリューションである。
実験では、DistTGLはほぼ直線収束のスピードアップを実現し、最先端のシングルマシン法を14.5%、トレーニングスループットは10.17倍に向上した。
論文 参考訳（メタデータ） (2023-07-14T22:52:27Z) - Communication-Efficient Graph Neural Networks with Probabilistic
Neighborhood Expansion Analysis and Caching [59.8522166385372]
大規模グラフ上でのグラフニューラルネットワーク(GNN)のトレーニングと推論は、GNNの登場以来活発に研究されている。
本稿では,分散環境におけるノードワイドサンプリングを用いたGNNによるミニバッチ学習と推論について述べる。
分割された特徴データを扱うために,従来のSALIENTシステムを拡張したSALIENT++を提案する。
論文 参考訳（メタデータ） (2023-05-04T21:04:01Z) - A Generalization of ViT/MLP-Mixer to Graphs [32.86160915431453]
我々は、Graph ViT/MLP-Mixerと呼ばれる新しいGNNのクラスを紹介する。
長距離依存を捕捉し、オーバー・スカッシングの問題を緩和する。
ノード数とエッジ数にリニアな複雑さで、スピードとメモリ効率が向上する。
論文 参考訳（メタデータ） (2022-12-27T03:27:46Z) - VersaGNN: a Versatile accelerator for Graph neural networks [81.1667080640009]
我々は,超効率的なサイストリックアレイベースの多用途ハードウェアアクセラレータである textitVersaGNN を提案する。
textitVersaGNNは平均3712$times$ speedup with 1301.25$times$ energy reduction on CPU、35.4$times$ speedup with 17.66$times$ energy reduction on GPUを達成している。
論文 参考訳（メタデータ） (2021-05-04T04:10:48Z) - DistGNN: Scalable Distributed Training for Large-Scale Graph Neural
Networks [58.48833325238537]
大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。
本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。
4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
論文 参考訳（メタデータ） (2021-04-14T08:46:35Z) - Accelerated Gradient Tracking over Time-varying Graphs for Decentralized Optimization [59.65871549878937]
実用的な単一ループ加速勾配追跡には$O(fracgamma1-sigma_gamma)2sqrtfracLepsilon)$が必要であることを証明している。
我々の収束率は$O(frac1epsilon5/7)$と$O(fracLmu)5/7frac1(1-sigma)1.5logfrac1epsilon)$よりも大幅に改善した。
論文 参考訳（メタデータ） (2021-04-06T15:34:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。