論文の概要: iSpLib: A Library for Accelerating Graph Neural Networks using Auto-tuned Sparse Operations

• arxiv url: http://arxiv.org/abs/2403.14853v1
• Date: Thu, 21 Mar 2024 21:56:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-25 19:06:46.514000
• Title: iSpLib: A Library for Accelerating Graph Neural Networks using Auto-tuned Sparse Operations
• Title（参考訳）: iSpLib: 自動調整スパース操作によるグラフニューラルネットワークの高速化ライブラリ
• Authors: Md Saidul Hoque Anik, Pranav Badhe, Rohit Gampa, Ariful Azad,
• Abstract要約: iSpLibは、自動調整されたスパース操作を備えたPyTorchベースのC++ライブラリである。 iSpLibは、CPU上のPyTorch 2.1.0とPyTorch Geometric 2.4.0と同等のPyTorch 2.1.0と比較して、最大27倍のトレーニングスピードアップが得られることを示した。
• 参考スコア（独自算出の注目度）: 1.3030767447016454
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Core computations in Graph Neural Network (GNN) training and inference are often mapped to sparse matrix operations such as sparse-dense matrix multiplication (SpMM). These sparse operations are harder to optimize by manual tuning because their performance depends significantly on the sparsity of input graphs, GNN models, and computing platforms. To address this challenge, we present iSpLib, a PyTorch-based C++ library equipped with auto-tuned sparse operations. iSpLib expedites GNN training with a cache-enabled backpropagation that stores intermediate matrices in local caches. The library offers a user-friendly Python plug-in that allows users to take advantage of our optimized PyTorch operations out-of-the-box for any existing linear algebra-based PyTorch implementation of popular GNNs (Graph Convolution Network, GraphSAGE, Graph Inference Network, etc.) with only two lines of additional code. We demonstrate that iSpLib obtains up to 27x overall training speedup compared to the equivalent PyTorch 2.1.0 and PyTorch Geometric 2.4.0 implementations on the CPU. Our library is publicly available at https://github.com/HipGraph/iSpLib (https://doi.org/10.5281/zenodo.10806511).
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)のトレーニングと推論におけるコア計算はしばしばスパース・デンス行列乗算(SpMM)のようなスパース行列演算にマッピングされる。 これらのスパース演算は、入力グラフ、GNNモデル、およびコンピューティングプラットフォームの範囲に大きく依存するため、手動チューニングによる最適化が困難である。 この課題に対処するために、自動調整されたスパース操作を備えたPyTorchベースのC++ライブラリであるiSpLibを紹介する。 iSpLibは、キャッシュ可能なバックプロパゲーションでGNNトレーニングを高速化し、中間行列をローカルキャッシュに格納する。 このライブラリは、ユーザが最適化されたPyTorch操作を、人気のあるGNN(Graph Convolution Network、GraphSAGE、Graph Inference Networkなど)の既存の線形代数ベースのPyTorch実装に対して、わずか2行のコードで利用できる、ユーザフレンドリなPythonプラグインを提供する。 iSpLibは、CPU上のPyTorch 2.1.0とPyTorch Geometric 2.4.0と同等のPyTorch 2.1.0と比較して、最大27倍のトレーニングスピードアップが得られることを示した。 私たちのライブラリはhttps://github.com/HipGraph/iSpLib (https://doi.org/10.5281/zenodo.10806511)で公開されています。

関連論文リスト

• Nerva: a Truly Sparse Implementation of Neural Networks [16.29955529463831]
  Nervaは、C++で開発中の高速ニューラルネットワークライブラリである。 IntelのMath Kernel Libraryのスパースマトリックス操作を使用することで、スパシティをサポートする。
  論文  参考訳（メタデータ） (2024-07-24T17:13:31Z)
• PyGim: An Efficient Graph Neural Network Library for Real Processing-In-Memory Architectures [10.047157906258196]
  実PIMシステム上でグラフニューラルネットワークを高速化する,効率的なMLライブラリであるPyGimを紹介する。 我々は、計算集約型およびメモリ集約型カーネルをプロセッサ中心およびメモリ中心のシステムで実行するハイブリッドGNN実行を提供する。 我々は、1992年のPIMコアを持つ実世界のPIMシステム上で、新しいGNNモデルを用いてPyGimを広範囲に評価し、Intel Xeonの最先端CPUを平均3.04倍に上回っていることを示す。
  論文  参考訳（メタデータ） (2024-02-26T16:52:35Z)
• PyTorch Geometric High Order: A Unified Library for High Order Graph Neural Network [32.537428858455]
  PyTorch Geometric High Order (PyGHO)は、PyTorch (PyG)を拡張した高次グラフニューラルネットワーク(HOGNN)のためのライブラリである。 我々は、PyGHOの詳細な詳細を提示し、PyGHOで実装されたHOGNNと現実世界のタスクに関する公式実装を比較した。
  論文  参考訳（メタデータ） (2023-11-28T10:34:48Z)
• RSC: Accelerating Graph Neural Networks Training via Randomized Sparse Computations [56.59168541623729]
  トレーニンググラフニューラルネットワーク(GNN)は、疎グラフベースの操作がハードウェアによって加速することが難しいため、時間を要する。 我々は,サンプリングに基づく近似による時間的複雑性を低減するために,計算精度のトレードオフを検討する。 本稿では,GNNを近似演算でトレーニングする可能性を初めて示すランダム化スパース計算を提案する。
  論文  参考訳（メタデータ） (2022-10-19T17:25:33Z)
• Neighbor2Seq: Deep Learning on Massive Graphs by Transforming Neighbors to Sequences [55.329402218608365]
  本研究では,各ノードの階層的近傍をシーケンスに変換するためにNeighbor2Seqを提案する。 1100万以上のノードと160億のエッジを持つ大規模グラフ上で,本手法の評価を行った。 その結果,提案手法は大規模グラフに対してスケーラブルであり,大規模グラフと中規模グラフにまたがる優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-02-07T16:38:36Z)
• VersaGNN: a Versatile accelerator for Graph neural networks [81.1667080640009]
  我々は,超効率的なサイストリックアレイベースの多用途ハードウェアアクセラレータである textitVersaGNN を提案する。 textitVersaGNNは平均3712$times$ speedup with 1301.25$times$ energy reduction on CPU、35.4$times$ speedup with 17.66$times$ energy reduction on GPUを達成している。
  論文  参考訳（メタデータ） (2021-05-04T04:10:48Z)
• PyTorch-Direct: Enabling GPU Centric Data Access for Very Large Graph Neural Network Training with Irregular Accesses [19.2129567657739]
  グラフニューラルネットワーク(GNN)トレーニングのためのGPU中心のデータアクセスパラダイムを可能にするPyTorch-Directを紹介します。 マイクロベンチマークとエンドツーエンドのGNNトレーニングの結果から,PyTorch-Directはデータ転送時間を平均47.1%削減し,GNNトレーニングを最大1.6倍高速化した。
  論文  参考訳（メタデータ） (2021-01-20T04:24:39Z)
• Scalable Graph Neural Networks via Bidirectional Propagation [89.70835710988395]
  グラフニューラルネットワーク(GNN)は、非ユークリッドデータを学習するための新興分野である。 本稿では、特徴ベクトルとトレーニング/テストノードの両方から局所的な双方向伝搬プロセスを利用するスケーラブルなGNNであるGBPを提案する。 実証実験により、GBPは、トレーニング/テスト時間を大幅に減らして最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2020-10-29T08:55:33Z)
• Scaling Graph Neural Networks with Approximate PageRank [64.92311737049054]
  GNNにおける情報拡散の効率的な近似を利用したPPRGoモデルを提案する。 高速であることに加えて、PPRGoは本質的にスケーラブルであり、業界設定で見られるような大規模なデータセットに対して、自明に並列化することができる。 このグラフのすべてのノードに対するPPRGoのトレーニングとラベルの予測には1台のマシンで2分未満で、同じグラフ上の他のベースラインをはるかに上回ります。
  論文  参考訳（メタデータ） (2020-07-03T09:30:07Z)
• Hybrid Models for Learning to Branch [81.93868699246214]
  我々はCPUマシン上で効率的な分岐を行うための新しいハイブリッドアーキテクチャを提案する。 提案アーキテクチャは,GNNの表現力と分岐処理のための計算コストの低い多層パーセプトロン(MLP)を組み合わせる。
  論文  参考訳（メタデータ） (2020-06-26T21:03:45Z)
• Kernel Operations on the GPU, with Autodiff, without Memory Overflows [5.669790037378094]
  KeOpsライブラリは、数学的公式によってエントリが与えられるテンソルに対して、高速でメモリ効率のよいGPUサポートを提供する。 KeOpsは、カーネルおよび幾何学的アプリケーションのためのテンソル中心ライブラリの大きなボトルネックであるメモリ消費を緩和する。 KeOpsは、最適化されたC++/CUDAスキームと、Python(NumpyとPyTorch)、Matlab、Rのバインダーを組み合わせる。
  論文  参考訳（メタデータ） (2020-03-27T08:54:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。