論文の概要: Optimizing Sparse Matrix Multiplications for Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2111.00352v1
- Date: Sat, 30 Oct 2021 22:08:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-02 16:23:45.202536
- Title: Optimizing Sparse Matrix Multiplications for Graph Neural Networks
- Title（参考訳）: グラフニューラルネットワークにおけるスパース行列乗算の最適化
- Authors: Shenghao Qiu, You Liang and Zheng Wang
- Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ構造をモデル化するための強力なテクニックとして登場している。
実世界のグラフデータのばらつきにより、GNN性能は広いスパース行列乗算演算によって制限される。
本稿では,スパース行列ストレージフォーマットの選択がGNNの性能に与える影響について検討する。
- 参考スコア（独自算出の注目度）: 8.080228311931261
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph neural networks (GNNs) are emerging as a powerful technique for
modeling graph structures. Due to the sparsity of real-world graph data, GNN
performance is limited by extensive sparse matrix multiplication (SpMM)
operations involved in computation. While the right sparse matrix storage
format varies across input data, existing deep learning frameworks employ a
single, static storage format, leaving much room for improvement. This paper
investigates how the choice of sparse matrix storage formats affect the GNN
performance. We observe that choosing a suitable sparse matrix storage format
can significantly improve the GNN training performance, but the right format
depends on the input workloads and can change as the GNN iterates over the
input graph. We then develop a predictive model to dynamically choose a sparse
matrix storage format to be used by a GNN layer based on the input matrices.
Our model is first trained offline using training matrix samples, and the
trained model can be applied to any input matrix and GNN kernels with SpMM
computation. We implement our approach on top of PyTorch and apply it to 5
representative GNN models running on a multi-core CPU using real-life and
synthetic datasets. Experimental results show that our approach gives an
average speedup of 1.17x (up to 3x) for GNN running time.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ構造をモデル化するための強力なテクニックとして登場している。
実世界のグラフデータのばらつきにより、GNNの性能は計算に関わる広範なスパース行列乗算(SpMM)演算によって制限される。
適切なスパースマトリックスストレージフォーマットは入力データによって異なるが、既存のディープラーニングフレームワークは単一の静的ストレージフォーマットを採用しており、改善の余地がたくさんある。
本稿では,スパース行列ストレージフォーマットの選択がGNNの性能に与える影響について検討する。
適切なスパース行列記憶形式を選択すると、GNNのトレーニング性能は大幅に向上するが、適切なフォーマットは入力負荷に依存し、GNNが入力グラフ上で反復するので変更できる。
次に、入力行列に基づいてgnn層が使用するスパースマトリックスストレージフォーマットを動的に選択する予測モデルを開発した。
我々のモデルは,まずトレーニング行列サンプルを用いてオフラインで訓練され,訓練されたモデルはSpMM計算で任意の入力行列およびGNNカーネルに適用できる。
提案手法はPyTorch上に実装し,実環境および合成データセットを用いて,マルチコアCPU上で動作する5つの代表GNNモデルに適用する。
実験の結果,GNN走行時間の平均速度は1.17倍(最大3倍)であることがわかった。
関連論文リスト
- SpanGNN: Towards Memory-Efficient Graph Neural Networks via Spanning Subgraph Training [14.63975787929143]
グラフニューラルネットワーク(GNN)は、グラフデータを学習する能力に優れています。
フルグラフGNNトレーニングは一般的に精度が高いが、ピークメモリ使用量が多い。
本研究では,SpanGNNと呼ばれるスパンニングサブグラフを用いたメモリ効率のよいGNNトレーニング手法を提案する。
論文 参考訳（メタデータ） (2024-06-07T13:46:23Z) - Graph Neural Networks and Applied Linear Algebra [1.8749305679160366]
グラフニューラルネットワーク(GNN)は、スパース行列計算に適したアプローチである。
本稿では,数値線形代数オーディエンスのためのGNNを紹介する。
具体例は、GNNを用いて、どれだけの共通線型代数タスクを達成できるかを示すものである。
論文 参考訳（メタデータ） (2023-10-21T18:37:56Z) - SENSEi: Input-Sensitive Compilation for Accelerating GNNs [7.527596018706567]
本稿では,GNN計算の行列再連想に基づいて,異なるスパースおよび密度行列プリミティブ構成を公開するシステムであるSENSEiを提案する。
SENSEiは、(1) 異なるスパースセンス行列合成につながるすべての有効な再連想を列挙するオフラインコンパイルステージで実行され、入出力プルーニング技術を用いて、明らかに利益のない候補を抽出する。
幅広い構成において、SENSEiは最大2.012times$と1.85times$のグラフ畳み込みネットワークで、最大6.294times$と16.274のスピードアップを達成する。
論文 参考訳（メタデータ） (2023-06-27T02:24:05Z) - RSC: Accelerating Graph Neural Networks Training via Randomized Sparse
Computations [56.59168541623729]
トレーニンググラフニューラルネットワーク(GNN)は、疎グラフベースの操作がハードウェアによって加速することが難しいため、時間を要する。
我々は,サンプリングに基づく近似による時間的複雑性を低減するために,計算精度のトレードオフを検討する。
本稿では,GNNを近似演算でトレーニングする可能性を初めて示すランダム化スパース計算を提案する。
論文 参考訳（メタデータ） (2022-10-19T17:25:33Z) - DNN Training Acceleration via Exploring GPGPU Friendly Sparsity [16.406482603838157]
本稿では、従来のランダムなニューロンやシナプスのドロップアウトを、通常のオンラインの行ベースもしくはタイルベースのドロップアウトパターンに置き換える近似ランダムドロップアウトを提案する。
次に,SGDに基づく探索アルゴリズムを開発し,行ベースあるいはタイルベースのドロップアウトパターンの分布を生成し,潜在的な精度損失を補う。
また,入力特徴図をその感度に基づいて動的にドロップアウトし,前向きおよび後向きのトレーニングアクセラレーションを実現するための感度対応ドロップアウト手法を提案する。
論文 参考訳（メタデータ） (2022-03-11T01:32:03Z) - Neighbor2Seq: Deep Learning on Massive Graphs by Transforming Neighbors
to Sequences [55.329402218608365]
本研究では,各ノードの階層的近傍をシーケンスに変換するためにNeighbor2Seqを提案する。
1100万以上のノードと160億のエッジを持つ大規模グラフ上で,本手法の評価を行った。
その結果,提案手法は大規模グラフに対してスケーラブルであり,大規模グラフと中規模グラフにまたがる優れた性能を実現する。
論文 参考訳（メタデータ） (2022-02-07T16:38:36Z) - VersaGNN: a Versatile accelerator for Graph neural networks [81.1667080640009]
我々は,超効率的なサイストリックアレイベースの多用途ハードウェアアクセラレータである textitVersaGNN を提案する。
textitVersaGNNは平均3712$times$ speedup with 1301.25$times$ energy reduction on CPU、35.4$times$ speedup with 17.66$times$ energy reduction on GPUを達成している。
論文 参考訳（メタデータ） (2021-05-04T04:10:48Z) - Adaptive Filters and Aggregator Fusion for Efficient Graph Convolutions [11.769185588579488]
本稿では,アクセル実装に適した特性とともに,メモリ消費と遅延を低減した最先端性能を示す。
提案手法は,エッジ数に比例するメモリを必要とする競合手法とは対照的に,グラフ内の頂点数に比例するメモリを用いる。
GNNが表現力を大幅に高める技術であるアグリゲーター融合を提案し、標準のスパース行列乗算よりも19%の遅延がわずかに増加している。
論文 参考訳（メタデータ） (2021-04-03T20:54:36Z) - A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。
グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
論文 参考訳（メタデータ） (2021-02-12T21:52:43Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳（メタデータ） (2020-12-31T18:48:58Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。