論文の概要: Input-sensitive dense-sparse primitive compositions for GNN acceleration
- arxiv url: http://arxiv.org/abs/2306.15155v1
- Date: Tue, 27 Jun 2023 02:24:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-28 15:00:28.735953
- Title: Input-sensitive dense-sparse primitive compositions for GNN acceleration
- Title（参考訳）: GNN加速のための入力感度密度スパースプリミティブ合成
- Authors: Damitha Lenadora, Vimarsh Sathia, Gerasimos Gerogiannis, Serif Yesil,
Josep Torrellas, Charith Mendis
- Abstract要約: グラフニューラルネットワーク(GNN)は、社会的および金融的ネットワーク分析などの領域で人気を博したニューラルネットワークモデルの重要なクラスとなっている。
SENSEiは,入力グラフとGNN埋め込みサイズを考慮し,データ駆動型適応戦略を用いて最適な構成を選択するシステムである。
SENSEiは1.105times$(最大2.959times$)と1.187times$(最大1.99times$)をグラフ畳み込みネットワークおよび2.307times$(最大35.866times)で達成している。
- 参考スコア（独自算出の注目度）: 7.371008972596961
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph neural networks (GNN) have become an important class of neural network
models that have gained popularity in domains such as social and financial
network analysis. Different phases of GNN computations can be modeled using
both dense and sparse matrix operations. There have been many frameworks and
optimization techniques proposed in the literature to accelerate GNNs. However,
getting consistently high performance across many input graphs with different
sparsity patterns and GNN embedding sizes has remained difficult.
In this paper, we propose different algebraic reassociations of GNN
computations that lead to novel dense and sparse matrix primitive selections
and compositions. We show that the profitability of these compositions depends
on the input graph, embedding size, and the target hardware. We developed
SENSEi, a system that uses a data-driven adaptive strategy to select the best
composition given the input graph and GNN embedding sizes. Our evaluations on a
wide range of graphs and embedding sizes show that SENSEi achieves geomean
speedups of $1.105\times$ (up to $2.959\times$) and $1.187\times$ (up to
$1.99\times$) on graph convolutional networks and geomean speedups of
$2.307\times$ (up to $35.866\times$) and $1.44\times$ (up to $5.69\times$) on
graph attention networks on CPUs and GPUs respectively over the widely used
Deep Graph Library. Further, we show that the compositions yield notable
synergistic performance benefits on top of other established sparse
optimizations such as sparse matrix tiling by evaluating against a well-tuned
baseline.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、社会的および金融的ネットワーク分析などの領域で人気を博したニューラルネットワークモデルの重要なクラスとなっている。
GNN計算の異なる位相は、密度行列演算とスパース行列演算の両方を用いてモデル化することができる。
gnnを加速するために多くのフレームワークや最適化技術が文献に提案されている。
しかし、多くの入力グラフにおいて、異なる空間パターンとGNN埋め込みサイズで一貫して高い性能を得るのは難しい。
本稿では,gnn計算の異なる代数的再結合について提案する。
これらの構成の収益性は、入力グラフ、埋め込みサイズ、ターゲットハードウェアに依存する。
入力グラフとGNN埋め込みサイズから最適な構成を選択するために,データ駆動型適応戦略を用いたシステムであるSENSEiを開発した。
幅広いグラフと埋め込みサイズの評価から、SENSEiは、広く使用されているDeep Graph Library上で、それぞれCPUとGPU上のグラフアテンションネットワーク上で、それぞれ1.105\times$(最大2.959\times$)と1.187\times$(最大1.99\times$)と2.307\times$(最大35.866\times$)と1.44\times$(最大5.69\times$)を達成している。
さらに, この構成は, スパースマトリクスタイリングなどの他の確立されたスパース最適化の上に, 十分に調整されたベースラインに対して評価することにより, 顕著な相乗効果をもたらすことを示す。
関連論文リスト
- Calibrate and Boost Logical Expressiveness of GNN Over Multi-Relational
and Temporal Graphs [8.095679736030146]
2つの変数と数量化器を持つ一階述語論理の断片である$mathcalFOC$NNについて検討する。
本稿では,線形時間で実行可能な,前処理ステップに似た単純なグラフ変換手法を提案する。
我々の結果は,グラフ変換によるR$2$-GNNが,合成および実世界のデータセットのベースライン手法よりも優れていることを一貫して示している。
論文 参考訳（メタデータ） (2023-11-03T00:33:24Z) - Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。
最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。
我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
論文 参考訳（メタデータ） (2023-10-23T01:25:44Z) - T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。
実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
論文 参考訳（メタデータ） (2023-10-05T02:58:29Z) - An efficient and flexible inference system for serving heterogeneous
ensembles of deep neural networks [0.0]
ディープニューラルネットワーク(DNN)のアンサンブルは定性的予測を達成しているが、それらは計算とメモリ集約である。
DNNの柔軟性と効率性を両立させる新しいソフトウェア層を提案する。
論文 参考訳（メタデータ） (2022-08-30T08:05:43Z) - Automatic Mapping of the Best-Suited DNN Pruning Schemes for Real-Time
Mobile Acceleration [71.80326738527734]
本稿では,汎用的,きめ細かな構造化プルーニング手法とコンパイラの最適化を提案する。
提案手法は,より微細な構造化プルーニング手法とともに,最先端のDNN最適化フレームワークよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-11-22T23:53:14Z) - Optimizing Sparse Matrix Multiplications for Graph Neural Networks [8.080228311931261]
グラフニューラルネットワーク(GNN)は、グラフ構造をモデル化するための強力なテクニックとして登場している。
実世界のグラフデータのばらつきにより、GNN性能は広いスパース行列乗算演算によって制限される。
本稿では,スパース行列ストレージフォーマットの選択がGNNの性能に与える影響について検討する。
論文 参考訳（メタデータ） (2021-10-30T22:08:51Z) - VQ-GNN: A Universal Framework to Scale up Graph Neural Networks using
Vector Quantization [70.8567058758375]
VQ-GNNは、Vector Quantization(VQ)を使用して、パフォーマンスを損なうことなく、畳み込みベースのGNNをスケールアップするための普遍的なフレームワークである。
我々のフレームワークは,グラフ畳み込み行列の低ランク版と組み合わせた量子化表現を用いて,GNNの「隣の爆発」問題を回避する。
論文 参考訳（メタデータ） (2021-10-27T11:48:50Z) - BlockGNN: Towards Efficient GNN Acceleration Using Block-Circulant
Weight Matrices [9.406007544032848]
グラフニューラルネットワーク(GNN)は、非ユークリッドグラフデータを分析するための最先端のアルゴリズムです。
リアルタイムにGNNを推論する方法は、リソース制限のあるエッジコンピューティングプラットフォームでは難しい問題となっている。
効率的なGNN加速を実現するソフトウェアハードウェアの共同設計手法であるBlockGNNを提案する。
論文 参考訳（メタデータ） (2021-04-13T14:09:22Z) - Policy-GNN: Aggregation Optimization for Graph Neural Networks [60.50932472042379]
グラフニューラルネットワーク(GNN)は、局所的なグラフ構造をモデル化し、隣人からの情報を集約することで階層的なパターンを捉えることを目的としている。
複雑なグラフとスパースな特徴を与えられた各ノードに対して効果的なアグリゲーション戦略を開発することは難しい課題である。
本稿では,GNNのサンプリング手順とメッセージパッシングを複合学習プロセスにモデル化するメタ政治フレームワークであるPolicy-GNNを提案する。
論文 参考訳（メタデータ） (2020-06-26T17:03:06Z) - Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。
提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。
実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文 参考訳（メタデータ） (2020-04-19T09:43:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。