論文の概要: SENSEi: Input-Sensitive Compilation for Accelerating GNNs

• arxiv url: http://arxiv.org/abs/2306.15155v2
• Date: Sat, 9 Mar 2024 00:00:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 16:55:23.945927
• Title: SENSEi: Input-Sensitive Compilation for Accelerating GNNs
• Title（参考訳）: SENSEi: GNNの高速化のための入力感度コンパイル
• Authors: Damitha Lenadora, Vimarsh Sathia, Gerasimos Gerogiannis, Serif Yesil, Josep Torrellas, Charith Mendis
• Abstract要約: 本稿では,GNN計算の行列再連想に基づいて,異なるスパースおよび密度行列プリミティブ構成を公開するシステムであるSENSEiを提案する。 SENSEiは、(1) 異なるスパースセンス行列合成につながるすべての有効な再連想を列挙するオフラインコンパイルステージで実行され、入出力プルーニング技術を用いて、明らかに利益のない候補を抽出する。 幅広い構成において、SENSEiは最大2.012times$と1.85times$のグラフ畳み込みネットワークで、最大6.294times$と16.274のスピードアップを達成する。
• 参考スコア（独自算出の注目度）: 7.527596018706567
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Over the years, many frameworks and optimization techniques have been proposed to accelerate graph neural networks (GNNs). Compared to the optimizations explored in these systems, we observe that different matrix re-associations of GNN computations lead to novel input-sensitive performance behavior. We leverage this observation to propose SENSEi, a system that exposes different sparse and dense matrix primitive compositions based on different matrix re-associations of GNN computations and selects the best among them based on input attributes. SENSEi executes in two stages: (1) an offline compilation stage that enumerates all valid re-associations leading to different sparse-dense matrix compositions and uses input-oblivious pruning techniques to prune away clearly unprofitable candidates and (2) an online runtime system that explores the remaining candidates and uses light-weight cost models to select the best re-association based on the input graph and the embedding sizes on a given hardware platform. On a wide range of configurations, SENSEi achieves speedups of up to $2.012\times$ and $1.85\times$ on graph convolutional networks and up to $6.294\times$ and $16.274\times$ on graph attention networks, on GPUs and CPUs respectively. We also show that its technique generalizes to GNN variants, including those that require sampling. Furthermore, we show that SENSEi's techniques are agnostic to the underlying GNN system, and can be used to yield synergistic improvements across a diverse set of implementations.
• Abstract（参考訳）: 長年にわたり、グラフニューラルネットワーク(GNN)を加速する多くのフレームワークと最適化技術が提案されてきた。 これらのシステムで探索された最適化と比較して、GNN計算の異なる行列の再連想が、新しい入力感受性性能挙動をもたらすことが観察された。 本研究は,gnn計算の異なる行列の再結合に基づいて,異なるスパースおよび密度行列プリミティブ合成を露出し,入力属性に基づいてそれらの中から最良のものを選択するシステムであるsenseiを提案する。 SENSEi は,(1) 異なるスパース・デンス行列を構成する有効な再結合を列挙するオフラインコンパイル段階と,(2) 残りの候補を探索し,軽量なコストモデルを用いて,入力グラフと所定のハードウェアプラットフォーム上の埋め込みサイズに基づいて最適な再結合を選択するオンラインランタイムシステムである。 幅広い構成において、SENSEiは最大2.012\times$と1.85\times$をグラフ畳み込みネットワークで、最大6.294\times$と16.274\times$をそれぞれGPUとCPUで達成している。 また,その手法がサンプリングを必要とするものを含むGNNの変種に一般化されることも示す。 さらに,SENSEiの手法は基礎となるGNNシステムとは無関係であり,多種多様な実装間の相乗的改善を実現するために使用できることを示す。

関連論文リスト

• Calibrate and Boost Logical Expressiveness of GNN Over Multi-Relational and Temporal Graphs [8.095679736030146]
  2つの変数と数量化器を持つ一階述語論理の断片である$mathcalFOC$NNについて検討する。 本稿では,線形時間で実行可能な,前処理ステップに似た単純なグラフ変換手法を提案する。 我々の結果は,グラフ変換によるR$2$-GNNが,合成および実世界のデータセットのベースライン手法よりも優れていることを一貫して示している。
  論文  参考訳（メタデータ） (2023-11-03T00:33:24Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• An efficient and flexible inference system for serving heterogeneous ensembles of deep neural networks [0.0]
  ディープニューラルネットワーク(DNN)のアンサンブルは定性的予測を達成しているが、それらは計算とメモリ集約である。 DNNの柔軟性と効率性を両立させる新しいソフトウェア層を提案する。
  論文  参考訳（メタデータ） (2022-08-30T08:05:43Z)
• Automatic Mapping of the Best-Suited DNN Pruning Schemes for Real-Time Mobile Acceleration [71.80326738527734]
  本稿では,汎用的,きめ細かな構造化プルーニング手法とコンパイラの最適化を提案する。 提案手法は,より微細な構造化プルーニング手法とともに,最先端のDNN最適化フレームワークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-22T23:53:14Z)
• Optimizing Sparse Matrix Multiplications for Graph Neural Networks [8.080228311931261]
  グラフニューラルネットワーク(GNN)は、グラフ構造をモデル化するための強力なテクニックとして登場している。 実世界のグラフデータのばらつきにより、GNN性能は広いスパース行列乗算演算によって制限される。 本稿では,スパース行列ストレージフォーマットの選択がGNNの性能に与える影響について検討する。
  論文  参考訳（メタデータ） (2021-10-30T22:08:51Z)
• VQ-GNN: A Universal Framework to Scale up Graph Neural Networks using Vector Quantization [70.8567058758375]
  VQ-GNNは、Vector Quantization(VQ)を使用して、パフォーマンスを損なうことなく、畳み込みベースのGNNをスケールアップするための普遍的なフレームワークである。 我々のフレームワークは,グラフ畳み込み行列の低ランク版と組み合わせた量子化表現を用いて,GNNの「隣の爆発」問題を回避する。
  論文  参考訳（メタデータ） (2021-10-27T11:48:50Z)
• BlockGNN: Towards Efficient GNN Acceleration Using Block-Circulant Weight Matrices [9.406007544032848]
  グラフニューラルネットワーク(GNN)は、非ユークリッドグラフデータを分析するための最先端のアルゴリズムです。 リアルタイムにGNNを推論する方法は、リソース制限のあるエッジコンピューティングプラットフォームでは難しい問題となっている。 効率的なGNN加速を実現するソフトウェアハードウェアの共同設計手法であるBlockGNNを提案する。
  論文  参考訳（メタデータ） (2021-04-13T14:09:22Z)
• Policy-GNN: Aggregation Optimization for Graph Neural Networks [60.50932472042379]
  グラフニューラルネットワーク(GNN)は、局所的なグラフ構造をモデル化し、隣人からの情報を集約することで階層的なパターンを捉えることを目的としている。 複雑なグラフとスパースな特徴を与えられた各ノードに対して効果的なアグリゲーション戦略を開発することは難しい課題である。 本稿では,GNNのサンプリング手順とメッセージパッシングを複合学習プロセスにモデル化するメタ政治フレームワークであるPolicy-GNNを提案する。
  論文  参考訳（メタデータ） (2020-06-26T17:03:06Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。