論文の概要: Accelerating Large Scale Real-Time GNN Inference using Channel Pruning
- arxiv url: http://arxiv.org/abs/2105.04528v1
- Date: Mon, 10 May 2021 17:28:44 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-11 14:42:52.315294
- Title: Accelerating Large Scale Real-Time GNN Inference using Channel Pruning
- Title（参考訳）: チャネルプルーニングを用いた大規模リアルタイムGNN推論の高速化
- Authors: Hongkuan Zhou and Ajitesh Srivastava and Hanqing Zeng and Rajgopal
Kannan and Viktor Prasanna
- Abstract要約: グラフニューラルネットワーク(GNN)は、下流アプリケーションにノード埋め込みを生成する強力なモデルであることが証明されている。
しかし,GNN推論の計算複雑性が高いため,大規模アプリケーションやリアルタイムアプリケーションにGNNをデプロイすることは困難である。
本稿では,各層内の次元を精度損失なく刈り取ることで,gnn推定を高速化することを提案する。
- 参考スコア（独自算出の注目度）: 7.8799581908375185
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph Neural Networks (GNNs) are proven to be powerful models to generate
node embedding for downstream applications. However, due to the high
computation complexity of GNN inference, it is hard to deploy GNNs for
large-scale or real-time applications. In this paper, we propose to accelerate
GNN inference by pruning the dimensions in each layer with negligible accuracy
loss. Our pruning framework uses a novel LASSO regression formulation for GNNs
to identify feature dimensions (channels) that have high influence on the
output activation. We identify two inference scenarios and design pruning
schemes based on their computation and memory usage for each. To further reduce
the inference complexity, we effectively store and reuse hidden features of
visited nodes, which significantly reduces the number of supporting nodes
needed to compute the target embedding. We evaluate the proposed method with
the node classification problem on five popular datasets and a real-time spam
detection application. We demonstrate that the pruned GNN models greatly reduce
computation and memory usage with little accuracy loss. For full inference, the
proposed method achieves an average of 3.27x speedup with only 0.002 drop in
F1-Micro on GPU. For batched inference, the proposed method achieves an average
of 6.67x speedup with only 0.003 drop in F1-Micro on CPU. To the best of our
knowledge, we are the first to accelerate large scale real-time GNN inference
through channel pruning.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、下流アプリケーションにノード埋め込みを生成する強力なモデルであることが証明されている。
しかし,GNN推論の計算複雑性が高いため,大規模アプリケーションやリアルタイムアプリケーションにGNNをデプロイすることは困難である。
本稿では,各層内の次元を精度損失なく刈り取ることで,gnn推定を高速化することを提案する。
我々のプルーニングフレームワークは、GNNのための新しいLASSO回帰定式化を使用して、出力アクティベーションに大きな影響を及ぼす特徴次元(チャネル)を識別する。
計算量とメモリ使用量に基づいて,2つの推論シナリオと設計プルーニングスキームを同定する。
推論の複雑さをさらに軽減するため、訪問ノードの隠れた特徴を効果的に保存・再利用し、ターゲット埋め込みを計算するのに必要なサポートノードの数を大幅に削減する。
提案手法を,5つの人気データセットとリアルタイムスパム検出アプリケーションを用いてノード分類問題を用いて評価する。
本稿では,pruned gnnモデルが計算量とメモリ使用量を大幅に削減し,精度を低下させることを示す。
提案手法は,GPU上でのF1-Microの0.002ドロップで平均3.27倍の高速化を実現する。
バッチ推論では、CPU上のF1-Microの0.003ドロップで平均6.67倍の高速化を実現する。
我々の知る限り、我々はチャネルプルーニングによる大規模リアルタイムGNN推論を初めて加速した。
関連論文リスト
- Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。
最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。
我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
論文 参考訳（メタデータ） (2023-10-23T01:25:44Z) - Graph Neural Network for Accurate and Low-complexity SAR ATR [2.9766397696234996]
高精度かつ低レイテンシなSAR ATRを実現するために,グラフニューラルネットワーク(GNN)モデルを提案する。
提案したGNNモデルは計算複雑性が低く,高い精度を実現する。
現状のCNNと比較して、提案したGNNモデルは、計算コストが1/3000、モデルサイズが1/80である。
論文 参考訳（メタデータ） (2023-05-11T20:17:41Z) - $\rm A^2Q$: Aggregation-Aware Quantization for Graph Neural Networks [18.772128348519566]
グラフニューラルネットワーク(GNN)のための集約型混合精度量子化(rm A2Q$)を提案する。
本手法は,ノードレベルのタスクとグラフレベルのタスクで最大11.4%,9.5%の精度向上を実現し,専用ハードウェアアクセラレータで最大2倍の高速化を実現する。
論文 参考訳（メタデータ） (2023-02-01T02:54:35Z) - Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural
Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。
LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。
提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文 参考訳（メタデータ） (2022-07-18T14:23:31Z) - FlowGNN: A Dataflow Architecture for Universal Graph Neural Network
Inference via Multi-Queue Streaming [1.566528527065232]
グラフニューラルネットワーク(GNN)は、グラフ関連の問題に広く適用可能であるため、最近人気が高まっている。
効率的な加速器の開発と新しいGNNモデルの迅速な作成の間にギャップがあるため、新しいGNNモデルの需要と高速推論を同時に行うことは困難である。
本稿では,メッセージパッシングGNNの大部分を柔軟にサポートできるFlowGNNという,GNNアクセラレーションのための汎用データフローアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-04-27T17:59:25Z) - VQ-GNN: A Universal Framework to Scale up Graph Neural Networks using
Vector Quantization [70.8567058758375]
VQ-GNNは、Vector Quantization(VQ)を使用して、パフォーマンスを損なうことなく、畳み込みベースのGNNをスケールアップするための普遍的なフレームワークである。
我々のフレームワークは,グラフ畳み込み行列の低ランク版と組み合わせた量子化表現を用いて,GNNの「隣の爆発」問題を回避する。
論文 参考訳（メタデータ） (2021-10-27T11:48:50Z) - Deep Graph Neural Networks with Shallow Subgraph Samplers [22.526363992743278]
本稿では,GNNの精度と効率を両立させるため,簡易な"深部GNN,浅部サンプル"設計法を提案する。
適切にサンプリングされた部分グラフは、無関係またはノイズの多いノードを除外し、依然として重要な隣り合う特徴やグラフ構造を保存できる。
最大の公開グラフデータセットであるogbn-papers100Mでは,ハードウェアコストを大幅に削減して最先端の精度を実現する。
論文 参考訳（メタデータ） (2020-12-02T18:23:48Z) - Graph Neural Network for Large-Scale Network Localization [35.29322617956428]
グラフニューラルネットワーク(GNN)は、機械学習のコンテキストにおいて構造化データの分類に使用される。
本研究では,古典的だが難解な非線形回帰問題,すなわちネットワークローカライゼーションにGNNを採用する。
まず、GNNは、精度、堅牢性、計算時間の観点から、大規模ネットワークローカライゼーションの最適解である可能性がある。
論文 参考訳（メタデータ） (2020-10-22T12:39:26Z) - Scaling Graph Neural Networks with Approximate PageRank [64.92311737049054]
GNNにおける情報拡散の効率的な近似を利用したPPRGoモデルを提案する。
高速であることに加えて、PPRGoは本質的にスケーラブルであり、業界設定で見られるような大規模なデータセットに対して、自明に並列化することができる。
このグラフのすべてのノードに対するPPRGoのトレーニングとラベルの予測には1台のマシンで2分未満で、同じグラフ上の他のベースラインをはるかに上回ります。
論文 参考訳（メタデータ） (2020-07-03T09:30:07Z) - Fast Learning of Graph Neural Networks with Guaranteed Generalizability:
One-hidden-layer Case [93.37576644429578]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。
回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
論文 参考訳（メタデータ） (2020-06-25T00:45:52Z) - Fast Graph Attention Networks Using Effective Resistance Based Graph
Sparsification [70.50751397870972]
FastGATは、スペクトルスペーシフィケーションを用いて、注目に基づくGNNを軽量にし、入力グラフの最適プルーニングを生成する手法である。
我々は,ノード分類タスクのための大規模実世界のグラフデータセット上でFastGATを実験的に評価した。
論文 参考訳（メタデータ） (2020-06-15T22:07:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。