論文の概要: $\rm A^2Q$: Aggregation-Aware Quantization for Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2302.00193v1
- Date: Wed, 1 Feb 2023 02:54:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-02 18:00:16.126970
- Title: $\rm A^2Q$: Aggregation-Aware Quantization for Graph Neural Networks
- Title（参考訳）: $\rm A^2Q$: グラフニューラルネットワークの集約型量子化
- Authors: Zeyu Zhu, Fanrong Li, Zitao Mo, Qinghao Hu, Gang Li, Zejian Liu,
Xiaoyao Liang, Jian Cheng
- Abstract要約: グラフニューラルネットワーク(GNN)のための集約型混合精度量子化(rm A2Q$)を提案する。
本手法は,ノードレベルのタスクとグラフレベルのタスクで最大11.4%,9.5%の精度向上を実現し,専用ハードウェアアクセラレータで最大2倍の高速化を実現する。
- 参考スコア（独自算出の注目度）: 18.772128348519566
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As graph data size increases, the vast latency and memory consumption during
inference pose a significant challenge to the real-world deployment of Graph
Neural Networks (GNNs). While quantization is a powerful approach to reducing
GNNs complexity, most previous works on GNNs quantization fail to exploit the
unique characteristics of GNNs, suffering from severe accuracy degradation.
Through an in-depth analysis of the topology of GNNs, we observe that the
topology of the graph leads to significant differences between nodes, and most
of the nodes in a graph appear to have a small aggregation value. Motivated by
this, in this paper, we propose the Aggregation-Aware mixed-precision
Quantization ($\rm A^2Q$) for GNNs, where an appropriate bitwidth is
automatically learned and assigned to each node in the graph. To mitigate the
vanishing gradient problem caused by sparse connections between nodes, we
propose a Local Gradient method to serve the quantization error of the node
features as the supervision during training. We also develop a Nearest Neighbor
Strategy to deal with the generalization on unseen graphs. Extensive
experiments on eight public node-level and graph-level datasets demonstrate the
generality and robustness of our proposed method. Compared to the FP32 models,
our method can achieve up to a 18.6x (i.e., 1.70bit) compression ratio with
negligible accuracy degradation. Morever, compared to the state-of-the-art
quantization method, our method can achieve up to 11.4\% and 9.5\% accuracy
improvements on the node-level and graph-level tasks, respectively, and up to
2x speedup on a dedicated hardware accelerator.
- Abstract（参考訳）: グラフデータのサイズが大きくなるにつれて、推論中の膨大なレイテンシとメモリ消費が、グラフニューラルネットワーク(GNN)の現実的な展開に重大な課題をもたらす。
量子化はGNNの複雑性を低減するための強力なアプローチであるが、GNNの量子化に関するこれまでのほとんどの研究は、GNNの特異な特性を利用することができず、精度の低下に悩まされていた。
GNNのトポロジを詳細に分析することにより、グラフのトポロジがノード間で大きな違いをもたらすのを観察し、グラフ内のほとんどのノードは小さなアグリゲーション値を持っているように見える。
本稿では,グラフの各ノードに適切なビット幅を自動的に学習して割り当てるGNNに対して,Aggregation-Aware Mixed-precision Quantization(\rm A^2Q$)を提案する。
そこで,ノード間の疎結合による消失勾配問題を軽減するため,ノード特徴の量子化誤差を学習中の監視として適用する局所勾配法を提案する。
また,未知グラフの一般化を扱うための最寄りの近傍戦略を考案する。
8つの公開ノードレベルおよびグラフレベルのデータセットに対する大規模な実験により、提案手法の汎用性と堅牢性を示す。
FP32モデルと比較して、我々の手法は18.6x(すなわち1.70bit)の圧縮比を無視できる精度で達成できる。
さらに,現状の量子化法と比較して,ノードレベルとグラフレベルのタスクでは最大11.4\%,9.5\%の精度向上を実現し,専用ハードウェアアクセラレータでは最大2倍の高速化を実現している。
関連論文リスト
- Sparse Decomposition of Graph Neural Networks [20.768412002413843]
本稿では,集約中に含まれるノード数を削減する手法を提案する。
線形変換された特徴の重み付け和を用いてノード表現の近似を学習し、スパース分解によりこれを実現できる。
提案手法は推論高速化のために設計された他のベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2024-10-25T17:52:16Z) - Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる
本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。
我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
論文 参考訳（メタデータ） (2024-05-27T17:52:12Z) - Robust Graph Neural Network based on Graph Denoising [10.564653734218755]
グラフニューラルネットワーク(GNN)は、非ユークリッドデータセットを扱う学習問題に対して、悪名高い代替手段として登場した。
本研究は,観測トポロジにおける摂動の存在を明示的に考慮した,GNNの堅牢な実装を提案する。
論文 参考訳（メタデータ） (2023-12-11T17:43:57Z) - NodeFormer: A Scalable Graph Structure Learning Transformer for Node
Classification [70.51126383984555]
本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。
効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。
グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
論文 参考訳（メタデータ） (2023-06-14T09:21:15Z) - Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。
我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
論文 参考訳（メタデータ） (2022-10-27T16:00:45Z) - Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural
Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。
LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。
提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文 参考訳（メタデータ） (2022-07-18T14:23:31Z) - Adaptive Kernel Graph Neural Network [21.863238974404474]
グラフニューラルネットワーク(GNN)は,グラフ構造化データの表現学習において大きな成功を収めている。
本稿では,AKGNN(Adaptive Kernel Graph Neural Network)という新しいフレームワークを提案する。
AKGNNは、最初の試みで最適なグラフカーネルに統一的に適応することを学ぶ。
評価されたベンチマークデータセットで実験を行い、提案したAKGNNの優れた性能を示す有望な結果を得た。
論文 参考訳（メタデータ） (2021-12-08T20:23:58Z) - VQ-GNN: A Universal Framework to Scale up Graph Neural Networks using
Vector Quantization [70.8567058758375]
VQ-GNNは、Vector Quantization(VQ)を使用して、パフォーマンスを損なうことなく、畳み込みベースのGNNをスケールアップするための普遍的なフレームワークである。
我々のフレームワークは,グラフ畳み込み行列の低ランク版と組み合わせた量子化表現を用いて,GNNの「隣の爆発」問題を回避する。
論文 参考訳（メタデータ） (2021-10-27T11:48:50Z) - Position-based Hash Embeddings For Scaling Graph Neural Networks [8.87527266373087]
グラフニューラルネットワーク(GNN)は、ノードのエゴネットワークのトポロジとエゴネットワークのノードの特徴を考慮したノード表現を演算する。
ノードが高品質な機能を持っていない場合、GNNはノードの埋め込みを計算するために埋め込み層を学び、それらを入力機能として使用する。
この埋め込みレイヤに関連するメモリを削減するため、NLPやレコメンダシステムのようなアプリケーションで一般的に使用されるハッシュベースのアプローチが利用可能である。
本稿では,グラフ内のノードの位置を利用して,必要なメモリを大幅に削減する手法を提案する。
論文 参考訳（メタデータ） (2021-08-31T22:42:25Z) - Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。
これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-07T15:05:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。