論文の概要: Low-bit Quantization for Deep Graph Neural Networks with
Smoothness-aware Message Propagation
- arxiv url: http://arxiv.org/abs/2308.14949v1
- Date: Tue, 29 Aug 2023 00:25:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-30 16:20:53.772817
- Title: Low-bit Quantization for Deep Graph Neural Networks with
Smoothness-aware Message Propagation
- Title（参考訳）: Smoothness-aware Message Propagationを用いたディープグラフニューラルネットワークの低ビット量子化
- Authors: Shuang Wang, Bahaeddin Eravci, Rustam Guliyev, Hakan Ferhatosmanoglu
- Abstract要約: 本稿では,資源制約のある環境において,これらの課題に対処するためのエンドツーエンドソリューションを提案する。
本稿では,学習中のメッセージパッシングからノード分類まで,GNNのすべての段階に対する量子化に基づくアプローチを提案する。
提案した量子化器は量子化範囲を学習し、低ビット量子化の下でも同等の精度でモデルサイズを削減する。
- 参考スコア（独自算出の注目度）: 3.9177379733188715
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Graph Neural Network (GNN) training and inference involve significant
challenges of scalability with respect to both model sizes and number of
layers, resulting in degradation of efficiency and accuracy for large and deep
GNNs. We present an end-to-end solution that aims to address these challenges
for efficient GNNs in resource constrained environments while avoiding the
oversmoothing problem in deep GNNs. We introduce a quantization based approach
for all stages of GNNs, from message passing in training to node
classification, compressing the model and enabling efficient processing. The
proposed GNN quantizer learns quantization ranges and reduces the model size
with comparable accuracy even under low-bit quantization. To scale with the
number of layers, we devise a message propagation mechanism in training that
controls layer-wise changes of similarities between neighboring nodes. This
objective is incorporated into a Lagrangian function with constraints and a
differential multiplier method is utilized to iteratively find optimal
embeddings. This mitigates oversmoothing and suppresses the quantization error
to a bound. Significant improvements are demonstrated over state-of-the-art
quantization methods and deep GNN approaches in both full-precision and
quantized models. The proposed quantizer demonstrates superior performance in
INT2 configurations across all stages of GNN, achieving a notable level of
accuracy. In contrast, existing quantization approaches fail to generate
satisfactory accuracy levels. Finally, the inference with INT2 and INT4
representations exhibits a speedup of 5.11 $\times$ and 4.70 $\times$ compared
to full precision counterparts, respectively.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)のトレーニングと推論は,モデルサイズとレイヤ数の両方に関して,スケーラビリティに関する重要な課題を伴い,大規模かつ深いGNNの効率と精度の低下につながる。
本稿では,資源制約のある環境において,資源制約のある環境下での効率的なGNNの課題に対して,深いGNNの過度な問題を回避することを目的としたエンドツーエンドソリューションを提案する。
本稿では,学習中のメッセージパッシングからノード分類,モデルの圧縮,効率的な処理など,GNNのすべての段階に対する量子化に基づくアプローチを提案する。
提案したGNN量子化器は量子化範囲を学習し、低ビット量子化の下でも同等の精度でモデルサイズを削減する。
レイヤ数に応じてスケールするために,隣接ノード間の類似度をレイヤ単位で制御するトレーニングにおいて,メッセージ伝達機構を考案する。
この目的は制約付きラグランジュ函数に組み込まれ、微分乗算法は反復的に最適な埋め込みを見つけるために利用される。
これは過剰なスムースを緩和し、量子化誤差を境界まで抑制する。
完全精度と量子化モデルの両方において、最先端の量子化法と深部GNNアプローチに対して重要な改善が示される。
提案した量子化器は、GNNの全ステージにわたるINT2構成において優れた性能を示し、顕著な精度を実現する。
対照的に、既存の量子化アプローチでは十分な精度が得られない。
最後に、INT2 と INT4 の表現による推論は、それぞれ完全精度と比較して 5.11 $\times$ と 4.70 $\times$ のスピードアップを示す。
関連論文リスト
- $\rm A^2Q$: Aggregation-Aware Quantization for Graph Neural Networks [18.772128348519566]
グラフニューラルネットワーク(GNN)のための集約型混合精度量子化(rm A2Q$)を提案する。
本手法は,ノードレベルのタスクとグラフレベルのタスクで最大11.4%,9.5%の精度向上を実現し,専用ハードウェアアクセラレータで最大2倍の高速化を実現する。
論文 参考訳（メタデータ） (2023-02-01T02:54:35Z) - Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural
Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。
LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。
提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文 参考訳（メタデータ） (2022-07-18T14:23:31Z) - Edge Inference with Fully Differentiable Quantized Mixed Precision
Neural Networks [1.131071436917293]
パラメータと演算をビット精度の低いものに量子化することで、ニューラルネットワークの推論にかなりのメモリとエネルギーを節約できる。
本稿では,エッジ計算を対象とする混合精度畳み込みニューラルネットワーク(CNN)の量子化手法を提案する。
論文 参考訳（メタデータ） (2022-06-15T18:11:37Z) - VQ-GNN: A Universal Framework to Scale up Graph Neural Networks using
Vector Quantization [70.8567058758375]
VQ-GNNは、Vector Quantization(VQ)を使用して、パフォーマンスを損なうことなく、畳み込みベースのGNNをスケールアップするための普遍的なフレームワークである。
我々のフレームワークは,グラフ畳み込み行列の低ランク版と組み合わせた量子化表現を用いて,GNNの「隣の爆発」問題を回避する。
論文 参考訳（メタデータ） (2021-10-27T11:48:50Z) - A Biased Graph Neural Network Sampler with Near-Optimal Regret [57.70126763759996]
グラフニューラルネットワーク(GNN)は、グラフおよびリレーショナルデータにディープネットワークアーキテクチャを適用する手段として登場した。
本論文では,既存の作業に基づいて,GNN近傍サンプリングをマルチアームバンディット問題として扱う。
そこで本研究では,分散を低減し,不安定かつ非限定的な支払いを回避すべく設計されたバイアスをある程度導入した報酬関数を提案する。
論文 参考訳（メタデータ） (2021-03-01T15:55:58Z) - Filter Pre-Pruning for Improved Fine-tuning of Quantized Deep Neural
Networks [0.0]
本稿では,DNNの微調整を妨害するフィルタを除去するPruning for Quantization (PfQ)と呼ばれる新しいプルーニング手法を提案する。
良く知られたモデルとデータセットを用いた実験により,提案手法が類似したモデルサイズで高い性能を実現することを確認した。
論文 参考訳（メタデータ） (2020-11-13T04:12:54Z) - AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。
我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
論文 参考訳（メタデータ） (2020-07-14T09:07:29Z) - SGQuant: Squeezing the Last Bit on Graph Neural Networks with
Specialized Quantization [16.09107108787834]
本稿では,GNNのメモリ消費を体系的に低減する,特殊なGNN量子化スキームであるSGQuantを提案する。
SGQuantは、元の完全精度GNNと比較してメモリフットプリントを4.25倍から31.9倍に効果的に削減できることを示す。
論文 参考訳（メタデータ） (2020-07-09T22:42:34Z) - AUSN: Approximately Uniform Quantization by Adaptively Superimposing
Non-uniform Distribution for Deep Neural Networks [0.7378164273177589]
既存の一様および非一様量子化法は、表現範囲と表現解像度の間に固有の矛盾を示す。
重みとアクティベーションを定量化する新しい量子化法を提案する。
鍵となる考え方は、複数の非一様量子化値、すなわち AUSN を適応的に重ね合わせることで、ユニフォーム量子化を近似することである。
論文 参考訳（メタデータ） (2020-07-08T05:10:53Z) - Optimization and Generalization Analysis of Transduction through
Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。
マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。
マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
論文 参考訳（メタデータ） (2020-06-15T17:06:17Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳（メタデータ） (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。