論文の概要: Efficient Mixed Precision Quantization in Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2505.09361v1
- Date: Wed, 14 May 2025 13:11:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-15 21:44:09.46423
- Title: Efficient Mixed Precision Quantization in Graph Neural Networks
- Title（参考訳）: グラフニューラルネットワークにおける高効率混合精度量子化
- Authors: Samir Moustafa, Nils M. Kriege, Wilfried N. Gansterer,
- Abstract要約: グラフニューラルネットワーク(GNN)は,大規模グラフアプリケーションの処理に不可欠である。
混合精度量子化は、GNNアーキテクチャの効率を高めるための有望な解決策として現れる。
- 参考スコア（独自算出の注目度）: 7.161966906570077
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph Neural Networks (GNNs) have become essential for handling large-scale graph applications. However, the computational demands of GNNs necessitate the development of efficient methods to accelerate inference. Mixed precision quantization emerges as a promising solution to enhance the efficiency of GNN architectures without compromising prediction performance. Compared to conventional deep learning architectures, GNN layers contain a wider set of components that can be quantized, including message passing functions, aggregation functions, update functions, the inputs, learnable parameters, and outputs of these functions. In this paper, we introduce a theorem for efficient quantized message passing to aggregate integer messages. It guarantees numerical equality of the aggregated messages using integer values with respect to those obtained with full (FP32) precision. Based on this theorem, we introduce the Mixed Precision Quantization for GNN (MixQ-GNN) framework, which flexibly selects effective integer bit-widths for all components within GNN layers. Our approach systematically navigates the wide set of possible bit-width combinations, addressing the challenge of optimizing efficiency while aiming at maintaining comparable prediction performance. MixQ-GNN integrates with existing GNN quantization methods, utilizing their graph structure advantages to achieve higher prediction performance. On average, MixQ-GNN achieved reductions in bit operations of 5.5x for node classification and 5.1x for graph classification compared to architectures represented in FP32 precision.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は,大規模グラフアプリケーションの処理に不可欠である。
しかし、GNNの計算要求は推論を高速化する効率的な手法の開発を必要としている。
混合精度の量子化は予測性能を損なうことなくGNNアーキテクチャの効率を高めるための有望な解として現れる。
従来のディープラーニングアーキテクチャと比較して、GNNレイヤには、メッセージパッシング関数、集約関数、更新関数、入力、学習可能なパラメータ、これらの関数の出力を含む、より広範なコンポーネントセットが含まれている。
本稿では,整数メッセージを集約する効率的な量子化メッセージパッシングの定理を提案する。
完全(FP32)精度で得られたものに対して、整数値を用いて集約されたメッセージの数値等式を保証する。
この定理に基づき、GNN層内のすべてのコンポーネントに対して、柔軟に効率的な整数ビット幅を選択するGNN(MixQ-GNN)フレームワークのMixed Precision Quantizationを導入する。
提案手法は,予測性能の維持を目標とし,効率の最適化という課題に対処するため,可能なビット幅の組み合わせの広い範囲を体系的にナビゲートする。
MixQ-GNNは既存のGNN量子化手法と統合し、グラフ構造の利点を利用して高い予測性能を実現する。
MixQ-GNNは、FP32の精度で表されるアーキテクチャと比較して、ノード分類では5.5x、グラフ分類では5.1xのビット演算を削減した。
関連論文リスト
- Graph Neural Networks at a Fraction [1.8175282137722093]
本稿では、四元数空間を利用してノード表現を計算するフレームワークである四元数メッセージパッシングニューラルネットワーク(QMPNN)を紹介する。
GNN や QMPNN のコンテキストにおける適用性を再定義する。
論文 参考訳（メタデータ） (2025-02-10T03:55:09Z) - MAG-GNN: Reinforcement Learning Boosted Graph Neural Network [68.60884768323739]
特定の研究の行は、GNNの表現性を向上させるためにサブグラフ情報を使用するサブグラフGNNを提案し、大きな成功を収めた。
このような効果は、すべての可能な部分グラフを列挙することによって、GNNの効率を犠牲にする。
本稿では,強化学習(RL)により強化されたGNNである磁気グラフニューラルネットワーク(MAG-GNN)を提案する。
論文 参考訳（メタデータ） (2023-10-29T20:32:21Z) - Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。
最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。
我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
論文 参考訳（メタデータ） (2023-10-23T01:25:44Z) - T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。
実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
論文 参考訳（メタデータ） (2023-10-05T02:58:29Z) - Low-bit Quantization for Deep Graph Neural Networks with
Smoothness-aware Message Propagation [3.9177379733188715]
本稿では,資源制約のある環境において,これらの課題に対処するためのエンドツーエンドソリューションを提案する。
本稿では,学習中のメッセージパッシングからノード分類まで,GNNのすべての段階に対する量子化に基づくアプローチを提案する。
提案した量子化器は量子化範囲を学習し、低ビット量子化の下でも同等の精度でモデルサイズを削減する。
論文 参考訳（メタデータ） (2023-08-29T00:25:02Z) - Robust Graph Neural Networks using Weighted Graph Laplacian [1.8292714902548342]
グラフニューラルネットワーク(GNN)は、入力データにおけるノイズや敵攻撃に対して脆弱である。
重み付きラプラシアンGNN(RWL-GNN)として知られるGNNの強化のための汎用フレームワークを提案する。
論文 参考訳（メタデータ） (2022-08-03T05:36:35Z) - Adaptive Kernel Graph Neural Network [21.863238974404474]
グラフニューラルネットワーク(GNN)は,グラフ構造化データの表現学習において大きな成功を収めている。
本稿では,AKGNN(Adaptive Kernel Graph Neural Network)という新しいフレームワークを提案する。
AKGNNは、最初の試みで最適なグラフカーネルに統一的に適応することを学ぶ。
評価されたベンチマークデータセットで実験を行い、提案したAKGNNの優れた性能を示す有望な結果を得た。
論文 参考訳（メタデータ） (2021-12-08T20:23:58Z) - VQ-GNN: A Universal Framework to Scale up Graph Neural Networks using
Vector Quantization [70.8567058758375]
VQ-GNNは、Vector Quantization(VQ)を使用して、パフォーマンスを損なうことなく、畳み込みベースのGNNをスケールアップするための普遍的なフレームワークである。
我々のフレームワークは,グラフ畳み込み行列の低ランク版と組み合わせた量子化表現を用いて,GNNの「隣の爆発」問題を回避する。
論文 参考訳（メタデータ） (2021-10-27T11:48:50Z) - BlockGNN: Towards Efficient GNN Acceleration Using Block-Circulant
Weight Matrices [9.406007544032848]
グラフニューラルネットワーク(GNN)は、非ユークリッドグラフデータを分析するための最先端のアルゴリズムです。
リアルタイムにGNNを推論する方法は、リソース制限のあるエッジコンピューティングプラットフォームでは難しい問題となっている。
効率的なGNN加速を実現するソフトウェアハードウェアの共同設計手法であるBlockGNNを提案する。
論文 参考訳（メタデータ） (2021-04-13T14:09:22Z) - Distance Encoding: Design Provably More Powerful Neural Networks for
Graph Representation Learning [63.97983530843762]
グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。
GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。
より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。
本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
論文 参考訳（メタデータ） (2020-08-31T23:15:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。