論文の概要: LoRAP: Low-Rank Aggregation Prompting for Quantized Graph Neural Networks Training
- arxiv url: http://arxiv.org/abs/2601.15079v1
- Date: Wed, 21 Jan 2026 15:23:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-22 21:27:50.417743
- Title: LoRAP: Low-Rank Aggregation Prompting for Quantized Graph Neural Networks Training
- Title(参考訳): LoRAP: 量子グラフニューラルネットワークトレーニングのための低ランクアグリゲーションプロンプト
- Authors: Chenyu Liu, Haige Li, Luca Rossi,
- Abstract要約: グラフニューラルネットワーク(GNN)は、グラフデータを処理し、ノード間の関係と相互作用をキャプチャすることを目的としたニューラルネットワークである。
本稿では,GNNにおける量子化学習(QAT)の性能向上のために,入力データを操作する即時学習を活用することを提案する。
- 参考スコア(独自算出の注目度): 11.467461008058509
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graph Neural Networks (GNNs) are neural networks that aim to process graph data, capturing the relationships and interactions between nodes using the message-passing mechanism. GNN quantization has emerged as a promising approach for reducing model size and accelerating inference in resource-constrained environments. Compared to quantization in LLMs, quantizing graph features is more emphasized in GNNs. Inspired by the above, we propose to leverage prompt learning, which manipulates the input data, to improve the performance of quantization-aware training (QAT) for GNNs. To mitigate the issue that prompting the node features alone can only make part of the quantized aggregation result optimal, we introduce Low-Rank Aggregation Prompting (LoRAP), which injects lightweight, input-dependent prompts into each aggregated feature to optimize the results of quantized aggregations. Extensive evaluations on 4 leading QAT frameworks over 9 graph datasets demonstrate that LoRAP consistently enhances the performance of low-bit quantized GNNs while introducing a minimal computational overhead.
- Abstract(参考訳): グラフニューラルネットワーク(GNN)は、グラフデータを処理し、メッセージパッシング機構を使用してノード間の関係と相互作用をキャプチャすることを目的としたニューラルネットワークである。
GNN量子化は、資源制約環境におけるモデルサイズを削減し、推論を加速するための有望なアプローチとして現れている。
LLMの量子化と比較して、グラフの特徴の量子化はGNNでより強調される。
そこで本稿では,GNNにおける量子化学習(QAT)の性能向上のために,入力データを操作するプロンプト学習を活用することを提案する。
ノード機能のみのプロンプトが量子化集約結果の最適部分にしかならないという問題を緩和するために、各集約機能に軽量で入力依存的なプロンプトを注入し、量子化集約の結果を最適化するLoRAP(Lo-Rank Aggregation Prompting)を導入する。
9つのグラフデータセット上での4つの主要なQATフレームワークの広範な評価は、LoRAPが最小の計算オーバーヘッドを導入しながら、低ビット量子化GNNの性能を一貫して向上することを示している。
関連論文リスト
- A Node-Aware Dynamic Quantization Approach for Graph Collaborative Filtering [15.016724431881087]
グラフに基づく協調フィルタリング(GNAQ)のためのノード対応動的量子化トレーニング
GNAQは、モデルのサイズを8倍から12倍に減らしながら、完全精度のモデルの性能を維持することができる。
論文 参考訳(メタデータ) (2025-08-22T16:39:53Z) - FIT-GNN: Faster Inference Time for GNNs that 'FIT' in Memory Using Coarsening [1.1345413192078595]
本稿では,グラフ粗化を用いた推論フェーズにおける計算負担を軽減することにより,グラフニューラルネットワーク(GNN)のスケーラビリティを向上させる新しい手法を提案する。
本研究は,グラフ分類やグラフ回帰を含むグラフレベルのタスクに対するグラフ粗化の適用を拡大する。
その結果,提案手法は従来の手法に比べて単一ノード推定時間において桁違いに改善されていることがわかった。
論文 参考訳(メタデータ) (2024-10-19T06:27:24Z) - LOGIN: A Large Language Model Consulted Graph Neural Network Training Framework [30.54068909225463]
我々は,GNN設計プロセスの合理化とLarge Language Models(LLM)の利点を活用して,下流タスクにおけるGNNの性能向上を目指す。
我々は,LLMs-as-Consultants(LLMs-as-Consultants)という新たなパラダイムを策定し,LLMとGNNを対話的に統合する。
両グラフのノード分類におけるLOGINの有効性を実証的に評価した。
論文 参考訳(メタデータ) (2024-05-22T18:17:20Z) - DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。
GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。
また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
論文 参考訳(メタデータ) (2023-05-22T10:29:52Z) - Deep Graph Neural Networks via Posteriori-Sampling-based Node-Adaptive Residual Module [65.81781176362848]
グラフニューラルネットワーク(GNN)は、近隣情報収集を通じてグラフ構造化データから学習することができる。
レイヤーの数が増えるにつれて、ノード表現は区別不能になり、オーバー・スムーシング(over-smoothing)と呼ばれる。
我々は,textbfPosterior-Sampling-based, Node-distinguish Residual Module (PSNR)を提案する。
論文 参考訳(メタデータ) (2023-05-09T12:03:42Z) - A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。
本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。
UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
論文 参考訳(メタデータ) (2020-10-05T04:57:18Z) - Policy-GNN: Aggregation Optimization for Graph Neural Networks [60.50932472042379]
グラフニューラルネットワーク(GNN)は、局所的なグラフ構造をモデル化し、隣人からの情報を集約することで階層的なパターンを捉えることを目的としている。
複雑なグラフとスパースな特徴を与えられた各ノードに対して効果的なアグリゲーション戦略を開発することは難しい課題である。
本稿では,GNNのサンプリング手順とメッセージパッシングを複合学習プロセスにモデル化するメタ政治フレームワークであるPolicy-GNNを提案する。
論文 参考訳(メタデータ) (2020-06-26T17:03:06Z) - Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。
提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。
実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文 参考訳(メタデータ) (2020-04-19T09:43:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。