論文の概要: Towards Sparsification of Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2209.04766v1
- Date: Sun, 11 Sep 2022 01:39:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-13 13:38:31.279279
- Title: Towards Sparsification of Graph Neural Networks
- Title（参考訳）: グラフニューラルネットワークのスパース化に向けて
- Authors: Hongwu Peng, Deniz Gurevin, Shaoyi Huang, Tong Geng, Weiwen Jiang,
Omer Khan, and Caiwen Ding
- Abstract要約: 我々は2つの最先端モデル圧縮手法を用いて、GNNにおける重み付け層の分散化を訓練・訓練し、スパーストレーニングを行う。
実世界のグラフ上で,両手法の精度,訓練空間性,および FLOP の学習効率を評価し,比較する。
- 参考スコア（独自算出の注目度）: 9.568566305616656
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As real-world graphs expand in size, larger GNN models with billions of
parameters are deployed. High parameter count in such models makes training and
inference on graphs expensive and challenging. To reduce the computational and
memory costs of GNNs, optimization methods such as pruning the redundant nodes
and edges in input graphs have been commonly adopted. However, model
compression, which directly targets the sparsification of model layers, has
been mostly limited to traditional Deep Neural Networks (DNNs) used for tasks
such as image classification and object detection. In this paper, we utilize
two state-of-the-art model compression methods (1) train and prune and (2)
sparse training for the sparsification of weight layers in GNNs. We evaluate
and compare the efficiency of both methods in terms of accuracy, training
sparsity, and training FLOPs on real-world graphs. Our experimental results
show that on the ia-email, wiki-talk, and stackoverflow datasets for link
prediction, sparse training with much lower training FLOPs achieves a
comparable accuracy with the train and prune method. On the brain dataset for
node classification, sparse training uses a lower number FLOPs (less than 1/7
FLOPs of train and prune method) and preserves a much better accuracy
performance under extreme model sparsity.
- Abstract（参考訳）: 現実世界のグラフのサイズが大きくなるにつれて、数十億のパラメータを持つより大きなGNNモデルがデプロイされる。
このようなモデルにおける高いパラメータカウントは、グラフのトレーニングと推論を高価かつ困難にする。
GNNの計算コストとメモリコストを削減するため、入力グラフにおける冗長ノードやエッジのプルーニングなどの最適化手法が広く採用されている。
しかしながら、モデルレイヤのスパース化を直接対象とするモデル圧縮は、画像分類やオブジェクト検出などのタスクに使用される従来のディープニューラルネットワーク(DNN)に限られている。
本稿では,(1)列車とプルーンのモデル圧縮手法と(2)GNNにおける重み付け層のスパース化のためのスパーストレーニングを利用する。
実世界のグラフ上で,両手法の精度,訓練空間性,および FLOP の学習効率を評価し,比較する。
リンク予測のためのia-email,wiki-talk,stackoverflowデータセットでは,はるかに低いトレーニングフロップを用いたスパーストレーニングが,trainおよびprune法と同等の精度で実現されている。
ノード分類のための脳データセットでは、スパーストレーニングはより低い数のFLOP(列車とプルー法の1/7FLOP未満)を使用し、極端なモデル空間下での精度をはるかに向上させる。
関連論文リスト
- Stealing Training Graphs from Graph Neural Networks [54.52392250297907]
グラフニューラルネットワーク(GNN)は、様々なタスクにおけるグラフのモデリングにおいて有望な結果を示している。
ニューラルネットワークがトレーニングサンプルを記憶できるため、GNNのモデルパラメータはプライベートトレーニングデータをリークするリスクが高い。
訓練されたGNNからグラフを盗むという新しい問題について検討する。
論文 参考訳（メタデータ） (2024-11-17T23:15:36Z) - Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。
最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。
我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
論文 参考訳（メタデータ） (2023-10-23T01:25:44Z) - Label Deconvolution for Node Representation Learning on Large-scale
Attributed Graphs against Learning Bias [75.44877675117749]
本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。
実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
論文 参考訳（メタデータ） (2023-09-26T13:09:43Z) - Unlearning Graph Classifiers with Limited Data Resources [39.29148804411811]
制御されたデータ削除は、データに敏感なWebアプリケーションのための機械学習モデルの重要機能になりつつある。
グラフニューラルネットワーク(GNN)の効率的な機械学習を実現する方法はまだほとんど知られていない。
我々の主な貢献は GST に基づく非線形近似グラフアンラーニング法である。
第2の貢献は、提案した未学習機構の計算複雑性の理論解析である。
第3のコントリビューションは広範囲なシミュレーションの結果であり、削除要求毎のGNNの完全再トレーニングと比較して、新しいGSTベースのアプローチは平均10.38倍のスピードアップを提供する。
論文 参考訳（メタデータ） (2022-11-06T20:46:50Z) - Rethinking Efficiency and Redundancy in Training Large-scale Graphs [26.982614602436655]
我々は、大規模なグラフに冗長性があり、訓練効率を低下させると主張している。
近年のサンプリングベースのトレーニング手法の進歩にもかかわらず、サンプリングベースのGNNは一般的に冗長性の問題を見落としている。
そこで我々はDropReefを提案し,大規模グラフにおける冗長性を検出およびドロップする。
論文 参考訳（メタデータ） (2022-09-02T03:25:32Z) - Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural
Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。
LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。
提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文 参考訳（メタデータ） (2022-07-18T14:23:31Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳（メタデータ） (2022-03-03T09:53:53Z) - Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。
実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
論文 参考訳（メタデータ） (2021-06-18T01:03:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。