論文の概要: Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2207.08629v1
• Date: Mon, 18 Jul 2022 14:23:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-19 15:02:10.587344
• Title: Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークにおけるスパーストレーニングのための包括的グラフグラダルプルーニング
• Authors: Chuang Liu, Xueqi Ma, Yinbing Zhan, Liang Ding, Dapeng Tao, Bo Du, Wenbin Hu, Danilo Mandic
• Abstract要約: 本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 48.141003632959695
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) tend to suffer from high computation costs due to the exponentially increasing scale of graph data and the number of model parameters, which restricts their utility in practical applications. To this end, some recent works focus on sparsifying GNNs with the lottery ticket hypothesis (LTH) to reduce inference costs while maintaining performance levels. However, the LTH-based methods suffer from two major drawbacks: 1) they require exhaustive and iterative training of dense models, resulting in an extremely large training computation cost, and 2) they only trim graph structures and model parameters but ignore the node feature dimension, where significant redundancy exists. To overcome the above limitations, we propose a comprehensive graph gradual pruning framework termed CGP. This is achieved by designing a during-training graph pruning paradigm to dynamically prune GNNs within one training process. Unlike LTH-based methods, the proposed CGP approach requires no re-training, which significantly reduces the computation costs. Furthermore, we design a co-sparsifying strategy to comprehensively trim all three core elements of GNNs: graph structures, node features, and model parameters. Meanwhile, aiming at refining the pruning operation, we introduce a regrowth process into our CGP framework, in order to re-establish the pruned but important connections. The proposed CGP is evaluated by using a node classification task across 6 GNN architectures, including shallow models (GCN and GAT), shallow-but-deep-propagation models (SGC and APPNP), and deep models (GCNII and ResGCN), on a total of 14 real-world graph datasets, including large-scale graph datasets from the challenging Open Graph Benchmark. Experiments reveal that our proposed strategy greatly improves both training and inference efficiency while matching or even exceeding the accuracy of existing methods.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は,グラフデータの指数的に増大するスケールとモデルパラメータの数によって,計算コストの増大に悩まされる傾向にある。 この目的のために、近年のいくつかの研究は、性能レベルを維持しながら推論コストを削減するため、宝くじの仮説(LTH)でGNNをスパース化することに焦点を当てている。 しかし、LTHベースの手法には2つの大きな欠点がある。 1)密集したモデルの徹底的で反復的なトレーニングが必要となり、非常に大きなトレーニング計算コストがかかる。 2) グラフ構造とモデルパラメータのみをトリムするが、大きな冗長性が存在するノードの特徴次元を無視する。 上記の制限を克服するため、我々はCGPと呼ばれるグラフ段階的プルーニングフレームワークを提案する。 これは、トレーニング中のグラフプルーニングパラダイムを1つのトレーニングプロセス内で動的に実行するために設計することで実現される。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 さらに,グラフ構造,ノード特徴,モデルパラメータといった,GNNの3つのコア要素を包括的にトリムする分離戦略を設計する。 一方, 刈り込み作業の精錬を目的として, 刈り取られた重要なコネクションを再確立するために, CGPフレームワークに再成長プロセスを導入する。 提案するcgpは6つのgnnアーキテクチャにまたがるノード分類タスクを用いて評価されており、その中には、浅いモデル(gcnとgat)、浅いが深いモデル(sgcとappnp)、深層モデル(gcniiとresgcn)があり、挑戦的なopen graphベンチマークによる大規模グラフデータセットを含む、14の現実世界のグラフデータセットがある。 実験の結果,提案手法は既存の手法の精度に適合あるいは超越しながら,トレーニングと推論の効率を大幅に向上させることがわかった。

関連論文リスト

• Graph as a feature: improving node classification with non-neural graph-aware logistic regression [2.952177779219163]
  Graph-aware Logistic Regression (GLR) はノード分類タスク用に設計された非神経モデルである。 GNNにアクセスできる情報のごく一部しか使わない従来のグラフアルゴリズムとは異なり、提案モデルではノードの特徴とエンティティ間の関係を同時に活用する。
  論文  参考訳（メタデータ） (2024-11-19T08:32:14Z)
• Faster Inference Time for GNNs using coarsening [1.323700980948722]
  粗い手法はグラフを小さくするために使われ、計算が高速化される。 これまでの調査では、推論中にコストに対処できなかった。 本稿では, サブグラフベース手法によるGNNのスケーラビリティ向上のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-19T06:27:24Z)
• Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
  ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる 本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。 我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
  論文  参考訳（メタデータ） (2024-05-27T17:52:12Z)
• Two Heads Are Better Than One: Boosting Graph Sparse Training via Semantic and Topological Awareness [80.87683145376305]
  グラフニューラルネットワーク(GNN)は、様々なグラフ学習タスクに優れるが、大規模グラフに適用した場合、計算上の課題に直面している。 データレベルで空間を動的に操作するグラフスパーストレーニング(GST)を提案する。 GSTは、最大位相整合性と性能劣化のないスパースグラフを生成する。
  論文  参考訳（メタデータ） (2024-02-02T09:10:35Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• Fast Graph Condensation with Structure-based Neural Tangent Kernel [30.098666399404287]
  グラフ構造化データのための新しいデータセット凝縮フレームワーク(GC-SNTK)を提案する。 構造ベースのニューラルタンジェントカーネル(SNTK)はグラフのトポロジを捉えるために開発され、KRRパラダイムのカーネル関数として機能する。 高い予測性能を維持しつつ,グラフ凝縮の高速化における提案モデルの有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-10-17T07:25:59Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Learning to Drop: Robust Graph Neural Network via Topological Denoising [50.81722989898142]
  グラフニューラルネットワーク(GNN)のロバスト性および一般化性能を向上させるために,パラメータ化トポロジカルデノイングネットワークであるPTDNetを提案する。 PTDNetは、パラメータ化されたネットワークでスパーシファイドグラフ内のエッジ数をペナル化することで、タスク非関連エッジを創出する。 PTDNetはGNNの性能を著しく向上させ,さらにノイズの多いデータセットでは性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-11-13T18:53:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。