論文の概要: A Unified Lottery Ticket Hypothesis for Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2102.06790v1
• Date: Fri, 12 Feb 2021 21:52:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-16 16:15:22.110719
• Title: A Unified Lottery Ticket Hypothesis for Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークのための一元化ロッキーチケット仮説
• Authors: Tianlong Chen, Yongduo Sui, Xuxi Chen, Aston Zhang, Zhangyang Wang
• Abstract要約: 本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
• 参考スコア（独自算出の注目度）: 82.31087406264437
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With graphs rapidly growing in size and deeper graph neural networks (GNNs) emerging, the training and inference of GNNs become increasingly expensive. Existing network weight pruning algorithms cannot address the main space and computational bottleneck in GNNs, caused by the size and connectivity of the graph. To this end, this paper first presents a unified GNN sparsification (UGS) framework that simultaneously prunes the graph adjacency matrix and the model weights, for effectively accelerating GNN inference on large-scale graphs. Leveraging this new tool, we further generalize the recently popular lottery ticket hypothesis to GNNs for the first time, by defining a graph lottery ticket (GLT) as a pair of core sub-dataset and sparse sub-network, which can be jointly identified from the original GNN and the full dense graph by iteratively applying UGS. Like its counterpart in convolutional neural networks, GLT can be trained in isolation to match the performance of training with the full model and graph, and can be drawn from both randomly initialized and self-supervised pre-trained GNNs. Our proposal has been experimentally verified across various GNN architectures and diverse tasks, on both small-scale graph datasets (Cora, Citeseer and PubMed), and large-scale datasets from the challenging Open Graph Benchmark (OGB). Specifically, for node classification, our found GLTs achieve the same accuracies with 20%~98% MACs saving on small graphs and 25%~85% MACs saving on large ones. For link prediction, GLTs lead to 48%~97% and 70% MACs saving on small and large graph datasets, respectively, without compromising predictive performance. Codes available at https://github.com/VITA-Group/Unified-LTH-GNN.
• Abstract（参考訳）: グラフのサイズが急速に増加し、より深いグラフニューラルネットワーク(GNN)が出現するにつれ、GNNのトレーニングと推論はますます高価になる。 既存のネットワークウェイトプルーニングアルゴリズムは、グラフのサイズと接続性によって引き起こされるGNNの主空間と計算ボトルネックに対処できない。 本稿ではまず,グラフ隣接行列とモデル重みを同時に生成し,大規模グラフ上でのGNN推論を効果的に高速化する統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 このツールを利用することで、グラフ抽選券(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義し、元のGNNと全密度グラフとを同時適用することで、最近人気になった宝くじチケット仮説を初めてGNNに一般化する。 畳み込みニューラルネットワークのそれと同様、GLTは、トレーニングのパフォーマンスをフルモデルとグラフに一致させるために、単独でトレーニングすることが可能で、ランダムに初期化および自己教師付きGNNから引き出すことができる。 提案手法は,大規模グラフデータセット(Cora, Citeseer, PubMed)と,難易度の高いOpen Graph Benchmark(OGB)の大規模データセットを用いて,さまざまなGNNアーキテクチャや多様なタスクに対して実験的に検証されている。 具体的には,ノード分類においてGLTは20%～98%のMACを小さなグラフで保存し,25%～85%のMACを大きなグラフで保存する。 リンク予測では、GLTは予測性能を損なうことなく、小さくて大きなグラフデータセットに48%〜97%、70%のMACを節約します。 コードはhttps://github.com/VITA-Group/Unified-LTH-GNNで入手できる。

関連論文リスト

• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• Graph Ladling: Shockingly Simple Parallel GNN Training without Intermediate Communication [100.51884192970499]
  GNNは、グラフを学習するニューラルネットワークの強力なファミリーである。 GNNのスケーリングは、肥大化または拡大によって、不健康な勾配、過度なスムースメント、情報のスカッシングといった問題に悩まされる。 本稿では,現在のGNNの深層化や拡張ではなく,GNNに適したモデルスープをデータ中心の視点で表現することを提案する。
  論文  参考訳（メタデータ） (2023-06-18T03:33:46Z)
• Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
  グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。 我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
  論文  参考訳（メタデータ） (2022-10-27T16:00:45Z)
• KGNN: Harnessing Kernel-based Networks for Semi-supervised Graph Classification [13.419578861488226]
  半教師付きグラフ分類のための Kernel-based Graph Neural Network (KGNN) を提案する。 我々は,KGNNが競争ベースラインよりも優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2022-05-21T10:03:46Z)
• Imbalanced Graph Classification via Graph-of-Graph Neural Networks [16.589373163769853]
  グラフニューラルネットワーク(GNN)は、グラフの分類ラベルを識別するグラフ表現の学習において、前例のない成功を収めている。 本稿では,グラフ不均衡問題を軽減する新しいフレームワークであるグラフ・オブ・グラフニューラルネットワーク(G$2$GNN)を提案する。 提案したG$2$GNNは,F1-macroとF1-microのスコアにおいて,多くのベースラインを約5%上回る性能を示した。
  論文  参考訳（メタデータ） (2021-12-01T02:25:47Z)
• Distance Encoding: Design Provably More Powerful Neural Networks for Graph Representation Learning [63.97983530843762]
  グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。 GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。 より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。 本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
  論文  参考訳（メタデータ） (2020-08-31T23:15:40Z)
• GPT-GNN: Generative Pre-Training of Graph Neural Networks [93.35945182085948]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データのモデリングにおいて強力であることが示されている。 生成事前学習によりGNNを初期化するためのGPT-GNNフレームワークを提案する。 GPT-GNNは、様々な下流タスクにおいて、事前トレーニングを最大9.1%行うことなく、最先端のGNNモデルを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2020-06-27T20:12:33Z)
• Graph Random Neural Network for Semi-Supervised Learning on Graphs [36.218650686748546]
  グラフニューラルネットワーク(GNN)が広範に研究されているグラフ上での半教師あり学習の問題について検討する。 既存のGNNの多くは、ラベル付きノードが不足している場合、本質的に過度なスムース、非ロバスト性、および弱一般化の制限に悩まされている。 本稿では,これらの問題に対処するシンプルなフレームワークである Graph R NEURAL NETWORKS (GRAND) を提案する。
  論文  参考訳（メタデータ） (2020-05-22T09:40:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。