論文の概要: Two Heads Are Better Than One: Boosting Graph Sparse Training via Semantic and Topological Awareness

• arxiv url: http://arxiv.org/abs/2402.01242v1
• Date: Fri, 2 Feb 2024 09:10:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-05 16:18:58.865140
• Title: Two Heads Are Better Than One: Boosting Graph Sparse Training via Semantic and Topological Awareness
• Title（参考訳）: 2つの頭が1より優れている:意味的・トポロジ的認識によるグラフスパーストレーニング
• Authors: Guibin Zhang, Yanwei Yue, Kun Wang, Junfeng Fang, Yongduo Sui, Kai Wang, Yuxuan Liang, Dawei Cheng, Shirui Pan, Tianlong Chen
• Abstract要約: グラフニューラルネットワーク(GNN)は、様々なグラフ学習タスクに優れるが、大規模グラフに適用した場合、計算上の課題に直面している。 データレベルで空間を動的に操作するグラフスパーストレーニング(GST)を提案する。 GSTは、最大位相整合性と性能劣化のないスパースグラフを生成する。
• 参考スコア（独自算出の注目度）: 80.87683145376305
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) excel in various graph learning tasks but face computational challenges when applied to large-scale graphs. A promising solution is to remove non-essential edges to reduce the computational overheads in GNN. Previous literature generally falls into two categories: topology-guided and semantic-guided. The former maintains certain graph topological properties yet often underperforms on GNNs due to low integration with neural network training. The latter performs well at lower sparsity on GNNs but faces performance collapse at higher sparsity levels. With this in mind, we take the first step to propose a new research line and concept termed Graph Sparse Training (GST), which dynamically manipulates sparsity at the data level. Specifically, GST initially constructs a topology & semantic anchor at a low training cost, followed by performing dynamic sparse training to align the sparse graph with the anchor. We introduce the Equilibria Sparsification Principle to guide this process, effectively balancing the preservation of both topological and semantic information. Ultimately, GST produces a sparse graph with maximum topological integrity and no performance degradation. Extensive experiments on 6 datasets and 5 backbones showcase that GST (I) identifies subgraphs at higher graph sparsity levels (1.67%~15.85% $\uparrow$) than state-of-the-art sparsification methods, (II) preserves more key spectral properties, (III) achieves 1.27-3.42$\times$ speedup in GNN inference and (IV) successfully helps graph adversarial defense and graph lottery tickets.
• Abstract（参考訳）: グラフニューラルネットワーク(gnn)は、さまざまなグラフ学習タスクに優れているが、大規模グラフに適用すると計算上の課題に直面する。 有望な解決策は、GNNの計算オーバーヘッドを減らすために非必要エッジを削除することである。 以前の文献は一般にトポロジー誘導と意味誘導の2つのカテゴリに分類される。 前者は特定のグラフトポロジ特性を維持しているが、ニューラルネットワークトレーニングとの低統合のため、GNNでは性能が劣ることが多い。 後者はGNNでは低い間隔で良好に動作するが、より高い間隔でパフォーマンスが低下する。 このことを念頭に置いて、我々は、データレベルで空間を動的に操作するグラフスパーストレーニング(GST)と呼ばれる新しい研究ラインと概念を提案する第一歩を踏み出した。 具体的には、GSTは最初、低いトレーニングコストでトポロジとセマンティックアンカーを構築し、続いて、スパースグラフをアンカーに合わせるための動的スパーストレーニングを実行する。 本稿では,このプロセスの指針としてEquilibria Sparsification Principleを導入し,トポロジカル情報とセマンティック情報の両方の保存を効果的にバランスさせる。 最終的に、GSTは最大位相整合性と性能劣化のないスパースグラフを生成する。 6つのデータセットと5つのバックボーンに関する大規模な実験では、GST(I)は、最先端のスパーシフィケーション手法よりも高いグラフ間隔レベル(1.67%~15.85%$\uparrow$)でグラフを識別し、(II)より重要なスペクトル特性を保存し、(III)GNN推論における1.27-3.42$\times$スピードアップを達成し、(IV)グラフの敵防御とグラフ宝くじのチケットをうまく支援している。

関連論文リスト

• Graph Sparsification via Mixture of Graphs [67.40204130771967]
  そこで我々はMixture-of-Graphs (MoG)を導入し、各ノードに対して動的に調整されたプルーニングソリューションを選択する。 MoGには複数のスパシファイアの専門家が組み込まれており、それぞれが独自のスパーシリティレベルとプルーニング基準によって特徴付けられ、各ノードに対して適切な専門家を選択する。 5つのGNNを備えた4つの大規模OGBデータセットと2つのスーパーピクセルデータセットの実験により、MoGはより高い空間レベルのサブグラフを識別することを示した。
  論文  参考訳（メタデータ） (2024-05-23T07:40:21Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Imbalanced Graph Classification via Graph-of-Graph Neural Networks [16.589373163769853]
  グラフニューラルネットワーク(GNN)は、グラフの分類ラベルを識別するグラフ表現の学習において、前例のない成功を収めている。 本稿では,グラフ不均衡問題を軽減する新しいフレームワークであるグラフ・オブ・グラフニューラルネットワーク(G$2$GNN)を提案する。 提案したG$2$GNNは,F1-macroとF1-microのスコアにおいて,多くのベースラインを約5%上回る性能を示した。
  論文  参考訳（メタデータ） (2021-12-01T02:25:47Z)
• LSP : Acceleration and Regularization of Graph Neural Networks via Locality Sensitive Pruning of Graphs [2.4250821950628234]
  グラフニューラルネットワーク(GNN)は、グラフ関連のタスクのための非常に成功したツールとして登場した。 大きなグラフは、性能を損なうことなく取り除くことができる多くの冗長なコンポーネントを含むことが多い。 そこで我々はLocality-Sensitive Hashingに基づくグラフプルーニングのためのLocality-Sensitive Pruning(LSP)という体系的手法を提案する。
  論文  参考訳（メタデータ） (2021-11-10T14:12:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。