論文の概要: Graph Sparsification via Mixture of Graphs
- arxiv url: http://arxiv.org/abs/2405.14260v2
- Date: Thu, 03 Oct 2024 12:42:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-04 23:30:51.824421
- Title: Graph Sparsification via Mixture of Graphs
- Title（参考訳）: グラフの混合によるグラフスカラー化
- Authors: Guibin Zhang, Xiangguo Sun, Yanwei Yue, Chonghe Jiang, Kun Wang, Tianlong Chen, Shirui Pan,
- Abstract要約: そこで我々はMixture-of-Graphs (MoG)を導入し、各ノードに対して動的に調整されたプルーニングソリューションを選択する。
MoGには複数のスパシファイアの専門家が組み込まれており、それぞれが独自のスパーシリティレベルとプルーニング基準によって特徴付けられ、各ノードに対して適切な専門家を選択する。
5つのGNNを備えた4つの大規模OGBデータセットと2つのスーパーピクセルデータセットの実験により、MoGはより高い空間レベルのサブグラフを識別することを示した。
- 参考スコア（独自算出の注目度）: 67.40204130771967
- License:
- Abstract: Graph Neural Networks (GNNs) have demonstrated superior performance across various graph learning tasks but face significant computational challenges when applied to large-scale graphs. One effective approach to mitigate these challenges is graph sparsification, which involves removing non-essential edges to reduce computational overhead. However, previous graph sparsification methods often rely on a single global sparsity setting and uniform pruning criteria, failing to provide customized sparsification schemes for each node's complex local context. In this paper, we introduce Mixture-of-Graphs (MoG), leveraging the concept of Mixture-of-Experts (MoE), to dynamically select tailored pruning solutions for each node. Specifically, MoG incorporates multiple sparsifier experts, each characterized by unique sparsity levels and pruning criteria, and selects the appropriate experts for each node. Subsequently, MoG performs a mixture of the sparse graphs produced by different experts on the Grassmann manifold to derive an optimal sparse graph. One notable property of MoG is its entirely local nature, as it depends on the specific circumstances of each individual node. Extensive experiments on four large-scale OGB datasets and two superpixel datasets, equipped with five GNN backbones, demonstrate that MoG (I) identifies subgraphs at higher sparsity levels ($8.67\%\sim 50.85\%$), with performance equal to or better than the dense graph, (II) achieves $1.47-2.62\times$ speedup in GNN inference with negligible performance drop, and (III) boosts ``top-student'' GNN performance ($1.02\%\uparrow$ on RevGNN+\textsc{ogbn-proteins} and $1.74\%\uparrow$ on DeeperGCN+\textsc{ogbg-ppa}).
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、様々なグラフ学習タスクにおいて優れた性能を示してきたが、大規模グラフに適用した場合、重大な計算課題に直面している。
これらの課題を緩和する効果的なアプローチの1つは、計算オーバーヘッドを減らすために非必要エッジを除去するグラフスペーサー化である。
しかし、従来のグラフスペーシフィケーション手法は、単一のグローバルなスパーシフィケーション設定と均一なプルーニング基準に依存しており、各ノードの複雑なローカルコンテキストに対してカスタマイズされたスペーシフィケーションスキームを提供していないことが多い。
本稿では,Mixture-of-Experts (MoE) の概念を活用し,各ノードに対して動的に調整されたプルーニングソリューションを選択することを目的としたMixture-of-Graphs (MoG)を提案する。
特に、MoGには複数のスパシファイアの専門家が組み込まれており、それぞれに固有のスパシファイアレベルとプルーニング基準が特徴的であり、各ノードに対して適切な専門家を選択する。
その後、MoGはグラスマン多様体上の異なる専門家によって生成されるスパースグラフの混合を行い、最適スパースグラフを導出する。
MoGの特筆すべき特徴は、各ノードの特定の状況に依存するため、その完全に局所的な性質である。
5つのGNNバックボーンを備えた4つの大規模OGBデータセットと2つのスーパーピクセルデータセットの大規模な実験により、MoG(I)は高間隔レベル(8.67\%\sim 50.85\%$)のサブグラフを高密度グラフと同等以上のパフォーマンスで識別し、(II)GNN推論における1.47-2.62\times$ Speedup in GNN inference with negligible performance drop, (III) boosts `top-student' GNN performance$1.02\%\uparrow$ on RevGNN+\textsc{ogbn-oproteins} and $1.74\uparrow$ on DeeperGC+\textsc{ogbn-oproteins} and $1.74\uparrow$を達成した。
関連論文リスト
- DA-MoE: Addressing Depth-Sensitivity in Graph-Level Analysis through Mixture of Experts [70.21017141742763]
グラフニューラルネットワーク(GNN)は、グラフ構造化データを処理することで人気を集めている。
既存のメソッドは通常、固定数のGNNレイヤを使用して、すべてのグラフの表現を生成する。
本稿では,GNNに2つの改良を加えたDA-MoE法を提案する。
論文 参考訳（メタデータ） (2024-11-05T11:46:27Z) - Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる
本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。
我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
論文 参考訳（メタデータ） (2024-05-27T17:52:12Z) - Two Heads Are Better Than One: Boosting Graph Sparse Training via
Semantic and Topological Awareness [80.87683145376305]
グラフニューラルネットワーク(GNN)は、様々なグラフ学習タスクに優れるが、大規模グラフに適用した場合、計算上の課題に直面している。
データレベルで空間を動的に操作するグラフスパーストレーニング(GST)を提案する。
GSTは、最大位相整合性と性能劣化のないスパースグラフを生成する。
論文 参考訳（メタデータ） (2024-02-02T09:10:35Z) - A Simple and Scalable Graph Neural Network for Large Directed Graphs [11.792826520370774]
入力グラフ内のノード表現とエッジ方向認識の様々な組み合わせについて検討する。
そこで本研究では,A2DUGを簡易かつ包括的に分類する手法を提案する。
我々は、A2DUGが様々なデータセットで安定して動作し、最先端の手法と比較して11.29まで精度が向上することを示した。
論文 参考訳（メタデータ） (2023-06-14T06:24:58Z) - Graph Mixture of Experts: Learning on Large-Scale Graphs with Explicit
Diversity Modeling [60.0185734837814]
グラフニューラルネットワーク(GNN)は、グラフデータからの学習に広く応用されている。
GNNの一般化能力を強化するため、グラフ強化のような技術を用いて、トレーニンググラフ構造を増強することが慣例となっている。
本研究では,GNNにMixture-of-Experts(MoE)の概念を導入する。
論文 参考訳（メタデータ） (2023-04-06T01:09:36Z) - $\rm A^2Q$: Aggregation-Aware Quantization for Graph Neural Networks [18.772128348519566]
グラフニューラルネットワーク(GNN)のための集約型混合精度量子化(rm A2Q$)を提案する。
本手法は,ノードレベルのタスクとグラフレベルのタスクで最大11.4%,9.5%の精度向上を実現し,専用ハードウェアアクセラレータで最大2倍の高速化を実現する。
論文 参考訳（メタデータ） (2023-02-01T02:54:35Z) - NAFS: A Simple yet Tough-to-beat Baseline for Graph Representation
Learning [26.79012993334157]
パラメータ学習なしでノード表現を構成する単純な非パラメトリック手法であるノード適応型特徴平滑化(NAFS)を提案する。
ノードクラスタリングとリンク予測という,2つの異なるアプリケーションシナリオに関する4つのベンチマークデータセットの実験を行った。
注目すべきは、機能アンサンブルを備えたNAFSは、これらのタスクで最先端のGNNよりも優れています。
論文 参考訳（メタデータ） (2022-06-17T06:53:04Z) - Node Feature Extraction by Self-Supervised Multi-scale Neighborhood
Prediction [123.20238648121445]
我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。
GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。
我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
論文 参考訳（メタデータ） (2021-10-29T19:55:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。