論文の概要: Disentangled Condensation for Large-scale Graphs
- arxiv url: http://arxiv.org/abs/2401.12231v2
- Date: Wed, 31 Jul 2024 02:52:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-01 13:27:16.327786
- Title: Disentangled Condensation for Large-scale Graphs
- Title(参考訳): 大規模グラフに対する不整合凝縮
- Authors: Zhenbang Xiao, Shunyu Liu, Yu Wang, Tongya Zheng, Mingli Song,
- Abstract要約: グラフニューラルネットワーク(GNN)の高価なトレーニングコストを節約するための興味深いテクニックとして、グラフ凝縮が登場した。
本稿では, 凝縮過程を2段階のGNNフリーパラダイムに分解し, ノードを独立に凝縮し, エッジを生成することを提案する。
この単純で効果的なアプローチは、中規模グラフの精度に匹敵する精度で最先端の手法よりも少なくとも10倍早く達成できる。
- 参考スコア(独自算出の注目度): 31.781721873508978
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph condensation has emerged as an intriguing technique to save the expensive training costs of Graph Neural Networks (GNNs) by substituting a condensed small graph with the original graph. Despite the promising results achieved, previous methods usually employ an entangled paradigm of redundant parameters (nodes, edges, GNNs), which incurs complex joint optimization during condensation. This paradigm has considerably impeded the scalability of graph condensation, making it challenging to condense extremely large-scale graphs and generate high-fidelity condensed graphs. Therefore, we propose to disentangle the condensation process into a two-stage GNN-free paradigm, independently condensing nodes and generating edges while eliminating the need to optimize GNNs at the same time. The node condensation module avoids the complexity of GNNs by focusing on node feature alignment with anchors of the original graph, while the edge translation module constructs the edges of the condensed nodes by transferring the original structure knowledge with neighborhood anchors. This simple yet effective approach achieves at least 10 times faster than state-of-the-art methods with comparable accuracy on medium-scale graphs. Moreover, the proposed DisCo can successfully scale up to the Ogbn-papers100M graph with flexible reduction rates. Extensive downstream tasks and ablation study on five common datasets further demonstrate the effectiveness of the proposed DisCo framework. The source code will be made publicly available.
- Abstract(参考訳): グラフ凝縮は、元のグラフに縮合した小さなグラフを置換することにより、グラフニューラルネットワーク(GNN)の高価なトレーニングコストを削減できる興味深い手法として登場した。
期待された結果にもかかわらず、従来の手法は通常、冗長パラメータ(ノード、エッジ、GNN)の絡み合ったパラダイムを用いており、凝縮中に複雑な共同最適化を引き起こす。
このパラダイムは、グラフ凝縮のスケーラビリティを著しく阻害し、非常に大規模なグラフを凝縮し、高忠実な凝縮グラフを生成するのを困難にしている。
そこで本研究では,この凝縮過程を2段階のGNNフリーパラダイムに分解し,ノードを独立に凝縮し,エッジを生成するとともに,同時にGNNを最適化する必要がなくなることを提案する。
ノード凝縮モジュールは、元のグラフのアンカーとのノード特徴アライメントに着目してGNNの複雑さを回避する一方、エッジ翻訳モジュールは、元の構造知識を近傍アンカーで転送することで、凝縮ノードのエッジを構成する。
この単純で効果的なアプローチは、中規模グラフの精度に匹敵する精度で最先端の手法よりも少なくとも10倍高速に達成できる。
さらに、提案したDisCoは、フレキシブルリダクションレートでOgbn-papers100Mグラフにスケールアップできる。
5つの共通データセットに対する大規模なダウンストリームタスクとアブレーションスタディは、提案したDisCoフレームワークの有効性をさらに証明している。
ソースコードは一般公開される予定だ。
関連論文リスト
- GC-Bench: An Open and Unified Benchmark for Graph Condensation [54.70801435138878]
我々は,グラフ凝縮の性能を解析するための総合的なグラフ凝縮ベンチマーク (GC-Bench) を開発した。
GC-Benchは、グラフ凝縮の特徴を以下の次元で体系的に研究している。
我々は,再現性のある研究を容易にするために,異なるGC手法を訓練し,評価するための簡易ライブラリを開発した。
論文 参考訳(メタデータ) (2024-06-30T07:47:34Z) - Rethinking and Accelerating Graph Condensation: A Training-Free Approach with Class Partition [56.26113670151363]
グラフ凝縮(Graph condensation)は、大きなグラフを小さいが情報的な凝縮グラフに置き換えるための、データ中心のソリューションである。
既存のGCメソッドは複雑な最適化プロセスに悩まされており、過剰な計算資源を必要とする。
我々は、CGC(Class-partitioned Graph Condensation)と呼ばれるトレーニング不要なGCフレームワークを提案する。
CGCはより効率的な凝縮プロセスで最先端の性能を達成する。
論文 参考訳(メタデータ) (2024-05-22T14:57:09Z) - Simple Graph Condensation [30.85754566420301]
グラフ凝縮(Graph condensation)は、グラフニューラルネットワーク(GNN)を小さな凝縮グラフにチューニングし、大規模なオリジナルグラフで使用する。
本稿では,SimGC(Simple Graph Condensation)フレームワークについて紹介する。
SimGCは既存のグラフ凝縮法に比べて最大10倍の高速化を実現している。
論文 参考訳(メタデータ) (2024-03-22T05:04:48Z) - Navigating Complexity: Toward Lossless Graph Condensation via Expanding Window Matching [26.303436980548174]
グラフ凝縮は、コンパクトなグラフデータセットを合成することで、大規模グラフデータセットのサイズを減らすことを目的としている。
既存の手法では、特定のデータセットの元のグラフを正確に複製することができないことが多い。
本稿では,これまで無視されていた監視信号をブリッジすることで,無テクトトロスグラフの凝縮化に向けた最初の試みを行う。
論文 参考訳(メタデータ) (2024-02-07T16:32:02Z) - Two Trades is not Baffled: Condensing Graph via Crafting Rational Gradient Matching [50.30124426442228]
大規模グラフの学習はグラフ表現学習において顕著な成果を上げてきたが、そのコストと記憶力の増大が懸念されている。
そこで我々は,textbfCraftextbfTing textbfRationatextbf (textbfCTRL) という新しいグラフ手法を提案する。
論文 参考訳(メタデータ) (2024-02-07T14:49:10Z) - Graph Condensation for Inductive Node Representation Learning [59.76374128436873]
マッピング対応グラフ凝縮法(MCond)を提案する。
MCondは、帰納的表現学習のための合成グラフに新しいノードを統合する。
Redditデータセットでは、最大121.5倍の推論スピードアップと55.9倍のストレージ要求の削減を実現している。
論文 参考訳(メタデータ) (2023-07-29T12:11:14Z) - Structure-free Graph Condensation: From Large-scale Graphs to Condensed
Graph-free Data [91.27527985415007]
既存のグラフ凝縮法は、凝縮グラフ内のノードと構造の合同最適化に依存している。
我々は、大規模グラフを小さなグラフノード集合に蒸留する、SFGCと呼ばれる新しい構造自由グラフ凝縮パラダイムを提唱する。
論文 参考訳(メタデータ) (2023-06-05T07:53:52Z) - Edge but not Least: Cross-View Graph Pooling [76.71497833616024]
本稿では,重要なグラフ構造情報を活用するために,クロスビューグラフプーリング(Co-Pooling)手法を提案する。
クロスビュー相互作用、エッジビュープーリング、ノードビュープーリングにより、相互にシームレスに強化され、より情報的なグラフレベルの表現が学習される。
論文 参考訳(メタデータ) (2021-09-24T08:01:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。