論文の概要: Disentangled Condensation for Large-scale Graphs

• arxiv url: http://arxiv.org/abs/2401.12231v2
• Date: Wed, 31 Jul 2024 02:52:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-01 13:27:16.327786
• Title: Disentangled Condensation for Large-scale Graphs
• Title（参考訳）: 大規模グラフに対する不整合凝縮
• Authors: Zhenbang Xiao, Shunyu Liu, Yu Wang, Tongya Zheng, Mingli Song,
• Abstract要約: グラフニューラルネットワーク(GNN)の高価なトレーニングコストを節約するための興味深いテクニックとして、グラフ凝縮が登場した。 本稿では, 凝縮過程を2段階のGNNフリーパラダイムに分解し, ノードを独立に凝縮し, エッジを生成することを提案する。 この単純で効果的なアプローチは、中規模グラフの精度に匹敵する精度で最先端の手法よりも少なくとも10倍早く達成できる。
• 参考スコア（独自算出の注目度）: 31.781721873508978
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph condensation has emerged as an intriguing technique to save the expensive training costs of Graph Neural Networks (GNNs) by substituting a condensed small graph with the original graph. Despite the promising results achieved, previous methods usually employ an entangled paradigm of redundant parameters (nodes, edges, GNNs), which incurs complex joint optimization during condensation. This paradigm has considerably impeded the scalability of graph condensation, making it challenging to condense extremely large-scale graphs and generate high-fidelity condensed graphs. Therefore, we propose to disentangle the condensation process into a two-stage GNN-free paradigm, independently condensing nodes and generating edges while eliminating the need to optimize GNNs at the same time. The node condensation module avoids the complexity of GNNs by focusing on node feature alignment with anchors of the original graph, while the edge translation module constructs the edges of the condensed nodes by transferring the original structure knowledge with neighborhood anchors. This simple yet effective approach achieves at least 10 times faster than state-of-the-art methods with comparable accuracy on medium-scale graphs. Moreover, the proposed DisCo can successfully scale up to the Ogbn-papers100M graph with flexible reduction rates. Extensive downstream tasks and ablation study on five common datasets further demonstrate the effectiveness of the proposed DisCo framework. The source code will be made publicly available.
• Abstract（参考訳）: グラフ凝縮は、元のグラフに縮合した小さなグラフを置換することにより、グラフニューラルネットワーク(GNN)の高価なトレーニングコストを削減できる興味深い手法として登場した。 期待された結果にもかかわらず、従来の手法は通常、冗長パラメータ(ノード、エッジ、GNN)の絡み合ったパラダイムを用いており、凝縮中に複雑な共同最適化を引き起こす。 このパラダイムは、グラフ凝縮のスケーラビリティを著しく阻害し、非常に大規模なグラフを凝縮し、高忠実な凝縮グラフを生成するのを困難にしている。 そこで本研究では,この凝縮過程を2段階のGNNフリーパラダイムに分解し,ノードを独立に凝縮し,エッジを生成するとともに,同時にGNNを最適化する必要がなくなることを提案する。 ノード凝縮モジュールは、元のグラフのアンカーとのノード特徴アライメントに着目してGNNの複雑さを回避する一方、エッジ翻訳モジュールは、元の構造知識を近傍アンカーで転送することで、凝縮ノードのエッジを構成する。 この単純で効果的なアプローチは、中規模グラフの精度に匹敵する精度で最先端の手法よりも少なくとも10倍高速に達成できる。 さらに、提案したDisCoは、フレキシブルリダクションレートでOgbn-papers100Mグラフにスケールアップできる。 5つの共通データセットに対する大規模なダウンストリームタスクとアブレーションスタディは、提案したDisCoフレームワークの有効性をさらに証明している。 ソースコードは一般公開される予定だ。

関連論文リスト

• Contrastive Graph Condensation: Advancing Data Versatility through Self-Supervised Learning [47.74244053386216]
  グラフ凝縮は、大規模原グラフのコンパクトで代替的なグラフを合成するための有望な解である。 本稿では、自己教師型代理タスクを取り入れたCTGC(Contrastive Graph Condensation)を導入し、元のグラフから批判的、因果的な情報を抽出する。 CTGCは、様々な下流タスクを限られたラベルで処理し、一貫して最先端のGCメソッドより優れている。
  論文  参考訳（メタデータ） (2024-11-26T03:01:22Z)
• Graph Condensation for Open-World Graph Learning [48.38802327346445]
  グラフ凝縮(GC)は、グラフニューラルネットワーク(GNN)を効率的に訓練するための有望な加速ソリューションとして登場した。 既存のGCメソッドは、単に観測された静的グラフ分布と凝縮グラフの整合性に制限される。 しかし、現実のシナリオでは、グラフは動的で常に進化しており、新しいノードとエッジが継続的に統合されている。 グラフパターンの進化をシミュレートするために構造対応分散シフトを統合する,堅牢なGCフレームワークであるOpenGCを提案する。
  論文  参考訳（メタデータ） (2024-05-27T09:47:09Z)
• Rethinking and Accelerating Graph Condensation: A Training-Free Approach with Class Partition [56.26113670151363]
  グラフ凝縮(Graph condensation)は、大きなグラフを小さいが情報的な凝縮グラフに置き換えるための、データ中心のソリューションである。 既存のGCメソッドは複雑な最適化プロセスに悩まされており、過剰な計算資源を必要とする。 我々は、CGC(Class-partitioned Graph Condensation)と呼ばれるトレーニング不要なGCフレームワークを提案する。 CGCはより効率的な凝縮プロセスで最先端の性能を達成する。
  論文  参考訳（メタデータ） (2024-05-22T14:57:09Z)
• Simple Graph Condensation [30.85754566420301]
  グラフ凝縮(Graph condensation)は、グラフニューラルネットワーク(GNN)を小さな凝縮グラフにチューニングし、大規模なオリジナルグラフで使用する。 本稿では,SimGC(Simple Graph Condensation)フレームワークについて紹介する。 SimGCは既存のグラフ凝縮法に比べて最大10倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-03-22T05:04:48Z)
• Graph Condensation for Inductive Node Representation Learning [59.76374128436873]
  マッピング対応グラフ凝縮法(MCond)を提案する。 MCondは、帰納的表現学習のための合成グラフに新しいノードを統合する。 Redditデータセットでは、最大121.5倍の推論スピードアップと55.9倍のストレージ要求の削減を実現している。
  論文  参考訳（メタデータ） (2023-07-29T12:11:14Z)
• Structure-free Graph Condensation: From Large-scale Graphs to Condensed Graph-free Data [91.27527985415007]
  既存のグラフ凝縮法は、凝縮グラフ内のノードと構造の合同最適化に依存している。 我々は、大規模グラフを小さなグラフノード集合に蒸留する、SFGCと呼ばれる新しい構造自由グラフ凝縮パラダイムを提唱する。
  論文  参考訳（メタデータ） (2023-06-05T07:53:52Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。