論文の概要: Rethinking and Accelerating Graph Condensation: A Training-Free Approach with Class Partition
- arxiv url: http://arxiv.org/abs/2405.13707v2
- Date: Thu, 23 Jan 2025 08:49:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-24 15:56:49.691322
- Title: Rethinking and Accelerating Graph Condensation: A Training-Free Approach with Class Partition
- Title（参考訳）: グラフ凝縮の再考と加速:クラス分割による学習自由なアプローチ
- Authors: Xinyi Gao, Guanhua Ye, Tong Chen, Wentao Zhang, Junliang Yu, Hongzhi Yin,
- Abstract要約: グラフ凝縮(Graph condensation)は、大きなグラフを小さいが情報的な凝縮グラフに置き換えるための、データ中心のソリューションである。
既存のGCメソッドは、複雑な最適化プロセス、過剰なコンピューティングリソースとトレーニング時間を必要とする。
我々は、CGC(Class-partitioned Graph Condensation)と呼ばれるトレーニング不要なGCフレームワークを提案する。
CGCはOgbn-productsグラフを30秒以内に凝縮し、102$Xから104$Xまでのスピードアップを実現し、精度は4.2%まで向上した。
- 参考スコア（独自算出の注目度）: 49.41718583061147
- License:
- Abstract: The increasing prevalence of large-scale graphs poses a significant challenge for graph neural network training, attributed to their substantial computational requirements. In response, graph condensation (GC) emerges as a promising data-centric solution aiming to substitute the large graph with a small yet informative condensed graph to facilitate data-efficient GNN training. However, existing GC methods suffer from intricate optimization processes, necessitating excessive computing resources and training time. In this paper, we revisit existing GC optimization strategies and identify two pervasive issues therein: (1) various GC optimization strategies converge to coarse-grained class-level node feature matching between the original and condensed graphs; (2) existing GC methods rely on a Siamese graph network architecture that requires time-consuming bi-level optimization with iterative gradient computations. To overcome these issues, we propose a training-free GC framework termed Class-partitioned Graph Condensation (CGC), which refines the node distribution matching from the class-to-class paradigm into a novel class-to-node paradigm, transforming the GC optimization into a class partition problem which can be efficiently solved by any clustering methods. Moreover, CGC incorporates a pre-defined graph structure to enable a closed-form solution for condensed node features, eliminating the need for back-and-forth gradient descent in existing GC approaches. Extensive experiments demonstrate that CGC achieves an exceedingly efficient condensation process with advanced accuracy. Compared with the state-of-the-art GC methods, CGC condenses the Ogbn-products graph within 30 seconds, achieving a speedup ranging from $10^2$X to $10^4$X and increasing accuracy by up to 4.2%.
- Abstract（参考訳）: 大規模グラフの普及は、その相当な計算要求に起因するグラフニューラルネットワークトレーニングに重大な課題をもたらす。
これに対し、グラフ凝縮(GC)は、データ効率のよいGNNトレーニングを容易にするために、大きなグラフを小さいが情報的な凝縮グラフに置き換えることを目的とした、有望なデータ中心のソリューションとして出現する。
しかし、既存のGCメソッドは、複雑な最適化プロセス、過剰なコンピューティングリソースとトレーニング時間を必要とする。
本稿では, 既存のGC最適化戦略を再検討し, 様々なGC最適化戦略が, 元のグラフと凝縮グラフの間の粗粒度のクラスレベルのノード特徴マッチングに収束する, 2) 既存のGC手法は, 繰り返し勾配計算による2段階最適化に要するSiameseグラフネットワークアーキテクチャに依存する。
これらの問題を克服するために,クラス分割グラフ凝縮法 (CGC) と呼ばれる訓練不要なGCフレームワークを提案し,クラス間パラダイムから新しいクラス間パラダイムへのノード分散マッチングを改良し,GC最適化を任意のクラスタリング手法で効率的に解けるクラス分割問題に変換する。
さらに、CGCは事前に定義されたグラフ構造を組み込んで、凝縮ノード機能のためのクローズドフォームソリューションを可能にし、既存のGCアプローチにおけるバック・アンド・フォース勾配の勾配を不要にしている。
大規模な実験により、CGCは高度な精度で極めて効率的な凝縮過程を達成できることが示された。
最先端のGC法と比較して、CGCはOgbn-productsグラフを30秒以内に凝縮し、10^2$Xから10^4$Xまでのスピードアップを達成し、精度は4.2%まで向上した。
関連論文リスト
- Contrastive Graph Condensation: Advancing Data Versatility through Self-Supervised Learning [47.74244053386216]
グラフ凝縮は、大規模原グラフのコンパクトで代替的なグラフを合成するための有望な解である。
本稿では、自己教師型代理タスクを取り入れたCTGC(Contrastive Graph Condensation)を導入し、元のグラフから批判的、因果的な情報を抽出する。
CTGCは、様々な下流タスクを限られたラベルで処理し、一貫して最先端のGCメソッドより優れている。
論文 参考訳（メタデータ） (2024-11-26T03:01:22Z) - GC-Bench: An Open and Unified Benchmark for Graph Condensation [54.70801435138878]
我々は,グラフ凝縮の性能を解析するための総合的なグラフ凝縮ベンチマーク (GC-Bench) を開発した。
GC-Benchは、グラフ凝縮の特徴を以下の次元で体系的に研究している。
我々は,再現性のある研究を容易にするために,異なるGC手法を訓練し,評価するための簡易ライブラリを開発した。
論文 参考訳（メタデータ） (2024-06-30T07:47:34Z) - GC4NC: A Benchmark Framework for Graph Condensation on Node Classification with New Insights [30.796414860754837]
グラフ凝縮(GC)は、元のグラフの本質的な情報を保持する、はるかに小さなグラフを学習するために設計された新興技術である。
本稿では,ノード分類における多様なGC手法を評価するための包括的フレームワークである textbfGC4NC を紹介する。
私たちの体系的な評価は、凝縮グラフがどのように振る舞うか、そしてその成功を導く重要な設計選択について、新しい洞察を与えます。
論文 参考訳（メタデータ） (2024-06-24T15:17:49Z) - RobGC: Towards Robust Graph Condensation [61.259453496191696]
グラフニューラルネットワーク(GNN)は、グラフ表現学習の目覚ましい能力によって広く注目を集めている。
しかし,大規模グラフの普及は,その計算要求により,GNNトレーニングにとって大きな課題となる。
本稿では,GNNを効率よく学習し,性能を保ちつつ,情報的コンパクトなグラフを生成するために,GC(Graph Condensation)を提案する。
論文 参考訳（メタデータ） (2024-06-19T04:14:57Z) - GCondenser: Benchmarking Graph Condensation [26.458605619132385]
本稿では,大規模グラフ凝縮ベンチマークGCondenserを提案する。
GCondenserには標準化されたGCパラダイムが含まれており、凝縮、バリデーション、評価手順で構成され、新しいGCメソッドやデータセットの拡張を可能にする。
論文 参考訳（メタデータ） (2024-05-23T07:25:31Z) - Graph Condensation: A Survey [49.41718583061147]
グラフデータの急速な成長は、ストレージ、送信、特にグラフニューラルネットワーク(GNN)のトレーニングにおいて大きな課題をもたらす。
これらの課題に対処するために、グラフ凝縮(GC)が革新的な解決策として登場した。
GCはコンパクトだが非常に代表的なグラフに重点を置いており、トレーニングされたGNNが元の大きなグラフでトレーニングされたグラフに匹敵するパフォーマンスを達成することができる。
論文 参考訳（メタデータ） (2024-01-22T06:47:00Z) - Disentangled Condensation for Large-scale Graphs [31.781721873508978]
グラフニューラルネットワーク(GNN)の高価なトレーニングコストを節約するための興味深いテクニックとして、グラフ凝縮が登場した。
本稿では, 凝縮過程を2段階のGNNフリーパラダイムに分解し, ノードを独立に凝縮し, エッジを生成することを提案する。
この単純で効果的なアプローチは、中規模グラフの精度に匹敵する精度で最先端の手法よりも少なくとも10倍早く達成できる。
論文 参考訳（メタデータ） (2024-01-18T09:59:00Z) - Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural
Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。
LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。
提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文 参考訳（メタデータ） (2022-07-18T14:23:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。