論文の概要: Rethinking and Accelerating Graph Condensation: A Training-Free Approach with Class Partition

• arxiv url: http://arxiv.org/abs/2405.13707v1
• Date: Wed, 22 May 2024 14:57:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 23:45:08.029076
• Title: Rethinking and Accelerating Graph Condensation: A Training-Free Approach with Class Partition
• Title（参考訳）: グラフ凝縮の再考と加速:クラス分割による学習自由なアプローチ
• Authors: Xinyi Gao, Tong Chen, Wentao Zhang, Junliang Yu, Guanhua Ye, Quoc Viet Hung Nguyen, Hongzhi Yin,
• Abstract要約: グラフ凝縮(Graph condensation)は、大きなグラフを小さいが情報的な凝縮グラフに置き換えるための、データ中心のソリューションである。 既存のGCメソッドは複雑な最適化プロセスに悩まされており、過剰な計算資源を必要とする。 我々は、CGC(Class-partitioned Graph Condensation)と呼ばれるトレーニング不要なGCフレームワークを提案する。 CGCはより効率的な凝縮プロセスで最先端の性能を達成する。
• 参考スコア（独自算出の注目度）: 56.26113670151363
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The increasing prevalence of large-scale graphs poses a significant challenge for graph neural network training, attributed to their substantial computational requirements. In response, graph condensation (GC) emerges as a promising data-centric solution aiming to substitute the large graph with a small yet informative condensed graph to facilitate data-efficient GNN training. However, existing GC methods suffer from intricate optimization processes, necessitating excessive computing resources. In this paper, we revisit existing GC optimization strategies and identify two pervasive issues: 1. various GC optimization strategies converge to class-level node feature matching between the original and condensed graphs, making the optimization target coarse-grained despite the complex computations; 2. to bridge the original and condensed graphs, existing GC methods rely on a Siamese graph network architecture that requires time-consuming bi-level optimization with iterative gradient computations. To overcome these issues, we propose a training-free GC framework termed Class-partitioned Graph Condensation (CGC), which refines the node feature matching from the class-to-class paradigm into a novel class-to-node paradigm. Remarkably, this refinement also simplifies the GC optimization as a class partition problem, which can be efficiently solved by any clustering methods. Moreover, CGC incorporates a pre-defined graph structure to enable a closed-form solution for condensed node features, eliminating the back-and-forth gradient descent in existing GC approaches without sacrificing accuracy. Extensive experiments demonstrate that CGC achieves state-of-the-art performance with a more efficient condensation process. For instance, compared with the seminal GC method (i.e., GCond), CGC condenses the largest Reddit graph within 10 seconds, achieving a 2,680X speedup and a 1.4% accuracy increase.
• Abstract（参考訳）: 大規模グラフの普及は、その相当な計算要求に起因するグラフニューラルネットワークトレーニングに重大な課題をもたらす。 これに対し、グラフ凝縮(GC)は、データ効率のよいGNNトレーニングを容易にするために、大きなグラフを小さいが情報的な凝縮グラフに置き換えることを目的とした、有望なデータ中心のソリューションとして出現する。 しかし、既存のGCメソッドは複雑な最適化プロセスに悩まされており、過剰な計算資源を必要とする。 本稿では,既存のGC最適化戦略を再検討し,2つの広範囲な問題を特定する。 1. 様々なGC最適化戦略は、元のグラフと凝縮グラフの間のクラスレベルのノード特徴マッチングに収束し、複雑な計算にもかかわらず、最適化対象を粗い粒度にする。 既存のGCメソッドは、元のグラフと凝縮グラフをブリッジするために、反復的な勾配計算による2段階最適化を必要とするSiameseグラフネットワークアーキテクチャに依存している。 これらの問題を克服するために,クラス分割グラフ凝縮(CGC)と呼ばれる訓練不要なGCフレームワークを提案する。 注目すべきは、この改善はGC最適化をクラス分割問題として単純化し、任意のクラスタリングメソッドで効率的に解決できることだ。 さらに、CGCは事前に定義されたグラフ構造を導入し、凝縮ノード特徴に対する閉形式ソリューションを可能にし、精度を犠牲にすることなく既存のGCアプローチのバック・アンド・フォース勾配を排除している。 大規模な実験により、CGCはより効率的な凝縮プロセスで最先端の性能を達成することが示された。 例えば、セミナルGC法(例えばGCond)と比較して、CGCは最大のRedditグラフを10秒以内に圧縮し、2,680Xのスピードアップと1.4%の精度向上を実現している。

関連論文リスト

• Contrastive Graph Condensation: Advancing Data Versatility through Self-Supervised Learning [47.74244053386216]
  グラフ凝縮は、大規模原グラフのコンパクトで代替的なグラフを合成するための有望な解である。 本稿では、自己教師型代理タスクを取り入れたCTGC(Contrastive Graph Condensation)を導入し、元のグラフから批判的、因果的な情報を抽出する。 CTGCは、様々な下流タスクを限られたラベルで処理し、一貫して最先端のGCメソッドより優れている。
  論文  参考訳（メタデータ） (2024-11-26T03:01:22Z)
• GC-Bench: An Open and Unified Benchmark for Graph Condensation [54.70801435138878]
  我々は,グラフ凝縮の性能を解析するための総合的なグラフ凝縮ベンチマーク (GC-Bench) を開発した。 GC-Benchは、グラフ凝縮の特徴を以下の次元で体系的に研究している。 我々は,再現性のある研究を容易にするために,異なるGC手法を訓練し,評価するための簡易ライブラリを開発した。
  論文  参考訳（メタデータ） (2024-06-30T07:47:34Z)
• GC4NC: A Benchmark Framework for Graph Condensation on Node Classification with New Insights [30.796414860754837]
  グラフ凝縮(GC)は、元のグラフの本質的な情報を保持する、はるかに小さなグラフを学習するために設計された新興技術である。 本稿では,ノード分類における多様なGC手法を評価するための包括的フレームワークである textbfGC4NC を紹介する。 私たちの体系的な評価は、凝縮グラフがどのように振る舞うか、そしてその成功を導く重要な設計選択について、新しい洞察を与えます。
  論文  参考訳（メタデータ） (2024-06-24T15:17:49Z)
• RobGC: Towards Robust Graph Condensation [61.259453496191696]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習の目覚ましい能力によって広く注目を集めている。 しかし,大規模グラフの普及は,その計算要求により,GNNトレーニングにとって大きな課題となる。 本稿では,GNNを効率よく学習し,性能を保ちつつ,情報的コンパクトなグラフを生成するために,GC(Graph Condensation)を提案する。
  論文  参考訳（メタデータ） (2024-06-19T04:14:57Z)
• GCondenser: Benchmarking Graph Condensation [26.458605619132385]
  本稿では,大規模グラフ凝縮ベンチマークGCondenserを提案する。 GCondenserには標準化されたGCパラダイムが含まれており、凝縮、バリデーション、評価手順で構成され、新しいGCメソッドやデータセットの拡張を可能にする。
  論文  参考訳（メタデータ） (2024-05-23T07:25:31Z)
• Graph Condensation: A Survey [49.41718583061147]
  グラフデータの急速な成長は、ストレージ、送信、特にグラフニューラルネットワーク(GNN)のトレーニングにおいて大きな課題をもたらす。 これらの課題に対処するために、グラフ凝縮(GC)が革新的な解決策として登場した。 GCはコンパクトだが非常に代表的なグラフに重点を置いており、トレーニングされたGNNが元の大きなグラフでトレーニングされたグラフに匹敵するパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2024-01-22T06:47:00Z)
• Disentangled Condensation for Large-scale Graphs [31.781721873508978]
  グラフニューラルネットワーク(GNN)の高価なトレーニングコストを節約するための興味深いテクニックとして、グラフ凝縮が登場した。 本稿では, 凝縮過程を2段階のGNNフリーパラダイムに分解し, ノードを独立に凝縮し, エッジを生成することを提案する。 この単純で効果的なアプローチは、中規模グラフの精度に匹敵する精度で最先端の手法よりも少なくとも10倍早く達成できる。
  論文  参考訳（メタデータ） (2024-01-18T09:59:00Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。