論文の概要: Fast Graph Condensation with Structure-based Neural Tangent Kernel
- arxiv url: http://arxiv.org/abs/2310.11046v2
- Date: Fri, 1 Mar 2024 06:41:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-04 14:08:49.136106
- Title: Fast Graph Condensation with Structure-based Neural Tangent Kernel
- Title（参考訳）: 構造に基づくニューラルタンジェントカーネルを用いた高速グラフ凝縮
- Authors: Lin Wang, Wenqi Fan, Jiatong Li, Yao Ma, Qing Li
- Abstract要約: グラフ構造化データのための新しいデータセット凝縮フレームワーク(GC-SNTK)を提案する。
構造ベースのニューラルタンジェントカーネル(SNTK)はグラフのトポロジを捉えるために開発され、KRRパラダイムのカーネル関数として機能する。
高い予測性能を維持しつつ,グラフ凝縮の高速化における提案モデルの有効性を示す実験を行った。
- 参考スコア（独自算出の注目度）: 30.098666399404287
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rapid development of Internet technology has given rise to a vast amount
of graph-structured data. Graph Neural Networks (GNNs), as an effective method
for various graph mining tasks, incurs substantial computational resource costs
when dealing with large-scale graph data. A data-centric manner solution is
proposed to condense the large graph dataset into a smaller one without
sacrificing the predictive performance of GNNs. However, existing efforts
condense graph-structured data through a computational intensive bi-level
optimization architecture also suffer from massive computation costs. In this
paper, we propose reforming the graph condensation problem as a Kernel Ridge
Regression (KRR) task instead of iteratively training GNNs in the inner loop of
bi-level optimization. More specifically, We propose a novel dataset
condensation framework (GC-SNTK) for graph-structured data, where a
Structure-based Neural Tangent Kernel (SNTK) is developed to capture the
topology of graph and serves as the kernel function in KRR paradigm.
Comprehensive experiments demonstrate the effectiveness of our proposed model
in accelerating graph condensation while maintaining high prediction
performance. The source code is available on
https://github.com/WANGLin0126/GCSNTK.
- Abstract（参考訳）: インターネット技術の急速な発展は、膨大な量のグラフ構造化データを生み出している。
グラフニューラルネットワーク(GNN)は、グラフマイニングタスクに有効な手法であり、大規模グラフデータを扱う際にかなりの計算資源コストを発生させる。
大規模グラフデータセットをgnnの予測性能を犠牲にすることなく,より小さなグラフデータセットに集約するデータ中心型手法を提案する。
しかし、既存の取り組みは、計算集約的なbiレベル最適化アーキテクチャを通じてグラフ構造化データを凝縮する。
本稿では,二段階最適化の内ループにおいて,GNNを反復的に訓練する代わりに,KRRタスクとしてグラフ凝縮問題を修正することを提案する。
より具体的には、グラフ構造データのための新しいデータセット凝縮フレームワーク(GC-SNTK)を提案し、構造ベースのニューラルタンジェントカーネル(SNTK)を開発し、グラフのトポロジをキャプチャし、KRRパラダイムのカーネル関数として機能する。
総合実験により,高い予測性能を維持しつつグラフ凝縮を加速するモデルの有効性を実証した。
ソースコードはhttps://github.com/WANGLin0126/GCSNTKで入手できる。
関連論文リスト
- Greener GRASS: Enhancing GNNs with Encoding, Rewiring, and Attention [12.409982249220812]
本稿では,新しいGNNアーキテクチャであるGraph Attention with Structures (GRASS)を紹介する。
GRASSはランダムな正規グラフを重畳して入力グラフをリワイヤし、長距離情報伝搬を実現する。
また、グラフ構造化データに適した新しい付加的注意機構も採用している。
論文 参考訳（メタデータ） (2024-07-08T06:21:56Z) - Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる
本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。
我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
論文 参考訳（メタデータ） (2024-05-27T17:52:12Z) - Graph Data Condensation via Self-expressive Graph Structure Reconstruction [7.4525875528900665]
我々は textbfSelf-presentive Graph Structure textbfReconstruction による textbfGraph Data textbfCondensation という新しいフレームワークを紹介した。
提案手法は,元のグラフ構造を凝縮過程に明示的に組み込んで,凝縮ノード間の不規則な相互依存性を捕捉する。
論文 参考訳（メタデータ） (2024-03-12T03:54:25Z) - Structure-free Graph Condensation: From Large-scale Graphs to Condensed
Graph-free Data [91.27527985415007]
既存のグラフ凝縮法は、凝縮グラフ内のノードと構造の合同最適化に依存している。
我々は、大規模グラフを小さなグラフノード集合に蒸留する、SFGCと呼ばれる新しい構造自由グラフ凝縮パラダイムを提唱する。
論文 参考訳（メタデータ） (2023-06-05T07:53:52Z) - Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural
Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。
LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。
提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文 参考訳（メタデータ） (2022-07-18T14:23:31Z) - Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。
固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。
GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
論文 参考訳（メタデータ） (2022-05-19T14:08:15Z) - Adaptive Kernel Graph Neural Network [21.863238974404474]
グラフニューラルネットワーク(GNN)は,グラフ構造化データの表現学習において大きな成功を収めている。
本稿では,AKGNN(Adaptive Kernel Graph Neural Network)という新しいフレームワークを提案する。
AKGNNは、最初の試みで最適なグラフカーネルに統一的に適応することを学ぶ。
評価されたベンチマークデータセットで実験を行い、提案したAKGNNの優れた性能を示す有望な結果を得た。
論文 参考訳（メタデータ） (2021-12-08T20:23:58Z) - Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。
FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
論文 参考訳（メタデータ） (2020-10-19T21:51:47Z) - Adaptive Graph Auto-Encoder for General Data Clustering [90.8576971748142]
グラフベースのクラスタリングは、クラスタリング領域において重要な役割を果たす。
グラフ畳み込みニューラルネットワークに関する最近の研究は、グラフ型データにおいて驚くべき成功を収めている。
本稿では,グラフの生成的視点に応じて適応的にグラフを構成する汎用データクラスタリングのためのグラフ自動エンコーダを提案する。
論文 参考訳（メタデータ） (2020-02-20T10:11:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。