論文の概要: Simple Graph Condensation
- arxiv url: http://arxiv.org/abs/2403.14951v1
- Date: Fri, 22 Mar 2024 05:04:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-25 18:37:30.401837
- Title: Simple Graph Condensation
- Title(参考訳): 簡単なグラフ凝縮
- Authors: Zhenbang Xiao, Yu Wang, Shunyu Liu, Huiqiong Wang, Mingli Song, Tongya Zheng,
- Abstract要約: グラフ凝縮(Graph condensation)は、グラフニューラルネットワーク(GNN)を小さな凝縮グラフにチューニングし、大規模なオリジナルグラフで使用する。
既存の手法は主に、GNNの勾配、分布、軌跡など、凝縮グラフと原グラフの間のキーメトリックの整合に重点を置いている。
本稿では,GNNから受け継いだ不要な複雑性を低減することを目的とした,グラフ凝縮における計量アライメントの簡易化手法を提案する。
- 参考スコア(独自算出の注目度): 30.85754566420301
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The burdensome training costs on large-scale graphs have aroused significant interest in graph condensation, which involves tuning Graph Neural Networks (GNNs) on a small condensed graph for use on the large-scale original graph. Existing methods primarily focus on aligning key metrics between the condensed and original graphs, such as gradients, distribution and trajectory of GNNs, yielding satisfactory performance on downstream tasks. However, these complex metrics necessitate intricate computations and can potentially disrupt the optimization process of the condensation graph, making the condensation process highly demanding and unstable. Motivated by the recent success of simplified models in various fields, we propose a simplified approach to metric alignment in graph condensation, aiming to reduce unnecessary complexity inherited from GNNs. In our approach, we eliminate external parameters and exclusively retain the target condensed graph during the condensation process. Following the hierarchical aggregation principles of GNNs, we introduce the Simple Graph Condensation (SimGC) framework, which aligns the condensed graph with the original graph from the input layer to the prediction layer, guided by a pre-trained Simple Graph Convolution (SGC) model on the original graph. As a result, both graphs possess the similar capability to train GNNs. This straightforward yet effective strategy achieves a significant speedup of up to 10 times compared to existing graph condensation methods while performing on par with state-of-the-art baselines. Comprehensive experiments conducted on seven benchmark datasets demonstrate the effectiveness of SimGC in prediction accuracy, condensation time, and generalization capability. Our code will be made publicly available.
- Abstract(参考訳): 大規模グラフに対する負担のかかるトレーニングコストは,グラフ凝縮に対する大きな関心を喚起し,グラフニューラルネットワーク(GNN)を大規模オリジナルグラフで使用する小さな凝縮グラフにチューニングする。
既存の手法は主に、GNNの勾配、分布、軌道など、凝縮したグラフと元のグラフの間のキーメトリックの整合に重点を置いており、下流のタスクで十分なパフォーマンスが得られる。
しかし、これらの複雑なメトリクスは複雑な計算を必要とし、凝縮グラフの最適化プロセスを妨害し、凝縮過程を非常に要求され不安定にする可能性がある。
近年,様々な分野において単純化されたモデルが成功し,GNNから受け継いだ不要な複雑性を低減すべく,グラフ凝縮における計量アライメントの簡易化手法を提案する。
提案手法では, 外部パラメータを排除し, 凝縮過程において対象の凝縮グラフを排他的に保持する。
本稿では,GNN の階層的集約の原則に従い,SimGC (Simple Graph Condensation) フレームワークを導入する。このフレームワークは,コンデンスされたグラフを,入力層から予測層までの原グラフと整列し,前訓練されたSGC (Simple Graph Convolution) モデルで導出する。
その結果、両方のグラフはGNNをトレーニングするのと同じ能力を持っている。
この単純で効果的な戦略は、最先端のベースラインに匹敵する性能を保ちながら、既存のグラフ凝縮法と比較して最大10倍のスピードアップを達成する。
7つのベンチマークデータセットで実施された総合的な実験は、予測精度、凝縮時間、一般化能力におけるSimGCの有効性を示す。
私たちのコードは公開されます。
関連論文リスト
- Federated Graph Condensation with Information Bottleneck Principles [5.290256742148535]
グラフニューラルネットワーク(GNN)におけるフェデレーショングラフ凝縮の新しい問題を提案し,研究する。
グラフ凝縮の典型的な勾配マッチングプロセスをクライアント側勾配計算とサーバ側勾配マッチングに分離する。
私たちのフレームワークは、トレーニング中のメンバシップのプライバシを一貫して保護することができます。
論文 参考訳(メタデータ) (2024-05-07T00:08:15Z) - Navigating Complexity: Toward Lossless Graph Condensation via Expanding
Window Matching [27.43633143386734]
グラフ凝縮は、コンパクトなグラフデータセットを合成することで、大規模グラフデータセットのサイズを減らすことを目的としている。
既存の手法では、特定のデータセットの元のグラフを正確に複製することができないことが多い。
本稿では,これまで無視されていた監視信号をブリッジすることで,無テクトトロスグラフの凝縮化に向けた最初の試みを行う。
論文 参考訳(メタデータ) (2024-02-07T16:32:02Z) - Two Trades is not Baffled: Condensing Graph via Crafting Rational
Gradient Matching [51.974926782636985]
大規模グラフの学習はグラフ表現学習において顕著な成果を上げてきたが、そのコストと記憶力の増大が懸念されている。
そこで我々は,textbfCraftextbfTing textbfRationatextbf (textbfCTRL) という新しいグラフ手法を提案する。
論文 参考訳(メタデータ) (2024-02-07T14:49:10Z) - Graph Condensation via Eigenbasis Matching [48.99164820872498]
グラフ凝縮は、実際の大きなグラフをはるかに小さな合成グラフで置き換えることを目的としている。
既存のGCメソッドは、一般化が貧弱なため、同じ合成グラフ上で訓練された異なるGNNは明らかに性能差がある。
本稿では、2つの重要なステップを持つGCEMと呼ばれるスペクトルフリーグラフ凝縮に対する固有基底マッチングを提案する。
論文 参考訳(メタデータ) (2023-10-13T15:48:12Z) - Graph Condensation for Inductive Node Representation Learning [59.76374128436873]
マッピング対応グラフ凝縮法(MCond)を提案する。
MCondは、帰納的表現学習のための合成グラフに新しいノードを統合する。
Redditデータセットでは、最大121.5倍の推論スピードアップと55.9倍のストレージ要求の削減を実現している。
論文 参考訳(メタデータ) (2023-07-29T12:11:14Z) - Structure-free Graph Condensation: From Large-scale Graphs to Condensed
Graph-free Data [91.27527985415007]
既存のグラフ凝縮法は、凝縮グラフ内のノードと構造の合同最適化に依存している。
我々は、大規模グラフを小さなグラフノード集合に蒸留する、SFGCと呼ばれる新しい構造自由グラフ凝縮パラダイムを提唱する。
論文 参考訳(メタデータ) (2023-06-05T07:53:52Z) - Graph Condensation via Receptive Field Distribution Matching [61.71711656856704]
本稿では,元のグラフを表す小さなグラフの作成に焦点をあてる。
我々は、元のグラフを受容体の分布とみなし、受容体が同様の分布を持つ小さなグラフを合成することを目的としている。
論文 参考訳(メタデータ) (2022-06-28T02:10:05Z) - Optimal Propagation for Graph Neural Networks [51.08426265813481]
最適グラフ構造を学習するための二段階最適化手法を提案する。
また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
論文 参考訳(メタデータ) (2022-05-06T03:37:00Z) - Graph Condensation for Graph Neural Networks [34.4899280207043]
グラフニューラルネットワーク(GNN)におけるグラフ凝縮の問題点について検討する。
我々は、この大きなオリジナルグラフを、小さく、合成され、高度にインフォームティブなグラフに凝縮することを目指している。
私たちはオリジナルのテスト精度をRedditで95.3%、Flickrで99.8%、Citeseerで99.0%と近似することができる。
論文 参考訳(メタデータ) (2021-10-14T17:42:14Z) - Self-Constructing Graph Convolutional Networks for Semantic Labeling [23.623276007011373]
本稿では,学習可能な潜伏変数を用いて埋め込みを生成する自己構築グラフ(SCG)を提案する。
SCGは、空中画像中の複雑な形状の物体から、最適化された非局所的なコンテキストグラフを自動的に取得することができる。
本稿では,ISPRS Vaihingen データセット上で提案した SCG の有効性と柔軟性を示す。
論文 参考訳(メタデータ) (2020-03-15T21:55:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。