論文の概要: Disentangled Condensation for Large-scale Graphs
- arxiv url: http://arxiv.org/abs/2401.12231v1
- Date: Thu, 18 Jan 2024 09:59:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-28 15:42:26.489797
- Title: Disentangled Condensation for Large-scale Graphs
- Title(参考訳): 大規模グラフに対する遠絡縮合
- Authors: Zhenbang Xiao, Shunyu Liu, Yu Wang, Tongya Zheng, Mingli Song
- Abstract要約: 本稿では,異なるサイズのグラフに対してスケーラブルなグラフ凝縮を実現するために,大規模グラフに対する分散凝縮(Disentangled Condensation)を提案する。
DisCoは1億以上のノードと10億のエッジを持つogbn-papers100Mグラフに、フレキシブルな削減レートでスケールアップすることができる。
- 参考スコア(独自算出の注目度): 34.0968917267551
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph condensation has emerged as an intriguing technique to provide Graph
Neural Networks for large-scale graphs with a more compact yet informative
small graph to save the expensive costs of large-scale graph learning. Despite
the promising results achieved, previous graph condensation methods often
employ an entangled condensation strategy that involves condensing nodes and
edges simultaneously, leading to substantial GPU memory demands. This entangled
strategy has considerably impeded the scalability of graph condensation,
impairing its capability to condense extremely large-scale graphs and produce
condensed graphs with high fidelity. Therefore, this paper presents
Disentangled Condensation for large-scale graphs, abbreviated as DisCo, to
provide scalable graph condensation for graphs of varying sizes. At the heart
of DisCo are two complementary components, namely node and edge condensation
modules, that realize the condensation of nodes and edges in a disentangled
manner. In the node condensation module, we focus on synthesizing condensed
nodes that exhibit a similar node feature distribution to original nodes using
a pre-trained node classification model while incorporating class centroid
alignment and anchor attachment regularizers. After node condensation, in the
edge condensation module, we preserve the topology structure by transferring
the link prediction model of the original graph to the condensed nodes,
generating the corresponding condensed edges. Based on the disentangled
strategy, the proposed DisCo can successfully scale up to the ogbn-papers100M
graph with over 100 million nodes and 1 billion edges with flexible reduction
rates. Extensive experiments on five common datasets further demonstrate that
the proposed DisCo yields results superior to state-of-the-art counterparts by
a significant margin. The source code is available at
https://github.com/BangHonor/DisCo.
- Abstract(参考訳): グラフの凝縮は、グラフ学習のコストを抑えるために、よりコンパクトで情報性の高い小さなグラフでグラフニューラルネットワークを大規模グラフに提供するための興味深い技術として登場した。
有望な結果が得られたにもかかわらず、従来のグラフ凝縮法は、ノードとエッジを同時に凝縮することを伴う絡み合った凝縮戦略を用いることが多い。
この絡み合った戦略はグラフ凝縮のスケーラビリティを著しく阻害し、非常に大規模なグラフを凝縮し、忠実度の高い凝縮グラフを生成する能力が損なわれた。
そこで本稿では,DisCoと略される大規模グラフに対するDistangled Condensationを提案し,様々なサイズのグラフに対してスケーラブルなグラフ凝縮を提供する。
discoの中心には、ノードとエッジの凝縮を実現するノードとエッジの凝縮モジュールという、2つの補完的なコンポーネントがある。
ノード凝縮モジュールでは,プリトレーニングされたノード分類モデルを用いて,元のノードに類似したノード特徴分布を示す凝縮ノードを合成し,クラスセントロイドアライメントとアンカーアタッチ正規化器を組み込む。
ノード凝縮後、エッジ凝縮モジュールにおいて、元のグラフのリンク予測モデルを凝縮ノードに転送し、対応する凝縮エッジを生成することによりトポロジ構造を保存する。
この戦略に基づいて、提案されているディスコは1億以上のノードと10億のエッジを持つogbn-papers100mグラフに柔軟にスケールできる。
5つの共通のデータセットに対する大規模な実験により、提案されたDisCoは、最先端のデータセットよりも大きなマージンで結果を得ることを示した。
ソースコードはhttps://github.com/BangHonor/DisCo.comで入手できる。
関連論文リスト
- Graph Data Condensation via Self-expressive Graph Structure
Reconstruction [8.375961549352645]
グラフデータの凝縮は、トレーニングフェーズにおけるストレージと時間コストを軽減するための重要なテクニックである。
我々は textbfSelf-presentive Graph Structure textbfReconstruction による textbfGraph Data textbfCondensation という新しいフレームワークを紹介した。
論文 参考訳(メタデータ) (2024-03-12T03:54:25Z) - Navigating Complexity: Toward Lossless Graph Condensation via Expanding
Window Matching [27.43633143386734]
グラフ凝縮は、コンパクトなグラフデータセットを合成することで、大規模グラフデータセットのサイズを減らすことを目的としている。
既存の手法では、特定のデータセットの元のグラフを正確に複製することができないことが多い。
本稿では,これまで無視されていた監視信号をブリッジすることで,無テクトトロスグラフの凝縮化に向けた最初の試みを行う。
論文 参考訳(メタデータ) (2024-02-07T16:32:02Z) - Two Trades is not Baffled: Condensing Graph via Crafting Rational
Gradient Matching [51.974926782636985]
大規模グラフの学習はグラフ表現学習において顕著な成果を上げてきたが、そのコストと記憶力の増大が懸念されている。
そこで我々は,textbfCraftextbfTing textbfRationatextbf (textbfCTRL) という新しいグラフ手法を提案する。
論文 参考訳(メタデータ) (2024-02-07T14:49:10Z) - PUMA: Efficient Continual Graph Learning with Graph Condensation [52.5795409793467]
連続グラフ学習は、静的グラフからストリーミンググラフへのグラフ表現学習を可能にする新しいパラダイムである。
これまでの作業であるCaTは、バランスの取れた継続的な学習手順を備えたリプレイベースのフレームワークです。
本稿では,その効率性と有効性を高めるため,pusdo-label guided memory bank (PUMA) フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T05:09:58Z) - Graph Condensation for Inductive Node Representation Learning [59.76374128436873]
マッピング対応グラフ凝縮法(MCond)を提案する。
MCondは、帰納的表現学習のための合成グラフに新しいノードを統合する。
Redditデータセットでは、最大121.5倍の推論スピードアップと55.9倍のストレージ要求の削減を実現している。
論文 参考訳(メタデータ) (2023-07-29T12:11:14Z) - Structure-free Graph Condensation: From Large-scale Graphs to Condensed
Graph-free Data [91.27527985415007]
既存のグラフ凝縮法は、凝縮グラフ内のノードと構造の合同最適化に依存している。
我々は、大規模グラフを小さなグラフノード集合に蒸留する、SFGCと呼ばれる新しい構造自由グラフ凝縮パラダイムを提唱する。
論文 参考訳(メタデータ) (2023-06-05T07:53:52Z) - Edge but not Least: Cross-View Graph Pooling [76.71497833616024]
本稿では,重要なグラフ構造情報を活用するために,クロスビューグラフプーリング(Co-Pooling)手法を提案する。
クロスビュー相互作用、エッジビュープーリング、ノードビュープーリングにより、相互にシームレスに強化され、より情報的なグラフレベルの表現が学習される。
論文 参考訳(メタデータ) (2021-09-24T08:01:23Z) - Graph Pooling with Node Proximity for Hierarchical Representation
Learning [80.62181998314547]
本稿では,ノード近接を利用したグラフプーリング手法を提案し,そのマルチホップトポロジを用いたグラフデータの階層的表現学習を改善する。
その結果,提案したグラフプーリング戦略は,公開グラフ分類ベンチマークデータセットの集合において,最先端のパフォーマンスを達成できることが示唆された。
論文 参考訳(メタデータ) (2020-06-19T13:09:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。