論文の概要: Graph Distillation with Eigenbasis Matching

• arxiv url: http://arxiv.org/abs/2310.09202v2
• Date: Tue, 14 May 2024 17:12:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-15 19:40:47.042696
• Title: Graph Distillation with Eigenbasis Matching
• Title（参考訳）: 固有基底マッチングによるグラフ蒸留
• Authors: Yang Liu, Deyu Bo, Chuan Shi,
• Abstract要約: 実グラフの代わりに固有基底マッチング(GDEM)を用いたグラフ蒸留を提案する。 GDEMは実グラフと合成グラフの固有基底とノード特徴を整列する。 実グラフのスペクトルを直接再現することで、GNNの影響を防止できる。
• 参考スコア（独自算出の注目度）: 43.59076214528843
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The increasing amount of graph data places requirements on the efficient training of graph neural networks (GNNs). The emerging graph distillation (GD) tackles this challenge by distilling a small synthetic graph to replace the real large graph, ensuring GNNs trained on real and synthetic graphs exhibit comparable performance. However, existing methods rely on GNN-related information as supervision, including gradients, representations, and trajectories, which have two limitations. First, GNNs can affect the spectrum (i.e., eigenvalues) of the real graph, causing spectrum bias in the synthetic graph. Second, the variety of GNN architectures leads to the creation of different synthetic graphs, requiring traversal to obtain optimal performance. To tackle these issues, we propose Graph Distillation with Eigenbasis Matching (GDEM), which aligns the eigenbasis and node features of real and synthetic graphs. Meanwhile, it directly replicates the spectrum of the real graph and thus prevents the influence of GNNs. Moreover, we design a discrimination constraint to balance the effectiveness and generalization of GDEM. Theoretically, the synthetic graphs distilled by GDEM are restricted spectral approximations of the real graphs. Extensive experiments demonstrate that GDEM outperforms state-of-the-art GD methods with powerful cross-architecture generalization ability and significant distillation efficiency. Our code is available at https://github.com/liuyang-tian/GDEM.
• Abstract（参考訳）: グラフデータの増加は、グラフニューラルネットワーク(GNN)の効率的なトレーニングの要件を定めている。 新たなグラフ蒸留(GD)は、実際の大きなグラフを置き換えるために小さな合成グラフを蒸留し、実際のグラフと合成グラフで訓練されたGNNが同等の性能を示すことを保証することによって、この課題に対処する。 しかし、既存の手法では2つの制限がある勾配、表現、軌跡を含むGNN関連情報を監督に頼っている。 まず、GNNは実グラフのスペクトル(すなわち固有値)に影響を与え、合成グラフのスペクトルバイアスを引き起こす。 第2に、GNNアーキテクチャの多様性により、異なる合成グラフが作成され、最適性能を得るためにはトラバーサルが必要である。 これらの問題に対処するために、実グラフと合成グラフの固有ベイジとノードの特徴を整合させるグラフ蒸留と固有ベイジマッチング(GDEM)を提案する。 一方、実際のグラフのスペクトルを直接複製することで、GNNの影響を防止できる。 さらに,GDEMの有効性と一般化のバランスをとるために,識別制約を設計する。 理論的には、GDEMによって蒸留された合成グラフは実グラフのスペクトル近似に制限される。 大規模な実験により、GDEMは強力なクロスアーキテクチャ一般化能力と蒸留効率で最先端のGD法より優れていることが示された。 私たちのコードはhttps://github.com/liuyang-tian/GDEMで公開されています。

関連論文リスト

• Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
  ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる 本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。 我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
  論文  参考訳（メタデータ） (2024-05-27T17:52:12Z)
• A Spectral Analysis of Graph Neural Networks on Dense and Sparse Graphs [13.954735096637298]
  そこで我々は,グラフスペクトルの空間分布がグラフスペクトルに与える影響を解析し,グラフニューラルネットワーク(GNN)の高密度グラフとスパースグラフのノード分類における性能について検討した。 GNNはスパースグラフのスペクトル法よりも優れており、これらの結果を合成グラフと実グラフの両方で数値例で示すことができる。
  論文  参考訳（メタデータ） (2022-11-06T22:38:13Z)
• Make Heterophily Graphs Better Fit GNN: A Graph Rewiring Approach [43.41163711340362]
  本稿では, ヘテロフィリーグラフリワイアリング(Deep Heterophily Graph Rewiring, DHGR)という手法を提案する。 我々の知る限りでは、ヘテロフィリーグラフに対するグラフ再構成を研究する最初の研究である。
  論文  参考訳（メタデータ） (2022-09-17T06:55:21Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• Evaluating Explainability for Graph Neural Networks [21.339111121529815]
  本稿では,様々なベンチマークデータセットを生成することができる合成グラフデータ生成器ShapeGGenを紹介する。 ShapeGGenといくつかの実世界のグラフデータセットを、オープンソースのグラフ説明可能性ライブラリであるGraphXAIに含めています。
  論文  参考訳（メタデータ） (2022-08-19T13:43:52Z)
• Graph Generative Model for Benchmarking Graph Neural Networks [73.11514658000547]
  本稿では,プライバシ制御により実世界のグラフの分布を学習し,再現する新しいグラフ生成モデルを提案する。 我々のモデルは、GNNモデルのベンチマークに効果的に使用できる大規模な実世界のグラフの、プライバシ制御された合成代用をうまく生成することができる。
  論文  参考訳（メタデータ） (2022-07-10T06:42:02Z)
• Graph Condensation via Receptive Field Distribution Matching [61.71711656856704]
  本稿では,元のグラフを表す小さなグラフの作成に焦点をあてる。 我々は、元のグラフを受容体の分布とみなし、受容体が同様の分布を持つ小さなグラフを合成することを目的としている。
  論文  参考訳（メタデータ） (2022-06-28T02:10:05Z)
• Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
  本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。 固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。 GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
  論文  参考訳（メタデータ） (2022-05-19T14:08:15Z)
• Adaptive Kernel Graph Neural Network [21.863238974404474]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データの表現学習において大きな成功を収めている。 本稿では,AKGNN(Adaptive Kernel Graph Neural Network)という新しいフレームワークを提案する。 AKGNNは、最初の試みで最適なグラフカーネルに統一的に適応することを学ぶ。 評価されたベンチマークデータセットで実験を行い、提案したAKGNNの優れた性能を示す有望な結果を得た。
  論文  参考訳（メタデータ） (2021-12-08T20:23:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。