論文の概要: Does Graph Distillation See Like Vision Dataset Counterpart?
- arxiv url: http://arxiv.org/abs/2310.09192v1
- Date: Fri, 13 Oct 2023 15:36:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-16 12:20:34.064526
- Title: Does Graph Distillation See Like Vision Dataset Counterpart?
- Title(参考訳): グラフ蒸留はビジョンデータセットと同等に見えるか?
- Authors: Beining Yang, Kai Wang, Qingyun Sun, Cheng Ji, Xingcheng Fu, Hao Tang,
Yang You, Jianxin Li
- Abstract要約: 本稿では,従来の構造情報を合成データにブロードキャストするSGDD(Structure-Broadcasting Graph dataset Distillation)方式を提案する。
9つのデータセットにまたがって提案したSGDDを検証する。
- 参考スコア(独自算出の注目度): 26.530765707382457
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training on large-scale graphs has achieved remarkable results in graph
representation learning, but its cost and storage have attracted increasing
concerns. Existing graph condensation methods primarily focus on optimizing the
feature matrices of condensed graphs while overlooking the impact of the
structure information from the original graphs. To investigate the impact of
the structure information, we conduct analysis from the spectral domain and
empirically identify substantial Laplacian Energy Distribution (LED) shifts in
previous works. Such shifts lead to poor performance in cross-architecture
generalization and specific tasks, including anomaly detection and link
prediction. In this paper, we propose a novel Structure-broadcasting Graph
Dataset Distillation (SGDD) scheme for broadcasting the original structure
information to the generation of the synthetic one, which explicitly prevents
overlooking the original structure information. Theoretically, the synthetic
graphs by SGDD are expected to have smaller LED shifts than previous works,
leading to superior performance in both cross-architecture settings and
specific tasks. We validate the proposed SGDD across 9 datasets and achieve
state-of-the-art results on all of them: for example, on the YelpChi dataset,
our approach maintains 98.6% test accuracy of training on the original graph
dataset with 1,000 times saving on the scale of the graph. Moreover, we
empirically evaluate there exist 17.6% ~ 31.4% reductions in LED shift crossing
9 datasets. Extensive experiments and analysis verify the effectiveness and
necessity of the proposed designs. The code is available in the GitHub
repository: https://github.com/RingBDStack/SGDD.
- Abstract(参考訳): 大規模グラフのトレーニングはグラフ表現学習で目覚ましい成果を上げているが、そのコストとストレージはますます関心を集めている。
既存のグラフ凝縮法は主に、元のグラフから構造情報の影響を見越しながら、縮合グラフの特徴行列を最適化することに焦点を当てている。
構造情報の影響を調べるために,スペクトル領域の解析を行い,過去の研究におけるラプラシアンエネルギー分布(led)の変化を実証的に同定する。
このようなシフトは、アーキテクチャ全体の一般化や、異常検出やリンク予測を含む特定のタスクのパフォーマンス低下につながる。
本稿では, 合成データの生成に元の構造情報をブロードキャストする新しい構造ブロードキャストグラフデータセット蒸留(sgdd)方式を提案する。
理論的には、SGDDによる合成グラフは、以前のものよりも小さなLEDシフトを持つことが期待され、アーキテクチャ間設定と特定のタスクの両方において優れたパフォーマンスをもたらす。
提案したSGDDを9つのデータセットにまたがって検証し、YelpChiデータセットのように、グラフのスケールに1000倍の節約が可能な元のグラフデータセット上でのトレーニングの精度を98.6%維持する。
さらに,9つのデータセットを横断するledシフトの17.6%から31.4%の削減が存在することを実証的に評価した。
大規模な実験と分析により提案した設計の有効性と必要性が検証された。
コードはgithubリポジトリで入手できる。 https://github.com/ringbdstack/sgdd。
関連論文リスト
- Navigating Complexity: Toward Lossless Graph Condensation via Expanding
Window Matching [27.43633143386734]
グラフ凝縮は、コンパクトなグラフデータセットを合成することで、大規模グラフデータセットのサイズを減らすことを目的としている。
既存の手法では、特定のデータセットの元のグラフを正確に複製することができないことが多い。
本稿では,これまで無視されていた監視信号をブリッジすることで,無テクトトロスグラフの凝縮化に向けた最初の試みを行う。
論文 参考訳(メタデータ) (2024-02-07T16:32:02Z) - Deep Manifold Graph Auto-Encoder for Attributed Graph Embedding [51.75091298017941]
本稿では,属性付きグラフデータに対する新しいDeep Manifold (Variational) Graph Auto-Encoder (DMVGAE/DMGAE)を提案する。
提案手法は,最先端のベースラインアルゴリズムを,一般的なデータセット間でのダウンストリームタスクの差を大きく越える。
論文 参考訳(メタデータ) (2024-01-12T17:57:07Z) - Fast Graph Condensation with Structure-based Neural Tangent Kernel [30.098666399404287]
グラフ構造化データのための新しいデータセット凝縮フレームワーク(GC-SNTK)を提案する。
構造ベースのニューラルタンジェントカーネル(SNTK)はグラフのトポロジを捉えるために開発され、KRRパラダイムのカーネル関数として機能する。
高い予測性能を維持しつつ,グラフ凝縮の高速化における提案モデルの有効性を示す実験を行った。
論文 参考訳(メタデータ) (2023-10-17T07:25:59Z) - Challenging the Myth of Graph Collaborative Filtering: a Reasoned and
Reproducibility-driven Analysis [69.46993865095247]
本稿では,6つの人気グラフと最近のグラフ推薦モデルの結果を再現するコードを提案する。
これらのグラフモデルと従来の協調フィルタリングモデルを比較する。
ユーザの近所からの情報フローを調べることにより,データセット構造における内在的特徴にどのようなモデルが影響するかを同定することを目的とする。
論文 参考訳(メタデータ) (2023-08-01T09:31:44Z) - ENGAGE: Explanation Guided Data Augmentation for Graph Representation
Learning [34.23920789327245]
本稿では,グラフのキー部分を保存するために,コントラスト的な拡張過程を導出するENGAGEを提案する。
また、構造情報と特徴情報を摂動するグラフ上に2つのデータ拡張スキームを設計する。
論文 参考訳(メタデータ) (2023-07-03T14:33:14Z) - Sparsity exploitation via discovering graphical models in multi-variate
time-series forecasting [1.2762298148425795]
本稿では,グラフ生成モジュールとGNN予測モジュールを含む分離学習手法を提案する。
まず、Graphical Lasso(またはGraphLASSO)を使用して、データから空間パターンを直接利用してグラフ構造を構築します。
次に、これらのグラフ構造と入力データをGCRN(Graph Convolutional Recurrent Network)に適合させて予測モデルをトレーニングする。
論文 参考訳(メタデータ) (2023-06-29T16:48:00Z) - Spectral Augmentations for Graph Contrastive Learning [50.149996923976836]
コントラスト学習は、監督の有無にかかわらず、表現を学習するための第一の方法として現れてきた。
近年の研究では、グラフ表現学習における事前学習の有用性が示されている。
本稿では,グラフの対照的な目的に対する拡張を構築する際に,候補のバンクを提供するためのグラフ変換操作を提案する。
論文 参考訳(メタデータ) (2023-02-06T16:26:29Z) - GraphCoCo: Graph Complementary Contrastive Learning [65.89743197355722]
グラフコントラスト学習(GCL)は、手作業によるアノテーションの監督なしに、グラフ表現学習(GRL)において有望な性能を示した。
本稿では,この課題に対処するため,グラフココというグラフ補完型コントラスト学習手法を提案する。
論文 参考訳(メタデータ) (2022-03-24T02:58:36Z) - Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。
FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
論文 参考訳(メタデータ) (2020-10-19T21:51:47Z) - Heuristic Semi-Supervised Learning for Graph Generation Inspired by
Electoral College [80.67842220664231]
本稿では,新たなノードやエッジを自動的に拡張して,高密度サブグラフ内のラベル類似性を向上する,新しい前処理手法であるElectoral College(ELCO)を提案する。
テストされたすべての設定において、我々の手法はベースモデルの平均スコアを4.7ポイントの広いマージンで引き上げるとともに、常に最先端のモデルよりも優れています。
論文 参考訳(メタデータ) (2020-06-10T14:48:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。