論文の概要: Attend Who is Weak: Enhancing Graph Condensation via Cross-Free
Adversarial Training
- arxiv url: http://arxiv.org/abs/2311.15772v1
- Date: Mon, 27 Nov 2023 12:44:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-28 15:34:10.731241
- Title: Attend Who is Weak: Enhancing Graph Condensation via Cross-Free
Adversarial Training
- Title(参考訳): 弱者:クロス・フリーの対人訓練によるグラフ凝縮の促進
- Authors: Xinglin Li, Kun Wang, Hanhui Deng, Yuxuan Liang, Di Wu
- Abstract要約: 本研究では, 大規模複雑なグラフを簡潔な合成表現に圧縮することにより, テキストの凝縮問題について検討する。
我々は、原グラフの堅牢性と安定性を高めるショック・アブソーバーの概念を半々提案する。
一般的な対人訓練と比較して,本手法は時間効率をほぼ4倍に向上させる。
- 参考スコア(独自算出の注目度): 17.120450491670017
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we study the \textit{graph condensation} problem by
compressing the large, complex graph into a concise, synthetic representation
that preserves the most essential and discriminative information of structure
and features. We seminally propose the concept of Shock Absorber (a type of
perturbation) that enhances the robustness and stability of the original graphs
against changes in an adversarial training fashion. Concretely, (I) we forcibly
match the gradients between pre-selected graph neural networks (GNNs) trained
on a synthetic, simplified graph and the original training graph at regularly
spaced intervals. (II) Before each update synthetic graph point, a Shock
Absorber serves as a gradient attacker to maximize the distance between the
synthetic dataset and the original graph by selectively perturbing the parts
that are underrepresented or insufficiently informative. We iteratively repeat
the above two processes (I and II) in an adversarial training fashion to
maintain the highly-informative context without losing correlation with the
original dataset. More importantly, our shock absorber and the synthesized
graph parallelly share the backward process in a free training manner. Compared
to the original adversarial training, it introduces almost no additional time
overhead.
We validate our framework across 8 datasets (3 graph and 5 node
classification datasets) and achieve prominent results: for example, on Cora,
Citeseer and Ogbn-Arxiv, we can gain nearly 1.13% to 5.03% improvements compare
with SOTA models. Moreover, our algorithm adds only about 0.2% to 2.2%
additional time overhead over Flicker, Citeseer and Ogbn-Arxiv. Compared to the
general adversarial training, our approach improves time efficiency by nearly
4-fold.
- Abstract(参考訳): 本稿では,大規模で複雑なグラフを簡潔な合成表現に圧縮し,構造と特徴の最も本質的かつ判別的な情報を保存することによる, \textit{graph condensation}問題の研究を行う。
我々は, 対向訓練法の変化に対して, 元のグラフのロバスト性と安定性を高める衝撃吸収器(摂動の一種)の概念を半々的に提案する。
具体的には,合成・単純化グラフ上で訓練された事前選択されたグラフニューラルネットワーク(gnns)と,間隔の間隔が一定である元のトレーニンググラフとの勾配を強制的に一致させる。
(II)
衝撃吸収器は、各更新合成グラフポイントに先立って勾配攻撃として機能し、合成データセットと元のグラフとの距離を最大化し、表現不足または不十分な部分の摂動を選択的に行う。
我々は、上記の2つのプロセス(I,II)を、元のデータセットとの相関を損なうことなく、高度に非形式的なコンテキストを維持するために繰り返し繰り返す。
さらに重要なことに, 衝撃吸収剤と合成グラフは, 後方過程を自由訓練方法で並列に共有する。
元々の敵の訓練と比べて、ほとんど追加の時間的オーバーヘッドは発生しない。
例えば、cora、citeseer、ogbn-arxivでは、sataモデルと比較して1.13%から5.5%近く改善できます。
さらに、我々のアルゴリズムはFlicker, Citeseer, Ogbn-Arxivに対して、わずか0.2%から2.2%の時間オーバーヘッドを追加する。
一般的な敵意訓練と比較して,我々のアプローチは時間効率を約4倍向上させる。
関連論文リスト
- Graph Data Condensation via Self-expressive Graph Structure
Reconstruction [8.375961549352645]
グラフデータの凝縮は、トレーニングフェーズにおけるストレージと時間コストを軽減するための重要なテクニックである。
我々は textbfSelf-presentive Graph Structure textbfReconstruction による textbfGraph Data textbfCondensation という新しいフレームワークを紹介した。
論文 参考訳(メタデータ) (2024-03-12T03:54:25Z) - Two Trades is not Baffled: Condensing Graph via Crafting Rational
Gradient Matching [51.974926782636985]
大規模グラフの学習はグラフ表現学習において顕著な成果を上げてきたが、そのコストと記憶力の増大が懸念されている。
そこで我々は,textbfCraftextbfTing textbfRationatextbf (textbfCTRL) という新しいグラフ手法を提案する。
論文 参考訳(メタデータ) (2024-02-07T14:49:10Z) - PUMA: Efficient Continual Graph Learning with Graph Condensation [52.5795409793467]
連続グラフ学習は、静的グラフからストリーミンググラフへのグラフ表現学習を可能にする新しいパラダイムである。
これまでの作業であるCaTは、バランスの取れた継続的な学習手順を備えたリプレイベースのフレームワークです。
本稿では,その効率性と有効性を高めるため,pusdo-label guided memory bank (PUMA) フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T05:09:58Z) - Contrastive Learning for Non-Local Graphs with Multi-Resolution
Structural Views [1.4445779250002606]
本稿では,グラフ上の拡散フィルタを統合する新しい多視点コントラスト学習手法を提案する。
複数のグラフビューを拡張として組み込むことで、異種グラフの構造的等価性を捉える。
論文 参考訳(メタデータ) (2023-08-19T17:42:02Z) - Structure-free Graph Condensation: From Large-scale Graphs to Condensed
Graph-free Data [91.27527985415007]
既存のグラフ凝縮法は、凝縮グラフ内のノードと構造の合同最適化に依存している。
我々は、大規模グラフを小さなグラフノード集合に蒸留する、SFGCと呼ばれる新しい構造自由グラフ凝縮パラダイムを提唱する。
論文 参考訳(メタデータ) (2023-06-05T07:53:52Z) - Localized Contrastive Learning on Graphs [110.54606263711385]
局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。
その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
論文 参考訳(メタデータ) (2022-12-08T23:36:00Z) - ARIEL: Adversarial Graph Contrastive Learning [51.14695794459399]
ARIELは、ノードレベルとグラフレベルの両方の分類タスクにおいて、現在のグラフコントラスト学習法よりも一貫して優れている。
ARIELは敵の攻撃に対してより堅牢である。
論文 参考訳(メタデータ) (2022-08-15T01:24:42Z) - Optimal Propagation for Graph Neural Networks [51.08426265813481]
最適グラフ構造を学習するための二段階最適化手法を提案する。
また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
論文 参考訳(メタデータ) (2022-05-06T03:37:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。