論文の概要: Attend Who is Weak: Enhancing Graph Condensation via Cross-Free Adversarial Training

• arxiv url: http://arxiv.org/abs/2311.15772v1
• Date: Mon, 27 Nov 2023 12:44:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 15:34:10.731241
• Title: Attend Who is Weak: Enhancing Graph Condensation via Cross-Free Adversarial Training
• Title（参考訳）: 弱者:クロス・フリーの対人訓練によるグラフ凝縮の促進
• Authors: Xinglin Li, Kun Wang, Hanhui Deng, Yuxuan Liang, Di Wu
• Abstract要約: 本研究では, 大規模複雑なグラフを簡潔な合成表現に圧縮することにより, テキストの凝縮問題について検討する。 我々は、原グラフの堅牢性と安定性を高めるショック・アブソーバーの概念を半々提案する。 一般的な対人訓練と比較して,本手法は時間効率をほぼ4倍に向上させる。
• 参考スコア（独自算出の注目度）: 17.120450491670017
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we study the \textit{graph condensation} problem by compressing the large, complex graph into a concise, synthetic representation that preserves the most essential and discriminative information of structure and features. We seminally propose the concept of Shock Absorber (a type of perturbation) that enhances the robustness and stability of the original graphs against changes in an adversarial training fashion. Concretely, (I) we forcibly match the gradients between pre-selected graph neural networks (GNNs) trained on a synthetic, simplified graph and the original training graph at regularly spaced intervals. (II) Before each update synthetic graph point, a Shock Absorber serves as a gradient attacker to maximize the distance between the synthetic dataset and the original graph by selectively perturbing the parts that are underrepresented or insufficiently informative. We iteratively repeat the above two processes (I and II) in an adversarial training fashion to maintain the highly-informative context without losing correlation with the original dataset. More importantly, our shock absorber and the synthesized graph parallelly share the backward process in a free training manner. Compared to the original adversarial training, it introduces almost no additional time overhead. We validate our framework across 8 datasets (3 graph and 5 node classification datasets) and achieve prominent results: for example, on Cora, Citeseer and Ogbn-Arxiv, we can gain nearly 1.13% to 5.03% improvements compare with SOTA models. Moreover, our algorithm adds only about 0.2% to 2.2% additional time overhead over Flicker, Citeseer and Ogbn-Arxiv. Compared to the general adversarial training, our approach improves time efficiency by nearly 4-fold.
• Abstract（参考訳）: 本稿では,大規模で複雑なグラフを簡潔な合成表現に圧縮し,構造と特徴の最も本質的かつ判別的な情報を保存することによる, \textit{graph condensation}問題の研究を行う。 我々は, 対向訓練法の変化に対して, 元のグラフのロバスト性と安定性を高める衝撃吸収器(摂動の一種)の概念を半々的に提案する。 具体的には,合成・単純化グラフ上で訓練された事前選択されたグラフニューラルネットワーク(gnns)と,間隔の間隔が一定である元のトレーニンググラフとの勾配を強制的に一致させる。 (II) 衝撃吸収器は、各更新合成グラフポイントに先立って勾配攻撃として機能し、合成データセットと元のグラフとの距離を最大化し、表現不足または不十分な部分の摂動を選択的に行う。 我々は、上記の2つのプロセス(I,II)を、元のデータセットとの相関を損なうことなく、高度に非形式的なコンテキストを維持するために繰り返し繰り返す。 さらに重要なことに, 衝撃吸収剤と合成グラフは, 後方過程を自由訓練方法で並列に共有する。 元々の敵の訓練と比べて、ほとんど追加の時間的オーバーヘッドは発生しない。 例えば、cora、citeseer、ogbn-arxivでは、sataモデルと比較して1.13%から5.5%近く改善できます。 さらに、我々のアルゴリズムはFlicker, Citeseer, Ogbn-Arxivに対して、わずか0.2%から2.2%の時間オーバーヘッドを追加する。 一般的な敵意訓練と比較して,我々のアプローチは時間効率を約4倍向上させる。

関連論文リスト

• Uncovering Capabilities of Model Pruning in Graph Contrastive Learning [0.0]
  我々は、拡張ビューではなく、異なるモデルバージョンを対比することで、グラフのコントラスト学習の問題を再構築する。 教師なしおよび転送学習によるグラフ分類に関する様々なベンチマークにおいて,本手法を広範囲に検証する。
  論文  参考訳（メタデータ） (2024-10-27T07:09:31Z)
• Graph Data Condensation via Self-expressive Graph Structure Reconstruction [7.4525875528900665]
  我々は textbfSelf-presentive Graph Structure textbfReconstruction による textbfGraph Data textbfCondensation という新しいフレームワークを紹介した。 提案手法は,元のグラフ構造を凝縮過程に明示的に組み込んで,凝縮ノード間の不規則な相互依存性を捕捉する。
  論文  参考訳（メタデータ） (2024-03-12T03:54:25Z)
• Two Trades is not Baffled: Condensing Graph via Crafting Rational Gradient Matching [50.30124426442228]
  大規模グラフの学習はグラフ表現学習において顕著な成果を上げてきたが、そのコストと記憶力の増大が懸念されている。 そこで我々は,textbfCraftextbfTing textbfRationatextbf (textbfCTRL) という新しいグラフ手法を提案する。
  論文  参考訳（メタデータ） (2024-02-07T14:49:10Z)
• PUMA: Efficient Continual Graph Learning for Node Classification with Graph Condensation [49.00940417190911]
  既存のグラフ表現学習モデルは、新しいグラフを学習する際に破滅的な問題に遭遇する。 本稿では,PUMA(PUdo-label guided Memory bAnkrogation)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T05:09:58Z)
• Structure-free Graph Condensation: From Large-scale Graphs to Condensed Graph-free Data [91.27527985415007]
  既存のグラフ凝縮法は、凝縮グラフ内のノードと構造の合同最適化に依存している。 我々は、大規模グラフを小さなグラフノード集合に蒸留する、SFGCと呼ばれる新しい構造自由グラフ凝縮パラダイムを提唱する。
  論文  参考訳（メタデータ） (2023-06-05T07:53:52Z)
• Localized Contrastive Learning on Graphs [110.54606263711385]
  局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。 その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
  論文  参考訳（メタデータ） (2022-12-08T23:36:00Z)
• ARIEL: Adversarial Graph Contrastive Learning [51.14695794459399]
  ARIELは、ノードレベルとグラフレベルの両方の分類タスクにおいて、現在のグラフコントラスト学習法よりも一貫して優れている。 ARIELは敵の攻撃に対してより堅牢である。
  論文  参考訳（メタデータ） (2022-08-15T01:24:42Z)
• Condensing Graphs via One-Step Gradient Matching [50.07587238142548]
  ネットワーク重みを訓練せずに1ステップのみの勾配マッチングを行う1ステップ勾配マッチング方式を提案する。 我々の理論的分析は、この戦略が実際のグラフの分類損失を減少させる合成グラフを生成することができることを示している。 特に、元のパフォーマンスの最大98%を近似しながら、データセットサイズを90%削減することが可能です。
  論文  参考訳（メタデータ） (2022-06-15T18:20:01Z)
• Optimal Propagation for Graph Neural Networks [51.08426265813481]
  最適グラフ構造を学習するための二段階最適化手法を提案する。 また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
  論文  参考訳（メタデータ） (2022-05-06T03:37:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。