論文の概要: GSTAM: Efficient Graph Distillation with Structural Attention-Matching

• arxiv url: http://arxiv.org/abs/2408.16871v1
• Date: Thu, 29 Aug 2024 19:40:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-02 17:08:59.117620
• Title: GSTAM: Efficient Graph Distillation with Structural Attention-Matching
• Title（参考訳）: GSTAM: 構造的アテンションマッチングによるグラフ蒸留の効率化
• Authors: Arash Rasti-Meymandi, Ahmad Sajedi, Zhaopan Xu, Konstantinos N. Plataniotis,
• Abstract要約: 本稿では,グラフ分類データセットを凝縮する新しい手法であるGSTAM(Graph Distillation with Structure Attention Matching)を紹介する。 GSTAMは、GNNの注意マップを利用して、元のデータセットから合成グラフに構造情報を抽出する。 総合的な実験では、GSTAMは既存の方法よりも優れており、極端な凝縮比では0.45%から6.5%の性能が向上している。
• 参考スコア（独自算出の注目度）: 13.673737442696154
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Graph distillation has emerged as a solution for reducing large graph datasets to smaller, more manageable, and informative ones. Existing methods primarily target node classification, involve computationally intensive processes, and fail to capture the true distribution of the full graph dataset. To address these issues, we introduce Graph Distillation with Structural Attention Matching (GSTAM), a novel method for condensing graph classification datasets. GSTAM leverages the attention maps of GNNs to distill structural information from the original dataset into synthetic graphs. The structural attention-matching mechanism exploits the areas of the input graph that GNNs prioritize for classification, effectively distilling such information into the synthetic graphs and improving overall distillation performance. Comprehensive experiments demonstrate GSTAM's superiority over existing methods, achieving 0.45% to 6.5% better performance in extreme condensation ratios, highlighting its potential use in advancing distillation for graph classification tasks (Code available at https://github.com/arashrasti96/GSTAM).
• Abstract（参考訳）: グラフ蒸留は、大規模なグラフデータセットをより小さく、より管理しやすく、情報的なものに還元するソリューションとして登場した。 既存の手法は主にノード分類を対象とし、計算集約的な処理を伴い、完全なグラフデータセットの真の分布を捉えることができない。 これらの問題に対処するために,グラフ分類データセットを凝縮する新しい手法であるGSTAM(Graph Distillation with Structure Attention Matching)を導入する。 GSTAMは、GNNの注意マップを利用して、元のデータセットから合成グラフに構造情報を抽出する。 構造的注意マッチング機構は、GNNが分類に優先する入力グラフの領域を利用して、これらの情報を合成グラフに効果的に蒸留し、全体的な蒸留性能を向上させる。 総合的な実験は、GSTAMが既存の方法よりも優れていることを示し、極端な凝縮率で0.45%から6.5%向上し、グラフ分類タスクの蒸留を推し進める可能性を強調している(https://github.com/arashrasti96/GSTAMで利用可能)。

関連論文リスト

• Greener GRASS: Enhancing GNNs with Encoding, Rewiring, and Attention [12.409982249220812]
  本稿では,新しいGNNアーキテクチャであるGraph Attention with Structures (GRASS)を紹介する。 GRASSはランダムな正規グラフを重畳して入力グラフをリワイヤし、長距離情報伝搬を実現する。 また、グラフ構造化データに適した新しい付加的注意機構も採用している。
  論文  参考訳（メタデータ） (2024-07-08T06:21:56Z)
• Mirage: Model-Agnostic Graph Distillation for Graph Classification [16.764894668661952]
  グラフ蒸留は、元のトレーニングデータからより小さな合成トレーニングセットを構築するための試みである。 Mirageは、メッセージパスGNNが入力グラフを複数の計算ツリーに分解する、という洞察に基づいて構築されている。
  論文  参考訳（メタデータ） (2023-10-14T04:21:52Z)
• Structure-free Graph Condensation: From Large-scale Graphs to Condensed Graph-free Data [91.27527985415007]
  既存のグラフ凝縮法は、凝縮グラフ内のノードと構造の合同最適化に依存している。 我々は、大規模グラフを小さなグラフノード集合に蒸留する、SFGCと呼ばれる新しい構造自由グラフ凝縮パラダイムを提唱する。
  論文  参考訳（メタデータ） (2023-06-05T07:53:52Z)
• Graph-based Knowledge Distillation: A survey and experimental evaluation [4.713436329217004]
  既存のグラフニューラルネットワーク(GNN)を強化するために知識蒸留(KD)が導入されている。 KDは、予測性能を維持しながら、大きな教師モデルのソフトレーベルの監督を小学生モデルに移行することを含む。 本稿ではまず,グラフとKDの背景について紹介し,その上で3種類の知識蒸留法について概説する。
  論文  参考訳（メタデータ） (2023-02-27T11:39:23Z)
• Graph Condensation via Receptive Field Distribution Matching [61.71711656856704]
  本稿では,元のグラフを表す小さなグラフの作成に焦点をあてる。 我々は、元のグラフを受容体の分布とみなし、受容体が同様の分布を持つ小さなグラフを合成することを目的としている。
  論文  参考訳（メタデータ） (2022-06-28T02:10:05Z)
• GraphCoCo: Graph Complementary Contrastive Learning [65.89743197355722]
  グラフコントラスト学習(GCL)は、手作業によるアノテーションの監督なしに、グラフ表現学習(GRL)において有望な性能を示した。 本稿では,この課題に対処するため,グラフココというグラフ補完型コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2022-03-24T02:58:36Z)
• A Graph Data Augmentation Strategy with Entropy Preserving [11.886325179121226]
  本稿では,グラフ間の特徴情報を評価するための定量的指標として,新しいグラフエントロピー定義を提案する。 グラフエントロピーの保存を考慮し、摂動機構を用いてトレーニングデータを生成する効果的な方法を提案する。 提案手法はトレーニング過程におけるGCNの堅牢性と一般化能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-07-13T12:58:32Z)
• Hierarchical Adaptive Pooling by Capturing High-order Dependency for Graph Representation Learning [18.423192209359158]
  グラフニューラルネットワーク(GNN)はノードレベルのグラフ表現学習タスクでグラフ構造化データを扱うのに十分成熟していることが証明されている。 本稿では,グラフ構造に適応する階層型グラフレベルの表現学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-13T06:22:24Z)
• Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
  学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。 FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
  論文  参考訳（メタデータ） (2020-10-19T21:51:47Z)
• Heuristic Semi-Supervised Learning for Graph Generation Inspired by Electoral College [80.67842220664231]
  本稿では,新たなノードやエッジを自動的に拡張して,高密度サブグラフ内のラベル類似性を向上する,新しい前処理手法であるElectoral College(ELCO)を提案する。 テストされたすべての設定において、我々の手法はベースモデルの平均スコアを4.7ポイントの広いマージンで引き上げるとともに、常に最先端のモデルよりも優れています。
  論文  参考訳（メタデータ） (2020-06-10T14:48:48Z)
• Adaptive Graph Auto-Encoder for General Data Clustering [90.8576971748142]
  グラフベースのクラスタリングは、クラスタリング領域において重要な役割を果たす。 グラフ畳み込みニューラルネットワークに関する最近の研究は、グラフ型データにおいて驚くべき成功を収めている。 本稿では,グラフの生成的視点に応じて適応的にグラフを構成する汎用データクラスタリングのためのグラフ自動エンコーダを提案する。
  論文  参考訳（メタデータ） (2020-02-20T10:11:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。