論文の概要: Spectral Augmentation for Self-Supervised Learning on Graphs

• arxiv url: http://arxiv.org/abs/2210.00643v2
• Date: Tue, 20 Jun 2023 18:24:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 18:02:30.730895
• Title: Spectral Augmentation for Self-Supervised Learning on Graphs
• Title（参考訳）: グラフ上の自己教師あり学習のためのスペクトル拡張
• Authors: Lu Lin, Jinghui Chen, Hongning Wang
• Abstract要約: グラフコントラスト学習(GCL)は、インスタンス識別を通じて表現を学習することを目的としている。 これは、小さな摂動に対して堅牢な不変パターンを反映するためにグラフ拡張に依存する。 最近の研究は、空間領域における一様ランダムなトポロジー拡張を主に実施している。 スペクトル変化を最大化することによりトポロジ拡張を導出するスペクトル拡張を開発する。
• 参考スコア（独自算出の注目度）: 43.19199994575821
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph contrastive learning (GCL), as an emerging self-supervised learning technique on graphs, aims to learn representations via instance discrimination. Its performance heavily relies on graph augmentation to reflect invariant patterns that are robust to small perturbations; yet it still remains unclear about what graph invariance GCL should capture. Recent studies mainly perform topology augmentations in a uniformly random manner in the spatial domain, ignoring its influence on the intrinsic structural properties embedded in the spectral domain. In this work, we aim to find a principled way for topology augmentations by exploring the invariance of graphs from the spectral perspective. We develop spectral augmentation which guides topology augmentations by maximizing the spectral change. Extensive experiments on both graph and node classification tasks demonstrate the effectiveness of our method in self-supervised representation learning. The proposed method also brings promising generalization capability in transfer learning, and is equipped with intriguing robustness property under adversarial attacks. Our study sheds light on a general principle for graph topology augmentation.
• Abstract（参考訳）: グラフの自己教師型学習技術であるグラフコントラスト学習(GCL)は、インスタンス識別を通じて表現を学習することを目的としている。 その性能は、小さな摂動に頑健な不変パターンを反映するためにグラフ拡張に大きく依存しているが、グラフ不変性 GCL が何を捉えるべきかはまだ不明である。 近年の研究では、スペクトル領域に埋め込まれた固有構造特性への影響を無視して、空間領域において一様ランダムにトポロジー拡張を行う。 本研究では,スペクトルの観点からのグラフの不変性を探究し,トポロジ拡張の原理的方法を見つけることを目的とする。 スペクトル変化を最大化することでトポロジー拡張を導くスペクトル拡張法を開発した。 グラフおよびノード分類タスクの広範な実験により,自己教師付き表現学習における本手法の有効性が示された。 提案手法は,移動学習における有望な一般化能力ももたらし,敵攻撃下での強靭性も備えている。 本研究は,グラフトポロジー拡張の一般原理に光を当てる。

関連論文リスト

• Disentangled Generative Graph Representation Learning [51.59824683232925]
  本稿では,自己教師型学習フレームワークであるDiGGR(Disentangled Generative Graph Representation Learning)を紹介する。 潜伏要因を学習し、それをグラフマスクモデリングのガイドとして活用することを目的としている。 2つの異なるグラフ学習タスクのための11の公開データセットの実験は、DiGGRが従来よりも一貫して多くの自己教師付きメソッドを上回っていることを示している。
  論文  参考訳（メタデータ） (2024-08-24T05:13:02Z)
• Heterogeneous Graph Contrastive Learning with Spectral Augmentation [15.231689595121553]
  本稿では、異種グラフニューラルネットワークにおいて、スペクトル強調グラフコントラスト学習モデル(SHCL)を初めて導入する。 提案モデルは不均一グラフ自体を通じて適応的トポロジ拡張スキームを学習する。 複数の実世界のデータセットに対する実験結果から,提案モデルの有効性が示された。
  論文  参考訳（メタデータ） (2024-06-30T14:20:12Z)
• Through the Dual-Prism: A Spectral Perspective on Graph Data Augmentation for Graph Classification [71.36575018271405]
  本稿では,DP-NoiseとDP-Maskを組み合わせたDual-Prism(DP)拡張手法を提案する。 低周波固有値の変動を保ちながら、拡張グラフを生成する際に、臨界特性を大規模に保存できることが判明した。
  論文  参考訳（メタデータ） (2024-01-18T12:58:53Z)
• Spectral-Aware Augmentation for Enhanced Graph Representation Learning [10.36458924914831]
  本稿では、スペクトル領域におけるグラフ構造の特定の周波数に調整された摂動を適用するモデルであるGASSERを提案する。 本研究では,GASSERが生成する拡張ビューが適応的かつ制御可能であり,グラフ構造のホモフィリ比やスペクトルと直感的に一致していることを示す。
  論文  参考訳（メタデータ） (2023-10-20T22:39:07Z)
• Advective Diffusion Transformers for Topological Generalization in Graph Learning [69.2894350228753]
  グラフ拡散方程式は、様々なグラフトポロジーの存在下で、どのように外挿して一般化するかを示す。 本稿では,新たなグラフエンコーダのバックボーンであるAdvective Diffusion Transformer (ADiT)を提案する。
  論文  参考訳（メタデータ） (2023-10-10T08:40:47Z)
• Spectral Augmentations for Graph Contrastive Learning [50.149996923976836]
  コントラスト学習は、監督の有無にかかわらず、表現を学習するための第一の方法として現れてきた。 近年の研究では、グラフ表現学習における事前学習の有用性が示されている。 本稿では,グラフの対照的な目的に対する拡張を構築する際に,候補のバンクを提供するためのグラフ変換操作を提案する。
  論文  参考訳（メタデータ） (2023-02-06T16:26:29Z)
• Let Invariant Rationale Discovery Inspire Graph Contrastive Learning [98.10268114789775]
  ハイパフォーマンスな拡張は、インスタンス識別に関するアンカーグラフの健全な意味を保存すべきである。 新たなフレームワーク Rationale-aware Graph Contrastive Learning (RGCL) を提案する。 RGCLは有理数生成器を使用して、グラフのインスタンス識別に関する健全な特徴を論理として明らかにし、対照的な学習のための有理数認識ビューを生成する。
  論文  参考訳（メタデータ） (2022-06-16T01:28:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。