論文の概要: Spectral Augmentation for Self-Supervised Learning on Graphs
- arxiv url: http://arxiv.org/abs/2210.00643v1
- Date: Sun, 2 Oct 2022 22:20:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 13:47:51.830138
- Title: Spectral Augmentation for Self-Supervised Learning on Graphs
- Title(参考訳): グラフ上の自己教師あり学習のためのスペクトル拡張
- Authors: Lu Lin, Jinghui Chen, Hongning Wang
- Abstract要約: グラフコントラスト学習(GCL)は、インスタンス識別を通じて表現を学習することを目的としている。
これは、小さな摂動に対して堅牢な不変パターンを反映するためにグラフ拡張に依存する。
最近の研究は、空間領域における一様ランダムなトポロジー拡張を主に実施している。
スペクトル変化を最大化することによりトポロジ拡張を導出するスペクトル拡張を開発する。
- 参考スコア(独自算出の注目度): 43.19199994575821
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph contrastive learning (GCL), as an emerging self-supervised learning
technique on graphs, aims to learn representations via instance discrimination.
Its performance heavily relies on graph augmentation to reflect invariant
patterns that are robust to small perturbations; yet it still remains unclear
about what graph invariance GCL should capture. Recent studies mainly perform
topology augmentations in a uniformly random manner in the spatial domain,
ignoring its influence on the intrinsic structural properties embedded in the
spectral domain. In this work, we aim to find a principled way for topology
augmentations by exploring the invariance of graphs from the spectral
perspective. We develop spectral augmentation which guides topology
augmentations by maximizing the spectral change. Extensive experiments on both
graph and node classification tasks demonstrate the effectiveness of our method
in self-supervised representation learning. The proposed method also brings
promising generalization capability in transfer learning, and is equipped with
intriguing robustness property under adversarial attacks. Our study sheds light
on a general principle for graph topology augmentation.
- Abstract(参考訳): グラフの自己教師型学習技術であるグラフコントラスト学習(GCL)は、インスタンス識別を通じて表現を学習することを目的としている。
その性能は、小さな摂動に頑健な不変パターンを反映するためにグラフ拡張に大きく依存しているが、グラフ不変性 GCL が何を捉えるべきかはまだ不明である。
近年の研究では、スペクトル領域に埋め込まれた固有構造特性への影響を無視して、空間領域において一様ランダムにトポロジー拡張を行う。
本研究では,スペクトルの観点からのグラフの不変性を探究し,トポロジ拡張の原理的方法を見つけることを目的とする。
スペクトル変化を最大化することでトポロジー拡張を導くスペクトル拡張法を開発した。
グラフおよびノード分類タスクの広範な実験により,自己教師付き表現学習における本手法の有効性が示された。
提案手法は,移動学習における有望な一般化能力ももたらし,敵攻撃下での強靭性も備えている。
本研究は,グラフトポロジー拡張の一般原理に光を当てる。
関連論文リスト
- Heterogeneous Graph Contrastive Learning with Spectral Augmentation [15.231689595121553]
本稿では、異種グラフニューラルネットワークにおいて、スペクトル強調グラフコントラスト学習モデル(SHCL)を初めて導入する。
提案モデルは不均一グラフ自体を通じて適応的トポロジ拡張スキームを学習する。
複数の実世界のデータセットに対する実験結果から,提案モデルの有効性が示された。
論文 参考訳(メタデータ) (2024-06-30T14:20:12Z) - Gradformer: Graph Transformer with Exponential Decay [69.50738015412189]
グラフ変換器(GT)の自己保持機構は、グラフの帰納バイアス、特に構造に関するバイアスを見落としている。
本稿では,GTと本質的帰納バイアスを革新的に統合するGradformerを提案する。
GradformerはグラフニューラルネットワークやGTベースラインモデルよりも、さまざまなグラフ分類や回帰タスクにおいて一貫して優れています。
論文 参考訳(メタデータ) (2024-04-24T08:37:13Z) - Through the Dual-Prism: A Spectral Perspective on Graph Data
Augmentation for Graph Classification [71.36575018271405]
本稿では,DP-NoiseとDP-Maskを組み合わせたDual-Prism(DP)拡張手法を提案する。
低周波固有値の変動を保ちながら、拡張グラフを生成する際に、臨界特性を大規模に保存できることが判明した。
論文 参考訳(メタデータ) (2024-01-18T12:58:53Z) - Augment with Care: Enhancing Graph Contrastive Learning with Selective
Spectrum Perturbation [11.322569167679633]
グラフコントラスト学習(GCL)はグラフ上での学習表現において顕著な効果を示した。
摂動グラフ構造を持つ既存の拡張ビューは、通常、空間領域におけるランダムなトポロジーの破損に基づいている。
スペクトル領域におけるグラフ構造の特定の周波数に対して、調整された摂動を呈するGASSERを提案する。
論文 参考訳(メタデータ) (2023-10-20T22:39:07Z) - Advective Diffusion Transformers for Topological Generalization in Graph
Learning [69.2894350228753]
グラフ拡散方程式は、様々なグラフトポロジーの存在下で、どのように外挿して一般化するかを示す。
本稿では,新たなグラフエンコーダのバックボーンであるAdvective Diffusion Transformer (ADiT)を提案する。
論文 参考訳(メタデータ) (2023-10-10T08:40:47Z) - Spectral Augmentations for Graph Contrastive Learning [50.149996923976836]
コントラスト学習は、監督の有無にかかわらず、表現を学習するための第一の方法として現れてきた。
近年の研究では、グラフ表現学習における事前学習の有用性が示されている。
本稿では,グラフの対照的な目的に対する拡張を構築する際に,候補のバンクを提供するためのグラフ変換操作を提案する。
論文 参考訳(メタデータ) (2023-02-06T16:26:29Z) - Let Invariant Rationale Discovery Inspire Graph Contrastive Learning [98.10268114789775]
ハイパフォーマンスな拡張は、インスタンス識別に関するアンカーグラフの健全な意味を保存すべきである。
新たなフレームワーク Rationale-aware Graph Contrastive Learning (RGCL) を提案する。
RGCLは有理数生成器を使用して、グラフのインスタンス識別に関する健全な特徴を論理として明らかにし、対照的な学習のための有理数認識ビューを生成する。
論文 参考訳(メタデータ) (2022-06-16T01:28:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。