論文の概要: Revisiting Graph Contrastive Learning from the Perspective of Graph Spectrum

• arxiv url: http://arxiv.org/abs/2210.02330v1
• Date: Wed, 5 Oct 2022 15:32:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 14:35:41.084684
• Title: Revisiting Graph Contrastive Learning from the Perspective of Graph Spectrum
• Title（参考訳）: グラフスペクトルから見たグラフコントラスト学習の再検討
• Authors: Nian Liu, Xiao Wang, Deyu Bo, Chuan Shi, Jian Pei
• Abstract要約: グラフ拡張によるノード表現の学習には,GCL(Graph Contrastive Learning)が注目されている。 GCLとグラフスペクトルの関連性を確立することで,これらの疑問に答える。 汎用かつGCLフレンドリなプラグインであるスペクトルグラフコントラスト学習モジュール(SpCo)を提案する。
• 参考スコア（独自算出の注目度）: 91.06367395889514
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Contrastive Learning (GCL), learning the node representations by augmenting graphs, has attracted considerable attentions. Despite the proliferation of various graph augmentation strategies, some fundamental questions still remain unclear: what information is essentially encoded into the learned representations by GCL? Are there some general graph augmentation rules behind different augmentations? If so, what are they and what insights can they bring? In this paper, we answer these questions by establishing the connection between GCL and graph spectrum. By an experimental investigation in spectral domain, we firstly find the General grAph augMEntation (GAME) rule for GCL, i.e., the difference of the high-frequency parts between two augmented graphs should be larger than that of low-frequency parts. This rule reveals the fundamental principle to revisit the current graph augmentations and design new effective graph augmentations. Then we theoretically prove that GCL is able to learn the invariance information by contrastive invariance theorem, together with our GAME rule, for the first time, we uncover that the learned representations by GCL essentially encode the low-frequency information, which explains why GCL works. Guided by this rule, we propose a spectral graph contrastive learning module (SpCo), which is a general and GCL-friendly plug-in. We combine it with different existing GCL models, and extensive experiments well demonstrate that it can further improve the performances of a wide variety of different GCL methods.
• Abstract（参考訳）: グラフの強化によるノード表現の学習であるグラフコントラスト学習(gcl)が注目されている。 様々なグラフ拡張戦略の進展にもかかわらず、いくつかの基本的な疑問はいまだ不明である。 異なる拡張の背後にある一般的なグラフ拡張ルールはありますか? もしそうなら、彼らは何を持ち、どんな洞察をもたらすのか? 本稿では,GCLとグラフスペクトルの関連性を確立することで,これらの質問に答える。 スペクトル領域の実験的研究により、まずGCLに対する一般gAph augMEntation (GAME) 則、すなわち、2つの拡張グラフ間の高周波部分の違いは低周波部分のそれよりも大きいはずである。 このルールは、現在のグラフ拡張を再検討し、新しい効果的なグラフ拡張を設計する基本的な原則を明らかにする。 そして、GCLが対照的な不変性定理によって不変情報を学習できることを理論的に証明し、GAME則とともに、GCLが学習した表現が本質的に低周波情報を符号化していることを発見した。 本規則により,汎用かつGCLフレンドリなプラグインであるスペクトルグラフコントラスト学習モジュール(SpCo)を提案する。 既存のGCLモデルと組み合わせることで、多様なGCL手法の性能をさらに向上させることができることを示す。

関連論文リスト

• Community-Invariant Graph Contrastive Learning [21.72222875193335]
  本研究では,グラフ強化におけるグラフコミュニティの役割について検討する。 本稿では,学習可能なグラフ拡張時のグラフコミュニティ構造を維持するための,コミュニティ不変なGCLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-02T14:59:58Z)
• Graph Contrastive Learning with Cohesive Subgraph Awareness [34.76555185419192]
  グラフコントラスト学習(GCL)は、多様なグラフの表現を学習するための最先端の戦略として登場した。 グラフの増大と学習過程におけるサブグラフの認識は、GCLの性能を高める可能性があると論じる。 我々はCTAugと呼ばれる新しい統合フレームワークを提案し、結合認識を様々な既存のGCLメカニズムにシームレスに統合する。
  論文  参考訳（メタデータ） (2024-01-31T03:51:30Z)
• Graph Contrastive Invariant Learning from the Causal Perspective [41.62549508842019]
  グラフコントラスト学習(GCL)は,2つの拡張グラフを自己教師付きで対比することでノード表現を学習する。 本稿ではまず,因果性の観点からGCLについて考察する。 構造因果モデル(SCM)を用いてGCLを解析することにより、従来のGCLはグラフに含まれる非因果情報により不変表現を十分に学習できないことが分かる。
  論文  参考訳（メタデータ） (2024-01-23T08:47:28Z)
• Provable Training for Graph Contrastive Learning [58.8128675529977]
  Graph Contrastive Learning (GCL)は、ラベルのない拡張グラフからノード埋め込みを学習するための一般的なトレーニング手法として登場した。 GCLのトレーニングは、実際にはすべてのノードで不均衡であることを示す。 ノードがGCLの原理に従う方法の下位境界である計量「ノードコンパクト性」を提案する。
  論文  参考訳（メタデータ） (2023-09-25T08:23:53Z)
• HomoGCL: Rethinking Homophily in Graph Contrastive Learning [64.85392028383164]
  HomoGCL はモデルに依存しないフレームワークで、近隣のノードに固有の意味を持つ正の集合を拡大する。 我々は、HomoGCLが6つの公開データセットにまたがって複数の最先端結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-06-16T04:06:52Z)
• Graph Mixture of Experts: Learning on Large-Scale Graphs with Explicit Diversity Modeling [60.0185734837814]
  グラフニューラルネットワーク(GNN)は、グラフデータからの学習に広く応用されている。 GNNの一般化能力を強化するため、グラフ強化のような技術を用いて、トレーニンググラフ構造を増強することが慣例となっている。 本研究では,GNNにMixture-of-Experts(MoE)の概念を導入する。
  論文  参考訳（メタデータ） (2023-04-06T01:09:36Z)
• MA-GCL: Model Augmentation Tricks for Graph Contrastive Learning [41.963242524220654]
  グラフコントラスト学習(GCL)のための3つの簡易実装モデル拡張手法を提案する。 具体的には,GCLに対して,非対称,ランダム,シャッフルという,実装が容易なモデル拡張トリックを3つ提示する。 実験の結果,MA-GCLはノード分類ベンチマークで最先端の性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2022-12-14T05:04:10Z)
• Augmentation-Free Graph Contrastive Learning [16.471928573824854]
  グラフコントラッシブ・ラーニング(GCL)は、グラフ構造化データに対する最も代表的で一般的な自己教師付き学習手法である。 既存のGCLメソッドは、様々な拡張ビューで不変な表現を学習するための拡張スキームに依存している。 AF-GCLは,グラフニューラルネットワークによって集約された特徴を利用して,拡張ではなく自己超越信号を構築する。
  論文  参考訳（メタデータ） (2022-04-11T05:37:03Z)
• Graph Contrastive Learning with Augmentations [109.23158429991298]
  グラフデータの教師なし表現を学習するためのグラフコントラスト学習(GraphCL)フレームワークを提案する。 我々のフレームワークは、最先端の手法と比較して、類似またはより良い一般化可能性、転送可能性、堅牢性のグラフ表現を作成できることを示す。
  論文  参考訳（メタデータ） (2020-10-22T20:13:43Z)
• Data Augmentation View on Graph Convolutional Network and the Proposal of Monte Carlo Graph Learning [51.03995934179918]
  従来の理解よりも透明性の高いデータ拡張を導入します。 そこで我々はモンテカルログラフ学習(MCGL)という新しいグラフ学習パラダイムを提案する。 MCGLの耐雑音性は、ノイズグラフ上のGCNよりも弱いことを示す。
  論文  参考訳（メタデータ） (2020-06-23T15:25:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。