論文の概要: Augmentation-Free Graph Contrastive Learning

• arxiv url: http://arxiv.org/abs/2204.04874v1
• Date: Mon, 11 Apr 2022 05:37:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-12 18:08:57.992265
• Title: Augmentation-Free Graph Contrastive Learning
• Title（参考訳）: 拡張フリーグラフコントラスト学習
• Authors: Haonan Wang, Jieyu Zhang, Qi Zhu, Wei Huang
• Abstract要約: グラフコントラッシブ・ラーニング(GCL)は、グラフ構造化データに対する最も代表的で一般的な自己教師付き学習手法である。 既存のGCLメソッドは、様々な拡張ビューで不変な表現を学習するための拡張スキームに依存している。 AF-GCLは,グラフニューラルネットワークによって集約された特徴を利用して,拡張ではなく自己超越信号を構築する。
• 参考スコア（独自算出の注目度）: 16.471928573824854
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph contrastive learning (GCL) is the most representative and prevalent self-supervised learning approach for graph-structured data. Despite its remarkable success, existing GCL methods highly rely on an augmentation scheme to learn the representations invariant across different augmentation views. In this work, we revisit such a convention in GCL through examining the effect of augmentation techniques on graph data via the lens of spectral theory. We found that graph augmentations preserve the low-frequency components and perturb the middle- and high-frequency components of the graph, which contributes to the success of GCL algorithms on homophilic graphs but hinders its application on heterophilic graphs, due to the high-frequency preference of heterophilic data. Motivated by this, we propose a novel, theoretically-principled, and augmentation-free GCL method, named AF-GCL, that (1) leverages the features aggregated by Graph Neural Network to construct the self-supervision signal instead of augmentations and therefore (2) is less sensitive to the graph homophily degree. Theoretically, We present the performance guarantee for AF-GCL as well as an analysis for understanding the efficacy of AF-GCL. Extensive experiments on 14 benchmark datasets with varying degrees of heterophily show that AF-GCL presents competitive or better performance on homophilic graphs and outperforms all existing state-of-the-art GCL methods on heterophilic graphs with significantly less computational overhead.
• Abstract（参考訳）: グラフコントラスト学習(GCL)は、グラフ構造化データに対する最も代表的で一般的な自己教師付き学習手法である。 その顕著な成功にもかかわらず、既存のGCLメソッドは、異なる拡張ビュー間で不変な表現を学ぶための拡張スキームに大きく依存している。 本稿では,GCLにおけるそのような慣習を再考し,スペクトル理論のレンズを用いたグラフデータに対する拡張手法の効果を検討する。 グラフ拡張は低周波成分を保存し,中・高周波成分を摂動させることにより,好気性グラフ上のgclアルゴリズムの成功に寄与するが,好気性データの高周波嗜好性により,好気性グラフへの適用を妨げていることがわかった。 そこで我々は,(1)グラフニューラルネットワークが集約した特徴を活用して,拡張の代わりに自己超越信号を構築することにより,(2)グラフのホモフィジカル度に敏感でない,新しい理論的原理と拡張不要なGCL法を提案する。 理論的には、AF-GCLの性能保証と、AF-GCLの有効性を理解するための分析を提示する。 ヘテロフィリーの度合いの異なる14のベンチマークデータセットに対する大規模な実験により、AF-GCLはホモフィリックグラフ上での競争力や優れた性能を示し、計算オーバーヘッドが著しく少ないヘテロフィリックグラフ上での既存のGCL手法よりも優れていた。

関連論文リスト

• HomoGCL: Rethinking Homophily in Graph Contrastive Learning [64.85392028383164]
  HomoGCL はモデルに依存しないフレームワークで、近隣のノードに固有の意味を持つ正の集合を拡大する。 我々は、HomoGCLが6つの公開データセットにまたがって複数の最先端結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-06-16T04:06:52Z)
• Graph Contrastive Learning under Heterophily via Graph Filters [51.46061703680498]
  グラフコントラスト学習(CL)法は,GNNエンコーダを用いて得られる拡張ノード表現の類似性を最大化することにより,ノード表現を自己指導的に学習する。 本研究では,ヘテロフィリー下でのグラフ表現学習に有効なグラフCL法であるHLCLを提案する。 我々の広範な実験により、HLCLはヘテロフィリーのベンチマークデータセットや大規模実世界のグラフで最先端のグラフCL法を最大7%上回り、ヘテロフィリーのデータセットでグラフ教師あり学習法を最大10%上回ります。
  論文  参考訳（メタデータ） (2023-03-11T08:32:39Z)
• Single-Pass Contrastive Learning Can Work for Both Homophilic and Heterophilic Graph [60.28340453547902]
  グラフコントラッシブ・ラーニング(GCL)技術は通常、コントラッシブ・ロスを構築するために単一のインスタンスに対して2つのフォワードパスを必要とする。 既存のGCLアプローチは、強力なパフォーマンス保証を提供していない。 我々はSingle-Pass Graph Contrastive Learning法(SP-GCL)を実装した。 経験的に、SP-GCLが学んだ機能は、計算オーバーヘッドを著しく少なくして、既存の強いベースラインにマッチまたは性能を向上することができる。
  論文  参考訳（メタデータ） (2022-11-20T07:18:56Z)
• Uncovering the Structural Fairness in Graph Contrastive Learning [87.65091052291544]
  グラフコントラスト学習(GCL)は、ノード表現を学習するための有望な自己教師型アプローチとして登場した。 GCL法で得られた表現は,GCN法で学習した表現よりも既に公平であることを示す。 我々は、低次ノードと高次ノードに異なる戦略を適用し、GRAph contrastive learning for Degree bias (GRADE)と呼ばれるグラフ拡張手法を考案した。
  論文  参考訳（メタデータ） (2022-10-06T15:58:25Z)
• Revisiting Graph Contrastive Learning from the Perspective of Graph Spectrum [91.06367395889514]
  グラフ拡張によるノード表現の学習には,GCL(Graph Contrastive Learning)が注目されている。 GCLとグラフスペクトルの関連性を確立することで,これらの疑問に答える。 汎用かつGCLフレンドリなプラグインであるスペクトルグラフコントラスト学習モジュール(SpCo)を提案する。
  論文  参考訳（メタデータ） (2022-10-05T15:32:00Z)
• Graph Soft-Contrastive Learning via Neighborhood Ranking [19.241089079154044]
  グラフコントラスト学習(GCL)は,グラフ自己教師型学習の領域において,有望なアプローチとして登場した。 グラフソフトコントラスト学習(GSCL)という新しいパラダイムを提案する。 GSCLは地域ランキングを通じてGCLを促進するため、全く同様のペアを特定する必要がなくなる。
  論文  参考訳（メタデータ） (2022-09-28T09:52:15Z)
• ImGCL: Revisiting Graph Contrastive Learning on Imbalanced Node Classification [26.0350727426613]
  グラフコントラスト学習(GCL)は,ラベルのないノード/グラフ表現の学習性能に優れていたため,注目を集めている。 実際には、与えられたグラフに対するラベルのないノードの基底となるクラス分布は、通常不均衡である。 ラベルなしでGCLから学習した表現を自動的かつ適応的にバランスをとるImGCL(Im Balanced node classification)の原理的GCLフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-23T14:23:36Z)
• Adversarial Graph Augmentation to Improve Graph Contrastive Learning [21.54343383921459]
  本稿では,GNNがトレーニング中に冗長な情報を捕捉することを避けるために,AD-GCL(adversarial-GCL)と呼ばれる新しい原理を提案する。 我々は、AD-GCLを最先端のGCL法と比較し、教師なしで最大$14%、転送で$6%、半教師なしの学習環境で$3%の性能向上を達成した。
  論文  参考訳（メタデータ） (2021-06-10T15:34:26Z)
• Diversified Multiscale Graph Learning with Graph Self-Correction [55.43696999424127]
  2つのコア成分を組み込んだ多次元グラフ学習モデルを提案します。 情報埋め込みグラフを生成するグラフ自己補正(GSC)機構、および入力グラフの包括的な特性評価を達成するために多様性ブースト正規化(DBR)。 一般的なグラフ分類ベンチマークの実験は、提案されたGSCメカニズムが最先端のグラフプーリング方法よりも大幅に改善されることを示しています。
  論文  参考訳（メタデータ） (2021-03-17T16:22:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。