論文の概要: SpeGCL: Self-supervised Graph Spectrum Contrastive Learning without Positive Samples

• arxiv url: http://arxiv.org/abs/2410.10365v1
• Date: Mon, 14 Oct 2024 10:39:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-29 22:04:40.548617
• Title: SpeGCL: Self-supervised Graph Spectrum Contrastive Learning without Positive Samples
• Title（参考訳）: SpeGCL: 正のサンプルを持たない自己教師付きグラフスペクトルコントラスト学習
• Authors: Yuntao Shou, Xiangyong Cao, Deyu Meng,
• Abstract要約: グラフコントラスト学習(GCL)は、入力データのノイズやゆらぎの管理に優れており、様々な分野で人気がある。 既存のGCL法は主にノードの特徴表現の時間領域(低周波情報)に焦点を当てている。 正のサンプルを持たない新しいスペクトルGCLフレームワークSpeGCLを提案する。
• 参考スコア（独自算出の注目度）: 44.315865532262876
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Contrastive Learning (GCL) excels at managing noise and fluctuations in input data, making it popular in various fields (e.g., social networks, and knowledge graphs). Our study finds that the difference in high-frequency information between augmented graphs is greater than that in low-frequency information. However, most existing GCL methods focus mainly on the time domain (low-frequency information) for node feature representations and cannot make good use of high-frequency information to speed up model convergence. Furthermore, existing GCL paradigms optimize graph embedding representations by pulling the distance between positive sample pairs closer and pushing the distance between positive and negative sample pairs farther away, but our theoretical analysis shows that graph contrastive learning benefits from pushing negative pairs farther away rather than pulling positive pairs closer. To solve the above-mentioned problems, we propose a novel spectral GCL framework without positive samples, named SpeGCL. Specifically, to solve the problem that existing GCL methods cannot utilize high-frequency information, SpeGCL uses a Fourier transform to extract high-frequency and low-frequency information of node features, and constructs a contrastive learning mechanism in a Fourier space to obtain better node feature representation. Furthermore, SpeGCL relies entirely on negative samples to refine the graph embedding. We also provide a theoretical justification for the efficacy of using only negative samples in SpeGCL. Extensive experiments on un-supervised learning, transfer learning, and semi-supervised learning have validated the superiority of our SpeGCL framework over the state-of-the-art GCL methods.
• Abstract（参考訳）: グラフコントラスト学習(GCL)は、入力データのノイズやゆらぎの管理に優れており、様々な分野(ソーシャルネットワーク、知識グラフなど)で人気がある。 本研究は, 拡張グラフ間の高周波情報の差が低周波情報よりも大きいことを示す。 しかし、既存のGCL法のほとんどは、ノード特徴表現の時間領域(低周波情報)に重点を置いており、モデルの収束を早めるために高周波情報をうまく利用することはできない。 さらに, 従来のGCLパラダイムでは, 正のサンプルペア間の距離を近づき, 正のサンプルペアと負のサンプルペア間の距離を遠ざけることによってグラフ埋め込み表現を最適化しているが, 理論解析により, 負のペア間の距離を近づくのではなく, 負のペアを遠ざけることによるグラフコントラスト学習のメリットが示されている。 以上の問題を解決するために,SpeGCLという正のサンプルを持たない新しいスペクトルGCLフレームワークを提案する。 具体的には、既存のGCL法では高周波情報を利用できないという問題を解決するため、SpeGCLはFourier変換を用いてノード特徴の高周波および低周波情報を抽出し、Fourier空間におけるコントラスト学習機構を構築し、より優れたノード特徴表現を得る。 さらに、SpeGCLはグラフ埋め込みを洗練させるために、完全に負のサンプルに依存している。 また,SpeGCLの陰性サンプルのみを使用することの有効性を理論的に正当化する。 教師なし学習,移動学習,半教師付き学習に関する大規模な実験は,最先端のGCL法よりもSpeGCLフレームワークの方が優れていることを実証した。

関連論文リスト

• Rethinking and Simplifying Bootstrapped Graph Latents [48.76934123429186]
  グラフ・コントラッシブ・ラーニング(GCL)はグラフ自己教師型ラーニングにおいて代表的なパラダイムとして登場した。 SGCLは2つの繰り返しの出力を正のペアとして利用するシンプルで効果的なGCLフレームワークである。 我々は,SGCLがより少ないパラメータ,少ない時間と空間コスト,およびかなりの収束速度で競合性能を達成可能であることを示す。
  論文  参考訳（メタデータ） (2023-12-05T09:49:50Z)
• Architecture Matters: Uncovering Implicit Mechanisms in Graph Contrastive Learning [34.566003077992384]
  本稿では,グラフコントラスト学習法(GCL)の体系的研究について述べる。 GNNの暗黙的帰納バイアスが対照的な学習にどのように作用するかを明らかにすることによって、理論上はGCLの興味深い性質に関する洞察を提供する。 既存のNNメソッドを直接GCLに移植するのではなく、グラフ学習のユニークなアーキテクチャにもっと注意を払うことを提唱する。
  論文  参考訳（メタデータ） (2023-11-05T15:54:17Z)
• HomoGCL: Rethinking Homophily in Graph Contrastive Learning [64.85392028383164]
  HomoGCL はモデルに依存しないフレームワークで、近隣のノードに固有の意味を持つ正の集合を拡大する。 我々は、HomoGCLが6つの公開データセットにまたがって複数の最先端結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-06-16T04:06:52Z)
• LightGCL: Simple Yet Effective Graph Contrastive Learning for Recommendation [9.181689366185038]
  グラフニューラルクラスタリングネットワーク(GNN)は、グラフベースのレコメンデータシステムのための強力な学習手法である。 本稿では,単純なグラフコントラスト学習パラダイムであるLightGCLを提案する。
  論文  参考訳（メタデータ） (2023-02-16T10:16:21Z)
• Localized Contrastive Learning on Graphs [110.54606263711385]
  局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。 その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
  論文  参考訳（メタデータ） (2022-12-08T23:36:00Z)
• Single-Pass Contrastive Learning Can Work for Both Homophilic and Heterophilic Graph [60.28340453547902]
  グラフコントラッシブ・ラーニング(GCL)技術は通常、コントラッシブ・ロスを構築するために単一のインスタンスに対して2つのフォワードパスを必要とする。 既存のGCLアプローチは、強力なパフォーマンス保証を提供していない。 我々はSingle-Pass Graph Contrastive Learning法(SP-GCL)を実装した。 経験的に、SP-GCLが学んだ機能は、計算オーバーヘッドを著しく少なくして、既存の強いベースラインにマッチまたは性能を向上することができる。
  論文  参考訳（メタデータ） (2022-11-20T07:18:56Z)
• Revisiting Graph Contrastive Learning from the Perspective of Graph Spectrum [91.06367395889514]
  グラフ拡張によるノード表現の学習には,GCL(Graph Contrastive Learning)が注目されている。 GCLとグラフスペクトルの関連性を確立することで,これらの疑問に答える。 汎用かつGCLフレンドリなプラグインであるスペクトルグラフコントラスト学習モジュール(SpCo)を提案する。
  論文  参考訳（メタデータ） (2022-10-05T15:32:00Z)
• FastGCL: Fast Self-Supervised Learning on Graphs via Contrastive Neighborhood Aggregation [26.07819501316758]
  よりコントラスト的なスキームは、グラフニューラルネットワークの特性に合わせて調整されるべきである、と我々は主張する。 重み付けと非集約の近傍情報をそれぞれ正と負のサンプルとして構成することにより、FastGCLはデータの潜在的な意味情報を識別する。 ノード分類とグラフ分類のタスクについて実験を行い、FastGCLは競合する分類性能と重要なトレーニングスピードアップを有することを示した。
  論文  参考訳（メタデータ） (2022-05-02T13:33:43Z)
• Augmentation-Free Graph Contrastive Learning [16.471928573824854]
  グラフコントラッシブ・ラーニング(GCL)は、グラフ構造化データに対する最も代表的で一般的な自己教師付き学習手法である。 既存のGCLメソッドは、様々な拡張ビューで不変な表現を学習するための拡張スキームに依存している。 AF-GCLは,グラフニューラルネットワークによって集約された特徴を利用して,拡張ではなく自己超越信号を構築する。
  論文  参考訳（メタデータ） (2022-04-11T05:37:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。