論文の概要: L^2CL: Embarrassingly Simple Layer-to-Layer Contrastive Learning for Graph Collaborative Filtering
- arxiv url: http://arxiv.org/abs/2407.14266v1
- Date: Fri, 19 Jul 2024 12:45:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-22 17:34:39.021783
- Title: L^2CL: Embarrassingly Simple Layer-to-Layer Contrastive Learning for Graph Collaborative Filtering
- Title（参考訳）: L^2CL:グラフ協調フィルタリングのための驚くほど単純な層間コントラスト学習
- Authors: Xinzhou Jin, Jintang Li, Liang Chen, Chenyun Yu, Yuanzhen Xie, Tao Xie, Chengxiang Zhuo, Zang Li, Zibin Zheng,
- Abstract要約: グラフニューラルネットワーク(GNN)は、最近、協調フィルタリングにおいて近隣の信号をモデル化するための効果的なアプローチとして登場した。
L2CLは、異なるレイヤの表現を対比する、原則的なレイヤ間コントラスト学習フレームワークである。
その結果,L2CLは,一対一のコントラスト学習パラダイムのみを用いて,固有の意味構造をキャプチャし,ノード表現の質を向上させることができることがわかった。
- 参考スコア（独自算出の注目度）: 33.165094795515785
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph neural networks (GNNs) have recently emerged as an effective approach to model neighborhood signals in collaborative filtering. Towards this research line, graph contrastive learning (GCL) demonstrates robust capabilities to address the supervision label shortage issue through generating massive self-supervised signals. Despite its effectiveness, GCL for recommendation suffers seriously from two main challenges: i) GCL relies on graph augmentation to generate semantically different views for contrasting, which could potentially disrupt key information and introduce unwanted noise; ii) current works for GCL primarily focus on contrasting representations using sophisticated networks architecture (usually deep) to capture high-order interactions, which leads to increased computational complexity and suboptimal training efficiency. To this end, we propose L2CL, a principled Layer-to-Layer Contrastive Learning framework that contrasts representations from different layers. By aligning the semantic similarities between different layers, L2CL enables the learning of complex structural relationships and gets rid of the noise perturbation in stochastic data augmentation. Surprisingly, we find that L2CL, using only one-hop contrastive learning paradigm, is able to capture intrinsic semantic structures and improve the quality of node representation, leading to a simple yet effective architecture. We also provide theoretical guarantees for L2CL in minimizing task-irrelevant information. Extensive experiments on five real-world datasets demonstrate the superiority of our model over various state-of-the-art collaborative filtering methods. Our code is available at https://github.com/downeykking/L2CL.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、最近、協調フィルタリングにおいて近隣の信号をモデル化するための効果的なアプローチとして登場した。
この研究ラインに向けて、グラフコントラスト学習(GCL)は、大規模な自己監督信号を生成することにより、監督ラベル不足問題に対処する堅牢な能力を示す。
有効性にもかかわらず、推奨のためのGCLは2つの大きな課題に深刻に悩まされている。
一)GCLは、キー情報を妨害し、望ましくない雑音を生じさせる可能性のあるコントラストのための意味的に異なるビューを生成するために、グラフ拡張に依存している。
i) GCLの現在の研究は、高次相互作用を捉えるために洗練されたネットワークアーキテクチャ(通常はディープ)を用いた表現の対比に重点を置いており、計算複雑性が増大し、準最適トレーニング効率が向上している。
そこで本研究では,レイヤ間コントラスト学習の原則であるL2CLを提案する。
異なる層間のセマンティックな類似性を整合させることで、L2CLは複雑な構造関係の学習を可能にし、確率的データ拡張におけるノイズ摂動を取り除く。
驚くべきことに、L2CLは1ホップのコントラスト学習パラダイムのみを使用して、固有の意味構造をキャプチャし、ノード表現の質を向上させることができ、シンプルで効果的なアーキテクチャへと繋がる。
また,タスク関連情報の最小化におけるL2CLの理論的保証も提供する。
5つの実世界のデータセットに対する大規模な実験は、様々な最先端の協調フィルタリング手法よりも、我々のモデルの方が優れていることを示した。
私たちのコードはhttps://github.com/downeykking/L2CLで利用可能です。
関連論文リスト
- RecDCL: Dual Contrastive Learning for Recommendation [65.6236784430981]
本稿では、RecDCLという2つのコントラスト学習推薦フレームワークを提案する。
RecDCLでは、FCLの目的は、ユーザとイテムの正のペアに対する冗長なソリューションを排除することである。
BCLの目的は、表現の堅牢性を高めるために出力ベクトルにコントラスト埋め込みを生成するために利用される。
論文 参考訳（メタデータ） (2024-01-28T11:51:09Z) - Rethinking and Simplifying Bootstrapped Graph Latents [48.76934123429186]
グラフ・コントラッシブ・ラーニング(GCL)はグラフ自己教師型ラーニングにおいて代表的なパラダイムとして登場した。
SGCLは2つの繰り返しの出力を正のペアとして利用するシンプルで効果的なGCLフレームワークである。
我々は,SGCLがより少ないパラメータ,少ない時間と空間コスト,およびかなりの収束速度で競合性能を達成可能であることを示す。
論文 参考訳（メタデータ） (2023-12-05T09:49:50Z) - Architecture Matters: Uncovering Implicit Mechanisms in Graph
Contrastive Learning [34.566003077992384]
本稿では,グラフコントラスト学習法(GCL)の体系的研究について述べる。
GNNの暗黙的帰納バイアスが対照的な学習にどのように作用するかを明らかにすることによって、理論上はGCLの興味深い性質に関する洞察を提供する。
既存のNNメソッドを直接GCLに移植するのではなく、グラフ学習のユニークなアーキテクチャにもっと注意を払うことを提唱する。
論文 参考訳（メタデータ） (2023-11-05T15:54:17Z) - HomoGCL: Rethinking Homophily in Graph Contrastive Learning [64.85392028383164]
HomoGCL はモデルに依存しないフレームワークで、近隣のノードに固有の意味を持つ正の集合を拡大する。
我々は、HomoGCLが6つの公開データセットにまたがって複数の最先端結果をもたらすことを示す。
論文 参考訳（メタデータ） (2023-06-16T04:06:52Z) - MA-GCL: Model Augmentation Tricks for Graph Contrastive Learning [41.963242524220654]
グラフコントラスト学習(GCL)のための3つの簡易実装モデル拡張手法を提案する。
具体的には,GCLに対して,非対称,ランダム,シャッフルという,実装が容易なモデル拡張トリックを3つ提示する。
実験の結果,MA-GCLはノード分類ベンチマークで最先端の性能を達成できることがわかった。
論文 参考訳（メタデータ） (2022-12-14T05:04:10Z) - Localized Contrastive Learning on Graphs [110.54606263711385]
局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。
その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
論文 参考訳（メタデータ） (2022-12-08T23:36:00Z) - Single-Pass Contrastive Learning Can Work for Both Homophilic and
Heterophilic Graph [60.28340453547902]
グラフコントラッシブ・ラーニング(GCL)技術は通常、コントラッシブ・ロスを構築するために単一のインスタンスに対して2つのフォワードパスを必要とする。
既存のGCLアプローチは、強力なパフォーマンス保証を提供していない。
我々はSingle-Pass Graph Contrastive Learning法(SP-GCL)を実装した。
経験的に、SP-GCLが学んだ機能は、計算オーバーヘッドを著しく少なくして、既存の強いベースラインにマッチまたは性能を向上することができる。
論文 参考訳（メタデータ） (2022-11-20T07:18:56Z) - Unifying Graph Contrastive Learning with Flexible Contextual Scopes [57.86762576319638]
フレキシブルコンテキストスコープを用いたグラフコントラスト学習(略してUGCL)という自己教師型学習手法を提案する。
本アルゴリズムは,隣接行列のパワーを制御し,コンテキストスコープによるフレキシブルな文脈表現を構築する。
局所的スコープと文脈的スコープの両方の表現に基づいて、distLはグラフ表現学習のための非常に単純な対照的な損失関数を最適化する。
論文 参考訳（メタデータ） (2022-10-17T07:16:17Z) - Structural and Semantic Contrastive Learning for Self-supervised Node
Representation Learning [32.126228702554144]
グラフコントラスト学習(GCL)は、自己教師型で一般化可能、転送可能、堅牢なノード表現を学習するために多くの研究関心を集めている。
この作業では、既存の教師なしのGCLを超越して、シンプルだが効果的なフレームワークであるS$3$-CLを提案し、それらの制限に対処します。
実験の結果、S$3$-CLで学習したノード表現は、最先端のGCL法と比較して、異なるダウンストリームタスクにおいて優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2022-02-17T07:20:09Z) - Adversarial Graph Augmentation to Improve Graph Contrastive Learning [21.54343383921459]
本稿では,GNNがトレーニング中に冗長な情報を捕捉することを避けるために,AD-GCL(adversarial-GCL)と呼ばれる新しい原理を提案する。
我々は、AD-GCLを最先端のGCL法と比較し、教師なしで最大$14%、転送で$6%、半教師なしの学習環境で$3%の性能向上を達成した。
論文 参考訳（メタデータ） (2021-06-10T15:34:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。