論文の概要: Perfect Alignment May be Poisonous to Graph Contrastive Learning

• arxiv url: http://arxiv.org/abs/2310.03977v2
• Date: Fri, 24 May 2024 08:01:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 23:56:12.627777
• Title: Perfect Alignment May be Poisonous to Graph Contrastive Learning
• Title（参考訳）: 完璧なアライメントはグラフのコントラスト学習にとって有害かもしれない
• Authors: Jingyu Liu, Huayi Tang, Yong Liu,
• Abstract要約: Graph Contrastive Learning (GCL)は、正のペアの整列と負のペアの分離によってノード表現を学習することを目的としている。 本稿では,アップストリーム性能とダウンストリーム性能の関連性を確立することを目的とする。
• 参考スコア（独自算出の注目度）: 15.668610380413682
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Contrastive Learning (GCL) aims to learn node representations by aligning positive pairs and separating negative ones. However, few of researchers have focused on the inner law behind specific augmentations used in graph-based learning. What kind of augmentation will help downstream performance, how does contrastive learning actually influence downstream tasks, and why the magnitude of augmentation matters so much? This paper seeks to address these questions by establishing a connection between augmentation and downstream performance. Our findings reveal that GCL contributes to downstream tasks mainly by separating different classes rather than gathering nodes of the same class. So perfect alignment and augmentation overlap which draw all intra-class samples the same can not fully explain the success of contrastive learning. Therefore, in order to understand how augmentation aids the contrastive learning process, we conduct further investigations into the generalization, finding that perfect alignment that draw positive pair the same could help contrastive loss but is poisonous to generalization, as a result, perfect alignment may not lead to best downstream performance, so specifically designed augmentation is needed to achieve appropriate alignment performance and improve downstream accuracy. We further analyse the result by information theory and graph spectrum theory and propose two simple but effective methods to verify the theories. The two methods could be easily applied to various GCL algorithms and extensive experiments are conducted to prove its effectiveness. The code is available at https://github.com/somebodyhh1/GRACEIS
• Abstract（参考訳）: Graph Contrastive Learning (GCL)は、正のペアの整列と負のペアの分離によるノード表現の学習を目的としている。 しかし、グラフベースの学習で使われる特定の拡張の背後にある法則に注目する研究者はほとんどいない。 ダウンストリームのパフォーマンス向上,コントラスト学習がダウンストリームタスクにどのように影響を与えるのか,拡張の規模がそれほど重要になるのはなぜか? 本稿では,これらの問題に対して,増大と下流性能の関連性を確立することで対処する。 以上の結果から,GCLが下流タスクに寄与していることが明らかとなった。 そのため、すべてのクラス内サンプルを同一に描画する完全なアライメントと拡張のオーバーラップは、対照的な学習の成功を完全に説明できない。 そこで, 正の対を同一に引く完全アライメントは, コントラスト的な損失に寄与するが, 結果として, 完全アライメントが最良なダウンストリーム性能に至らないため, 適切なアライメント性能を実現し, 下流精度を向上させるために, 特別に設計されたアライメントが必要である。 さらに,情報理論とグラフスペクトル理論による解析を行い,理論を検証するための2つの単純かつ効果的な方法を提案する。 この2つの手法は様々なGCLアルゴリズムに容易に適用でき、その有効性を証明するために広範な実験が実施されている。 コードはhttps://github.com/somebodyhh1/GRACEISで公開されている。

関連論文リスト

• Topology Reorganized Graph Contrastive Learning with Mitigating Semantic Drift [28.83750578838018]
  グラフコントラスト学習(GCL)は、グラフにおけるノード表現学習に有効なパラダイムである。 対照的な視点の多様性を高めるために,現在のGCLを補うための2つの単純かつ効果的なグローバルトポロジ的拡張を提案する。
  論文  参考訳（メタデータ） (2024-07-23T13:55:33Z)
• Decoupled Contrastive Learning for Long-Tailed Recognition [58.255966442426484]
  Supervised Contrastive Loss (SCL) は視覚表現学習で人気がある。 ロングテール認識のシナリオでは、各クラスのサンプル数が不均衡である場合、2種類の正のサンプルを同じように扱うと、カテゴリー内距離に対するバイアス最適化が導かれる。 そこで我々は,尾級の低表現を緩和するために,頭級から尾級へ知識を伝達するためのパッチベースの自己蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-03-10T09:46:28Z)
• Graph Contrastive Learning Meets Graph Meta Learning: A Unified Method for Few-shot Node Tasks [68.60884768323739]
  Contrastive Few-Shot Node Classification (COLA)を紹介する。 COLAはグラフ拡張を使用して意味的に類似したノードを識別し、ラベル情報を必要としないメタタスクの構築を可能にする。 広範な実験を通じて、我々は設計における各コンポーネントの本質を検証し、COLAが全てのタスクにおいて新しい最先端を達成することを実証する。
  論文  参考訳（メタデータ） (2023-09-19T07:24:10Z)
• Adversarial Learning Data Augmentation for Graph Contrastive Learning in Recommendation [56.10351068286499]
  グラフコントラスト学習のための学習可能なデータ拡張法(LDA-GCL)を提案する。 提案手法は,InfoMin と InfoMax の原則に従うデータ強化学習とグラフコントラスト学習を含む。 本手法は,データ拡張とユーザやアイテムの効果的な表現を学習するために,対向損失関数を最適化する。
  論文  参考訳（メタデータ） (2023-02-05T06:55:51Z)
• Coarse-to-Fine Contrastive Learning on Graphs [38.41992365090377]
  ノード表現を自己管理的に学習するために、さまざまなグラフ拡張戦略が採用されている。 我々は,異なるノード間の識別情報を確実に維持するために,自己評価パラダイムを導入する。 各種ベンチマークデータセットの実験結果から,提案アルゴリズムの有効性を検証した。
  論文  参考訳（メタデータ） (2022-12-13T08:17:20Z)
• Localized Contrastive Learning on Graphs [110.54606263711385]
  局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。 その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
  論文  参考訳（メタデータ） (2022-12-08T23:36:00Z)
• Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
  コントラスト学習の下流性能に関する新たな保証を提案する。 我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。 本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:36:26Z)
• GraphCoCo: Graph Complementary Contrastive Learning [65.89743197355722]
  グラフコントラスト学習(GCL)は、手作業によるアノテーションの監督なしに、グラフ表現学習(GRL)において有望な性能を示した。 本稿では,この課題に対処するため,グラフココというグラフ補完型コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2022-03-24T02:58:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。