論文の概要: Perfect Alignment May be Poisonous to Graph Contrastive Learning

• arxiv url: http://arxiv.org/abs/2310.03977v1
• Date: Fri, 6 Oct 2023 02:22:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-10 03:45:18.400327
• Title: Perfect Alignment May be Poisonous to Graph Contrastive Learning
• Title（参考訳）: 完璧なアライメントはグラフのコントラスト学習にとって有害かもしれない
• Authors: Jingyu Liu, Huayi Tang, Yong Liu
• Abstract要約: Graph Contrastive Learning (GCL)は、正のペアの整列と負のペアの分離によるノード表現の学習を目的としている。 本稿では,コントラスト学習の一般化を検討するとともに,強化と下流性能の関連性を確立する。
• 参考スコア（独自算出の注目度）: 17.60994783982629
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Contrastive Learning (GCL) aims to learn node representations by aligning positive pairs and separating negative ones. However, limited research has been conducted on the inner law behind specific augmentations used in graph-based learning. What kind of augmentation will help downstream performance, how does contrastive learning actually influence downstream tasks, and why the magnitude of augmentation matters? This paper seeks to address these questions by establishing a connection between augmentation and downstream performance, as well as by investigating the generalization of contrastive learning. Our findings reveal that GCL contributes to downstream tasks mainly by separating different classes rather than gathering nodes of the same class. So perfect alignment and augmentation overlap which draw all intra-class samples the same can not explain the success of contrastive learning. Then in order to comprehend how augmentation aids the contrastive learning process, we conduct further investigations into its generalization, finding that perfect alignment that draw positive pair the same could help contrastive loss but is poisonous to generalization, on the contrary, imperfect alignment enhances the model's generalization ability. We analyse the result by information theory and graph spectrum theory respectively, and propose two simple but effective methods to verify the theories. The two methods could be easily applied to various GCL algorithms and extensive experiments are conducted to prove its effectiveness.
• Abstract（参考訳）: Graph Contrastive Learning (GCL)は、正のペアの整列と負のペアの分離によるノード表現の学習を目的としている。 しかし、グラフベースの学習で使われる特定の拡張の背後にある内法に関する限られた研究が行われている。 ダウンストリームのパフォーマンス向上,コントラスト学習が下流タスクにどのように影響するか,拡張の規模はなぜ重要なのか? 本稿では,強化と下流パフォーマンスの関連を確立するとともに,コントラスト学習の一般化について検討することを目的とした。 以上の結果から,gclは,同一クラスのノードを収集するのではなく,クラスを分離することで,主に下流タスクに寄与することが明らかとなった。 したがって、クラス内のすべてのサンプルを同じ方法で描画する完全なアライメントと拡張の重複は、コントラスト学習の成功を説明できない。 そして, 拡張がコントラスト学習の過程をどのように助けるかを理解するために, その一般化についてさらなる調査を行い, 正のペアを引き出す完全アライメントがコントラストの損失に寄与するが, 一般化に毒となることを見出し, 逆に不完全アライメントはモデルの一般化能力を高める。 本稿では,情報理論とグラフスペクトル理論を用いて解析を行い,理論を検証するための2つの単純かつ効果的な方法を提案する。 この2つの手法は様々なGCLアルゴリズムに容易に適用でき、その有効性を証明するために広範な実験が行われた。

関連論文リスト

• Topology Reorganized Graph Contrastive Learning with Mitigating Semantic Drift [28.83750578838018]
  グラフコントラスト学習(GCL)は、グラフにおけるノード表現学習に有効なパラダイムである。 対照的な視点の多様性を高めるために,現在のGCLを補うための2つの単純かつ効果的なグローバルトポロジ的拡張を提案する。
  論文  参考訳（メタデータ） (2024-07-23T13:55:33Z)
• Decoupled Contrastive Learning for Long-Tailed Recognition [58.255966442426484]
  Supervised Contrastive Loss (SCL) は視覚表現学習で人気がある。 ロングテール認識のシナリオでは、各クラスのサンプル数が不均衡である場合、2種類の正のサンプルを同じように扱うと、カテゴリー内距離に対するバイアス最適化が導かれる。 そこで我々は,尾級の低表現を緩和するために,頭級から尾級へ知識を伝達するためのパッチベースの自己蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-03-10T09:46:28Z)
• Graph Contrastive Learning Meets Graph Meta Learning: A Unified Method for Few-shot Node Tasks [68.60884768323739]
  Contrastive Few-Shot Node Classification (COLA)を紹介する。 COLAはグラフ拡張を使用して意味的に類似したノードを識別し、ラベル情報を必要としないメタタスクの構築を可能にする。 広範な実験を通じて、我々は設計における各コンポーネントの本質を検証し、COLAが全てのタスクにおいて新しい最先端を達成することを実証する。
  論文  参考訳（メタデータ） (2023-09-19T07:24:10Z)
• Adversarial Learning Data Augmentation for Graph Contrastive Learning in Recommendation [56.10351068286499]
  グラフコントラスト学習のための学習可能なデータ拡張法(LDA-GCL)を提案する。 提案手法は,InfoMin と InfoMax の原則に従うデータ強化学習とグラフコントラスト学習を含む。 本手法は,データ拡張とユーザやアイテムの効果的な表現を学習するために,対向損失関数を最適化する。
  論文  参考訳（メタデータ） (2023-02-05T06:55:51Z)
• Coarse-to-Fine Contrastive Learning on Graphs [38.41992365090377]
  ノード表現を自己管理的に学習するために、さまざまなグラフ拡張戦略が採用されている。 我々は,異なるノード間の識別情報を確実に維持するために,自己評価パラダイムを導入する。 各種ベンチマークデータセットの実験結果から,提案アルゴリズムの有効性を検証した。
  論文  参考訳（メタデータ） (2022-12-13T08:17:20Z)
• Localized Contrastive Learning on Graphs [110.54606263711385]
  局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。 その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
  論文  参考訳（メタデータ） (2022-12-08T23:36:00Z)
• Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
  コントラスト学習の下流性能に関する新たな保証を提案する。 我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。 本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:36:26Z)
• GraphCoCo: Graph Complementary Contrastive Learning [65.89743197355722]
  グラフコントラスト学習(GCL)は、手作業によるアノテーションの監督なしに、グラフ表現学習(GRL)において有望な性能を示した。 本稿では,この課題に対処するため,グラフココというグラフ補完型コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2022-03-24T02:58:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。