論文の概要: Does GCL Need a Large Number of Negative Samples? Enhancing Graph Contrastive Learning with Effective and Efficient Negative Sampling

• arxiv url: http://arxiv.org/abs/2503.17908v1
• Date: Sun, 23 Mar 2025 03:09:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:34:50.483762
• Title: Does GCL Need a Large Number of Negative Samples? Enhancing Graph Contrastive Learning with Effective and Efficient Negative Sampling
• Title（参考訳）: GCLは大量の負のサンプルを必要とするか? 有効かつ効率的な負のサンプリングによるグラフコントラスト学習の強化
• Authors: Yongqi Huang, Jitao Zhao, Dongxiao He, Di Jin, Yuxiao Huang, Zhen Wang,
• Abstract要約: Graph Contrastive Learningは、低次元グラフ表現を自己教師する。 GCLの有効性は多数の負の対に依存するという意見が一致している。 有効かつ効率的な負のサンプルであるE2Negを用いて,GCLと呼ばれる新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 17.51838571216239
• License:
• Abstract: Graph Contrastive Learning (GCL) aims to self-supervised learn low-dimensional graph representations, primarily through instance discrimination, which involves manually mining positive and negative pairs from graphs, increasing the similarity of positive pairs while decreasing negative pairs. Drawing from the success of Contrastive Learning (CL) in other domains, a consensus has been reached that the effectiveness of GCLs depends on a large number of negative pairs. As a result, despite the significant computational overhead, GCLs typically leverage as many negative node pairs as possible to improve model performance. However, given that nodes within a graph are interconnected, we argue that nodes cannot be treated as independent instances. Therefore, we challenge this consensus: Does employing more negative nodes lead to a more effective GCL model? To answer this, we explore the role of negative nodes in the commonly used InfoNCE loss for GCL and observe that: (1) Counterintuitively, a large number of negative nodes can actually hinder the model's ability to distinguish nodes with different semantics. (2) A smaller number of high-quality and non-topologically coupled negative nodes are sufficient to enhance the discriminability of representations. Based on these findings, we propose a new method called GCL with Effective and Efficient Negative samples, E2Neg, which learns discriminative representations using only a very small set of representative negative samples. E2Neg significantly reduces computational overhead and speeds up model training. We demonstrate the effectiveness and efficiency of E2Neg across multiple datasets compared to other GCL methods.
• Abstract（参考訳）: グラフコントラスト学習(GCL)は、主に、グラフから正と負のペアを手作業でマイニングし、負のペアを減少させながら正のペアの類似性を増大させるインスタンス識別を通じて、低次元グラフ表現を自己指導することを目的としている。 他の領域におけるコントラスト学習(CL)の成功から、GCLの有効性は多数の負のペアに依存するという合意に達した。 その結果、計算オーバーヘッドが大きいにもかかわらず、GCLはモデル性能を改善するために可能な限り多くの負のノードペアを利用する。 しかし、グラフ内のノードが相互接続されていることを考えると、ノードは独立したインスタンスとして扱うことはできない。 したがって、我々はこの合意に異議を唱える: より負のノードを使うことはより効果的なGCLモデルにつながるか? この問題に対処するために、GCLで一般的に使用されているInfoNCE損失における負のノードの役割を探り、以下のことを観察する。 2) 表現の識別性を高めるために, 高品質かつ非位相的に結合した負ノードの数が少ない。 これらの結果に基づき,ごく少数の代表的負のサンプルのみを用いて識別表現を学習する,有効かつ効率的な負のサンプルを用いたGCLと呼ばれる新しい手法であるE2Negを提案する。 E2Negは計算オーバーヘッドを大幅に削減し、モデルのトレーニングを高速化する。 我々は、他のGCL法と比較して、複数のデータセットにわたるE2Negの有効性と効率を実証する。

関連論文リスト

• Bootstrap Latents of Nodes and Neighbors for Graph Self-Supervised Learning [27.278097015083343]
  対照的な学習は、モデルの崩壊を防ぎ、差別的な表現を学ぶために負のサンプルを必要とする。 我々は、アンカーノードに対する隣人の支持率を予測するために、クロスアテンションモジュールを導入する。 本手法は, 負の正試料と雑音の正試料とのクラス衝突を緩和し, クラス内コンパクト度を同時に向上する。
  論文  参考訳（メタデータ） (2024-08-09T14:17:52Z)
• Topology Reorganized Graph Contrastive Learning with Mitigating Semantic Drift [28.83750578838018]
  グラフコントラスト学習(GCL)は、グラフにおけるノード表現学習に有効なパラダイムである。 対照的な視点の多様性を高めるために,現在のGCLを補うための2つの単純かつ効果的なグローバルトポロジ的拡張を提案する。
  論文  参考訳（メタデータ） (2024-07-23T13:55:33Z)
• Graph Ranking Contrastive Learning: A Extremely Simple yet Efficient Method [17.760628718072144]
  InfoNCEは2つのビューを得るために拡張技術を使用し、1つのビューのノードがアンカーとして機能し、もう1つのビューの対応するノードが正のサンプルとして機能し、他のすべてのノードが負のサンプルとみなされる。 目標は、アンカーノードと正のサンプルの間の距離を最小化し、負のサンプルまでの距離を最大化することである。 トレーニング中にラベル情報が不足しているため、InfoNCEは必然的に同じクラスのサンプルを負のサンプルとして扱い、偽の負のサンプルの問題を引き起こす。 偽陰性サンプルの問題に対処する簡易かつ効率的なグラフコントラスト学習法であるGraphRankを提案する。
  論文  参考訳（メタデータ） (2023-10-23T03:15:57Z)
• Affinity Uncertainty-based Hard Negative Mining in Graph Contrastive Learning [27.728860211993368]
  強い負のマイニングは、多種多様なデータ型に対する自己教師付きコントラスト学習(CL)の強化に有効である。 本稿では,集合親和性情報に基づく識別モデルを構築し,グラフデータ中の強負を抽出する手法を提案する。 10個のグラフデータセットに対する実験により、我々の手法はグラフとノードの分類タスクにおいて、異なる最先端(SOTA)のGCLメソッドを一貫して拡張することを示した。
  論文  参考訳（メタデータ） (2023-01-31T00:18:03Z)
• STERLING: Synergistic Representation Learning on Bipartite Graphs [78.86064828220613]
  二部グラフ表現学習の基本的な課題は、ノードの埋め込みを抽出する方法である。 最近の二部グラフSSL法は、正ノード対と負ノード対を識別することによって埋め込みを学習する対照的な学習に基づいている。 負のノードペアを持たないノード埋め込みを学習するための新しい相乗的表現学習モデル(STERling)を提案する。
  論文  参考訳（メタデータ） (2023-01-25T03:21:42Z)
• Localized Contrastive Learning on Graphs [110.54606263711385]
  局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。 その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
  論文  参考訳（メタデータ） (2022-12-08T23:36:00Z)
• Rethinking and Scaling Up Graph Contrastive Learning: An Extremely Efficient Approach with Group Discrimination [87.07410882094966]
  グラフコントラスト学習(GCL)は、グラフ表現学習(GRL)におけるラベル情報への依存度を緩和する 自己教師型GRLのための新しい学習パラダイム、すなわちグループ識別(GD)を導入する。 類似性計算の代わりに、GGDは単純なバイナリクロスエントロピー損失を持つ要約ノードインスタンスの2つのグループを直接識別する。 加えて、GGDは大規模データセット上でのGCL法と比較して、競争性能を得るために、はるかに少ないトレーニングエポックを必要とする。
  論文  参考訳（メタデータ） (2022-06-03T12:32:47Z)
• Debiased Graph Contrastive Learning [27.560217866753938]
  本稿では,各負のサンプルが真かどうかの確率を推定する,新規で効果的な手法を提案する。 Debiased Graph Contrastive Learning (DGCL)は、いくつかのベンチマークにおいて、教師なしの最先端結果よりも優れているか、あるいは一致している。
  論文  参考訳（メタデータ） (2021-10-05T13:15:59Z)
• Investigating the Role of Negatives in Contrastive Representation Learning [59.30700308648194]
  ノイズコントラスト学習は教師なし表現学習の一般的な手法である。 我々は、これらのパラメータの1つの役割の曖昧さ、すなわち負の例の数に焦点をあてる。 結果が我々の理論と広く一致しているのに対して、我々の視覚実験はより悪質であり、性能は時々負の数に敏感である。
  論文  参考訳（メタデータ） (2021-06-18T06:44:16Z)
• Prototypical Graph Contrastive Learning [141.30842113683775]
  本稿では,有意なサンプリングバイアスを緩和するために,プロトタイプグラフコントラスト学習(PGCL)手法を提案する。 具体的には、PGCLは、グラフデータの基盤となる意味構造を、意味論的に類似したグラフを同じグループにクラスタリングすることでモデル化し、同時に、同じグラフの異なる拡張に対するクラスタリング一貫性を奨励する。 クエリのために、PGCLはさらに、プロトタイプ(クラスタセントロイド)とクエリプロトタイプの間の距離に基づいて、負のサンプルを再重み付けする。
  論文  参考訳（メタデータ） (2021-06-17T16:45:31Z)
• Contrastive Attraction and Contrastive Repulsion for Representation Learning [131.72147978462348]
  コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。 最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。 自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-08T17:25:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。