論文の概要: Do We Really Need Contrastive Learning for Graph Representation?
- arxiv url: http://arxiv.org/abs/2310.14525v1
- Date: Mon, 23 Oct 2023 03:15:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 23:01:59.226490
- Title: Do We Really Need Contrastive Learning for Graph Representation?
- Title（参考訳）: グラフ表現にコントラスト学習は本当に必要か?
- Authors: Yulan Hu, Sheng Ouyang, Jingyu Liu, Ge Chen, Zhirui Yang, Junchen Wan,
Fuzheng Zhang, Zhongyuan Wang, Yong Liu
- Abstract要約: グラフコントラスト学習(GCL)は、他のサンプル(負のサンプル)の埋め込みを分離しながら、互いに近接して強化されたアンカーサンプルを埋め込むことを目的としている。
既存のGCL法は、埋め込みの品質を確保するために、大きく多様な負のサンプルを必要とする。
類似度スコアを測定するためにランクに基づく学習を導入し、偽陰性証明をうまく緩和する。
- 参考スコア（独自算出の注目度）: 18.42853283915796
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, contrastive learning has emerged as a dominant
self-supervised paradigm, attracting numerous research interests in the field
of graph learning. Graph contrastive learning (GCL) aims to embed augmented
anchor samples close to each other while pushing the embeddings of other
samples (negative samples) apart. However, existing GCL methods require large
and diverse negative samples to ensure the quality of embeddings, and recent
studies typically leverage samples excluding the anchor and positive samples as
negative samples, potentially introducing false negative samples (negatives
that share the same class as the anchor). Additionally, this practice can
result in heavy computational burden and high time complexity of $O(N^2)$,
which is particularly unaffordable for large graphs. To address these
deficiencies, we leverage rank learning and propose a simple yet effective
model, GraphRank. Specifically, we first generate two graph views through
corruption. Then, we compute the similarity of pairwise nodes (anchor node and
positive node) in both views, an arbitrary node in the latter view is selected
as a negative node, and its similarity with the anchor node is computed. Based
on this, we introduce rank-based learning to measure similarity scores which
successfully relieve the false negative provlem and decreases the time
complexity from $O(N^2)$ to $O(N)$. Moreover, we conducted extensive
experiments across multiple graph tasks, demonstrating that GraphRank performs
favorably against other cutting-edge GCL methods in various tasks.
- Abstract（参考訳）: 近年,グラフ学習の分野では,コントラスト学習が支配的な自己指導パラダイムとして出現し,多くの研究分野が注目されている。
グラフコントラスト学習(gcl)は、拡張アンカーサンプルを互いに近接させ、他のサンプル(負のサンプル)の埋め込みを分離することを目的としている。
しかし、既存のgcl法は埋め込みの品質を確保するために大きく多様な負のサンプルを必要とし、最近の研究ではアンカーと正のサンプルを除くサンプルを負のサンプルとして活用し、偽の負のサンプル(アンカーと同じクラスを共有する負のサンプル)をもたらす可能性がある。
さらに、この慣行は計算の重荷と、o(n^2)$の高時間複雑性をもたらす可能性がある。
これらの欠陥に対処するために、ランク学習を活用し、シンプルで効果的なモデルであるGraphRankを提案する。
具体的には、腐敗を通じて2つのグラフビューを生成します。
そして、両ビューにおいてペアワイズノード(アンカーノードと正ノード)の類似性を計算し、後者ビューにおける任意のノードを負ノードとして選択し、アンカーノードとの類似性を演算する。
そこで本研究では,擬似負の証明を解消し,時間的複雑性を$O(N^2)$から$O(N)$に下げる類似度スコアをランクベースで測定する学習手法を提案する。
さらに,複数のグラフタスクにまたがる広範な実験を行い,様々なタスクにおいて他の最先端のgcl手法に対してグラフランクが有利に働くことを示した。
関連論文リスト
- From Overfitting to Robustness: Quantity, Quality, and Variety Oriented Negative Sample Selection in Graph Contrastive Learning [38.87932592059369]
グラフコントラスト学習(GCL)は、ノードの埋め込みを学習する正負の学習と対比することを目的としている。
ノード分類下流タスクにおける有意義な埋め込み学習において, 正のサンプルと比較して, 負のサンプルの変化, 量, 品質が重要な役割を担っている。
本研究では, 負のサンプルの品質, バリエーション, 量について包括的に検討し, 新たな累積サンプル選択法を提案する。
論文 参考訳（メタデータ） (2024-06-21T10:47:26Z) - Contrastive Learning with Negative Sampling Correction [52.990001829393506]
PUCL(Positive-Unlabeled Contrastive Learning)という新しいコントラスト学習手法を提案する。
PUCLは生成した負のサンプルをラベルのないサンプルとして扱い、正のサンプルからの情報を用いて、対照的な損失のバイアスを補正する。
PUCLは一般的なコントラスト学習問題に適用でき、様々な画像やグラフの分類タスクにおいて最先端の手法より優れている。
論文 参考訳（メタデータ） (2024-01-13T11:18:18Z) - Graph Self-Contrast Representation Learning [14.519482062111507]
本稿では,新しいグラフ自己コントラストフレームワークGraphSCを提案する。
1つの正のサンプルと1つの負のサンプルしか使用せず、目的として三重項損失を選択する。
我々は,他の19種類の最先端手法に対して,GraphSCの性能を評価するための広範囲な実験を行った。
論文 参考訳（メタデータ） (2023-09-05T15:13:48Z) - Your Negative May not Be True Negative: Boosting Image-Text Matching
with False Negative Elimination [62.18768931714238]
提案手法は, サンプリングによる新規な偽陰性除去 (FNE) 戦略である。
その結果,提案した偽陰性除去戦略の優位性が示された。
論文 参考訳（メタデータ） (2023-08-08T16:31:43Z) - Enhancing Graph Contrastive Learning with Node Similarity [4.60032347615771]
グラフコントラスト学習(GCL)は、自己教師型学習の代表的なフレームワークである。
GCLは、意味的に類似したノード(正のサンプル)と異種ノード(負のサンプル)とアンカーノードとの対比によってノード表現を学習する。
本稿では,全ての正のサンプルと偽陰性サンプルを含まない拡張目的を提案する。
論文 参考訳（メタデータ） (2022-08-13T22:49:20Z) - Generating Counterfactual Hard Negative Samples for Graph Contrastive
Learning [22.200011046576716]
グラフコントラスト学習は教師なしグラフ表現学習の強力なツールである。
最近の研究は、通常、正のサンプルと同一のトレーニングバッチから、または外部の無関係なグラフから、負のサンプルをサンプリングする。
我々は、textbfCounterfactual Mechanism を利用して、TextbfContrastive Learning のための人工的硬質負のサンプルを生成する方法を提案する。
論文 参考訳（メタデータ） (2022-07-01T02:19:59Z) - Prototypical Graph Contrastive Learning [141.30842113683775]
本稿では,有意なサンプリングバイアスを緩和するために,プロトタイプグラフコントラスト学習(PGCL)手法を提案する。
具体的には、PGCLは、グラフデータの基盤となる意味構造を、意味論的に類似したグラフを同じグループにクラスタリングすることでモデル化し、同時に、同じグラフの異なる拡張に対するクラスタリング一貫性を奨励する。
クエリのために、PGCLはさらに、プロトタイプ(クラスタセントロイド)とクエリプロトタイプの間の距離に基づいて、負のサンプルを再重み付けする。
論文 参考訳（メタデータ） (2021-06-17T16:45:31Z) - Doubly Contrastive Deep Clustering [135.7001508427597]
本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。
具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。
クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。
このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
論文 参考訳（メタデータ） (2021-03-09T15:15:32Z) - Contrastive Learning with Hard Negative Samples [80.12117639845678]
我々は, 厳密な陰性サンプルを選択するために, 教師なしサンプリング手法を新たに開発する。
このサンプリングの制限ケースは、各クラスをしっかりとクラスタ化し、可能な限り異なるクラスを遠くにプッシュする表現をもたらす。
提案手法は、複数のモードをまたいだダウンストリーム性能を改善し、実装するコード行数が少なく、計算オーバーヘッドを伴わない。
論文 参考訳（メタデータ） (2020-10-09T14:18:53Z) - SCE: Scalable Network Embedding from Sparsest Cut [20.08464038805681]
大規模ネットワーク埋め込みは、教師なしの方法で各ノードの潜在表現を学習することである。
このような対照的な学習手法の成功の鍵は、正と負のサンプルを引き出す方法である。
本稿では, 負のサンプルのみを用いた教師なしネットワーク埋め込みのためのSCEを提案する。
論文 参考訳（メタデータ） (2020-06-30T03:18:15Z) - Understanding Negative Sampling in Graph Representation Learning [87.35038268508414]
最適化目標と結果のばらつきを決定するためには, 正のサンプリングと同様に負のサンプリングが重要であることを示す。
我々は,自己コントラスト近似による正の分布を近似し,メトロポリス・ハスティングスによる負のサンプリングを高速化するメトロポリス・ハスティングス(MCNS)を提案する。
提案手法は,リンク予測,ノード分類,パーソナライズドレコメンデーションを含む,下流グラフ学習タスクをカバーする5つのデータセットに対して評価する。
論文 参考訳（メタデータ） (2020-05-20T06:25:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。