論文の概要: Graph Ranking Contrastive Learning: A Extremely Simple yet Efficient Method
- arxiv url: http://arxiv.org/abs/2310.14525v2
- Date: Thu, 21 Mar 2024 12:32:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-22 19:56:45.734363
- Title: Graph Ranking Contrastive Learning: A Extremely Simple yet Efficient Method
- Title（参考訳）: グラフランク付けコントラスト学習:非常にシンプルで効率的な方法
- Authors: Yulan Hu, Sheng Ouyang, Jingyu Liu, Ge Chen, Zhirui Yang, Junchen Wan, Fuzheng Zhang, Zhongyuan Wang, Yong Liu,
- Abstract要約: InfoNCEは2つのビューを得るために拡張技術を使用し、1つのビューのノードがアンカーとして機能し、もう1つのビューの対応するノードが正のサンプルとして機能し、他のすべてのノードが負のサンプルとみなされる。
目標は、アンカーノードと正のサンプルの間の距離を最小化し、負のサンプルまでの距離を最大化することである。
トレーニング中にラベル情報が不足しているため、InfoNCEは必然的に同じクラスのサンプルを負のサンプルとして扱い、偽の負のサンプルの問題を引き起こす。
偽陰性サンプルの問題に対処する簡易かつ効率的なグラフコントラスト学習法であるGraphRankを提案する。
- 参考スコア（独自算出の注目度）: 17.760628718072144
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph contrastive learning (GCL) has emerged as a representative graph self-supervised method, achieving significant success. The currently prevalent optimization objective for GCL is InfoNCE. Typically, it employs augmentation techniques to obtain two views, where a node in one view acts as the anchor, the corresponding node in the other view serves as the positive sample, and all other nodes are regarded as negative samples. The goal is to minimize the distance between the anchor node and positive samples and maximize the distance to negative samples. However, due to the lack of label information during training, InfoNCE inevitably treats samples from the same class as negative samples, leading to the issue of false negative samples. This can impair the learned node representations and subsequently hinder performance in downstream tasks. While numerous methods have been proposed to mitigate the impact of false negatives, they still face various challenges. For instance, while increasing the number of negative samples can dilute the impact of false negatives, it concurrently increases computational burden. Thus, we propose GraphRank, a simple yet efficient graph contrastive learning method that addresses the problem of false negative samples by redefining the concept of negative samples to a certain extent, thereby avoiding the issue of false negative samples. The effectiveness of GraphRank is empirically validated through experiments on the node, edge, and graph level tasks.
- Abstract（参考訳）: グラフコントラスト学習(GCL)はグラフ自己教師方式として登場し,大きな成功を収めている。
現在広く使われているGCLの最適化目的はInfoNCEである。
通常、あるビューのノードがアンカーとして機能し、他のビューの対応するノードが正のサンプルとして機能し、他のすべてのノードが負のサンプルとみなされる。
目標は、アンカーノードと正のサンプルの間の距離を最小化し、負のサンプルまでの距離を最大化することである。
しかし、トレーニング中にラベル情報が不足しているため、InfoNCEは必然的に、同じクラスからのサンプルを負のサンプルとして扱い、偽の負のサンプルの問題を引き起こす。
これにより、学習したノード表現が損なわれ、ダウンストリームタスクのパフォーマンスが阻害される。
偽陰性の影響を軽減するために多くの方法が提案されているが、それらは依然として様々な課題に直面している。
例えば、負のサンプルの数を増やすことは偽の負の影響を減らしうるが、同時に計算負担を増大させる。
そこで我々は, 偽陰性サンプルの概念をある程度再定義し, 偽陰性サンプルの問題を回避し, 簡単なグラフ比較学習法であるGraphRankを提案する。
GraphRankの有効性は、ノード、エッジ、グラフレベルのタスクの実験を通じて実証的に検証されている。
関連論文リスト
- From Overfitting to Robustness: Quantity, Quality, and Variety Oriented Negative Sample Selection in Graph Contrastive Learning [38.87932592059369]
グラフコントラスト学習(GCL)は、ノードの埋め込みを学習する正負の学習と対比することを目的としている。
ノード分類下流タスクにおける有意義な埋め込み学習において, 正のサンプルと比較して, 負のサンプルの変化, 量, 品質が重要な役割を担っている。
本研究では, 負のサンプルの品質, バリエーション, 量について包括的に検討し, 新たな累積サンプル選択法を提案する。
論文 参考訳（メタデータ） (2024-06-21T10:47:26Z) - Contrastive Learning with Negative Sampling Correction [52.990001829393506]
PUCL(Positive-Unlabeled Contrastive Learning)という新しいコントラスト学習手法を提案する。
PUCLは生成した負のサンプルをラベルのないサンプルとして扱い、正のサンプルからの情報を用いて、対照的な損失のバイアスを補正する。
PUCLは一般的なコントラスト学習問題に適用でき、様々な画像やグラフの分類タスクにおいて最先端の手法より優れている。
論文 参考訳（メタデータ） (2024-01-13T11:18:18Z) - Graph Self-Contrast Representation Learning [14.519482062111507]
本稿では,新しいグラフ自己コントラストフレームワークGraphSCを提案する。
1つの正のサンプルと1つの負のサンプルしか使用せず、目的として三重項損失を選択する。
我々は,他の19種類の最先端手法に対して,GraphSCの性能を評価するための広範囲な実験を行った。
論文 参考訳（メタデータ） (2023-09-05T15:13:48Z) - Your Negative May not Be True Negative: Boosting Image-Text Matching
with False Negative Elimination [62.18768931714238]
提案手法は, サンプリングによる新規な偽陰性除去 (FNE) 戦略である。
その結果,提案した偽陰性除去戦略の優位性が示された。
論文 参考訳（メタデータ） (2023-08-08T16:31:43Z) - Enhancing Graph Contrastive Learning with Node Similarity [4.60032347615771]
グラフコントラスト学習(GCL)は、自己教師型学習の代表的なフレームワークである。
GCLは、意味的に類似したノード(正のサンプル)と異種ノード(負のサンプル)とアンカーノードとの対比によってノード表現を学習する。
本稿では,全ての正のサンプルと偽陰性サンプルを含まない拡張目的を提案する。
論文 参考訳（メタデータ） (2022-08-13T22:49:20Z) - Generating Counterfactual Hard Negative Samples for Graph Contrastive
Learning [22.200011046576716]
グラフコントラスト学習は教師なしグラフ表現学習の強力なツールである。
最近の研究は、通常、正のサンプルと同一のトレーニングバッチから、または外部の無関係なグラフから、負のサンプルをサンプリングする。
我々は、textbfCounterfactual Mechanism を利用して、TextbfContrastive Learning のための人工的硬質負のサンプルを生成する方法を提案する。
論文 参考訳（メタデータ） (2022-07-01T02:19:59Z) - Prototypical Graph Contrastive Learning [141.30842113683775]
本稿では,有意なサンプリングバイアスを緩和するために,プロトタイプグラフコントラスト学習(PGCL)手法を提案する。
具体的には、PGCLは、グラフデータの基盤となる意味構造を、意味論的に類似したグラフを同じグループにクラスタリングすることでモデル化し、同時に、同じグラフの異なる拡張に対するクラスタリング一貫性を奨励する。
クエリのために、PGCLはさらに、プロトタイプ(クラスタセントロイド)とクエリプロトタイプの間の距離に基づいて、負のサンプルを再重み付けする。
論文 参考訳（メタデータ） (2021-06-17T16:45:31Z) - Doubly Contrastive Deep Clustering [135.7001508427597]
本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。
具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。
クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。
このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
論文 参考訳（メタデータ） (2021-03-09T15:15:32Z) - Contrastive Learning with Hard Negative Samples [80.12117639845678]
我々は, 厳密な陰性サンプルを選択するために, 教師なしサンプリング手法を新たに開発する。
このサンプリングの制限ケースは、各クラスをしっかりとクラスタ化し、可能な限り異なるクラスを遠くにプッシュする表現をもたらす。
提案手法は、複数のモードをまたいだダウンストリーム性能を改善し、実装するコード行数が少なく、計算オーバーヘッドを伴わない。
論文 参考訳（メタデータ） (2020-10-09T14:18:53Z) - SCE: Scalable Network Embedding from Sparsest Cut [20.08464038805681]
大規模ネットワーク埋め込みは、教師なしの方法で各ノードの潜在表現を学習することである。
このような対照的な学習手法の成功の鍵は、正と負のサンプルを引き出す方法である。
本稿では, 負のサンプルのみを用いた教師なしネットワーク埋め込みのためのSCEを提案する。
論文 参考訳（メタデータ） (2020-06-30T03:18:15Z) - Understanding Negative Sampling in Graph Representation Learning [87.35038268508414]
最適化目標と結果のばらつきを決定するためには, 正のサンプリングと同様に負のサンプリングが重要であることを示す。
我々は,自己コントラスト近似による正の分布を近似し,メトロポリス・ハスティングスによる負のサンプリングを高速化するメトロポリス・ハスティングス(MCNS)を提案する。
提案手法は,リンク予測,ノード分類,パーソナライズドレコメンデーションを含む,下流グラフ学習タスクをカバーする5つのデータセットに対して評価する。
論文 参考訳（メタデータ） (2020-05-20T06:25:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。