論文の概要: Enhancing Graph Contrastive Learning with Node Similarity
- arxiv url: http://arxiv.org/abs/2208.06743v1
- Date: Sat, 13 Aug 2022 22:49:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-16 14:22:08.540908
- Title: Enhancing Graph Contrastive Learning with Node Similarity
- Title(参考訳): ノード類似性によるグラフコントラスト学習の強化
- Authors: Hongliang Chi, Yao Ma
- Abstract要約: グラフコントラスト学習(GCL)は、自己教師型学習の代表的なフレームワークである。
GCLは、意味的に類似したノード(正のサンプル)と異種ノード(負のサンプル)とアンカーノードとの対比によってノード表現を学習する。
本稿では,全ての正のサンプルと偽陰性サンプルを含まない拡張目的を提案する。
- 参考スコア(独自算出の注目度): 4.60032347615771
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graph Neural Networks (GNNs) have achieved great success in learning graph
representations and thus facilitating various graph-related tasks. However,
most GNN methods adopt a supervised learning setting, which is not always
feasible in real-world applications due to the difficulty to obtain labeled
data. Hence, graph self-supervised learning has been attracting increasing
attention. Graph contrastive learning (GCL) is a representative framework for
self-supervised learning. In general, GCL learns node representations by
contrasting semantically similar nodes (positive samples) and dissimilar nodes
(negative samples) with anchor nodes. Without access to labels, positive
samples are typically generated by data augmentation, and negative samples are
uniformly sampled from the entire graph, which leads to a sub-optimal
objective. Specifically, data augmentation naturally limits the number of
positive samples that involve in the process (typically only one positive
sample is adopted). On the other hand, the random sampling process would
inevitably select false-negative samples (samples sharing the same semantics
with the anchor). These issues limit the learning capability of GCL. In this
work, we propose an enhanced objective that addresses the aforementioned
issues. We first introduce an unachievable ideal objective that contains all
positive samples and no false-negative samples. This ideal objective is then
transformed into a probabilistic form based on the distributions for sampling
positive and negative samples. We then model these distributions with node
similarity and derive the enhanced objective. Comprehensive experiments on
various datasets demonstrate the effectiveness of the proposed enhanced
objective under different settings.
- Abstract(参考訳): グラフニューラルネットワーク(GNN)は、グラフ表現を学習し、様々なグラフ関連タスクを容易にすることに成功した。
しかし、ほとんどのGNN手法は教師付き学習環境を採用しており、ラベル付きデータを得るのが困難であるため、現実のアプリケーションでは必ずしも実現できない。
そのため、グラフ自己教師付き学習が注目を集めている。
グラフコントラスト学習(gcl)は、自己監督学習の代表的なフレームワークである。
一般に、gclは意味的に類似したノード(正のサンプル)と異なる類似のノード(負のサンプル)をアンカーノードと対比してノード表現を学ぶ。
ラベルへのアクセスがなければ、正のサンプルは通常データ拡張によって生成され、負のサンプルはグラフ全体から一様にサンプリングされる。
具体的には、データ拡張はプロセスに関与する正のサンプルの数(典型的には1つの正のサンプルのみが採用される)を自然に制限する。
一方、ランダムサンプリングプロセスは必然的に偽陰性サンプル(アンカーと同じ意味論を共有するサンプル)を選択する。
これらの問題はGCLの学習能力を制限する。
本稿では,上記の課題を解決するための拡張目標を提案する。
まず、すべての正のサンプルと偽陰性のサンプルを含まない、達成不可能な理想的目的を導入する。
この理想的な目的は、正と負のサンプルをサンプリングする分布に基づいて確率形式に変換される。
次に、これらの分布をノード類似度でモデル化し、拡張された目的を導出する。
様々なデータセットに関する包括的実験は、異なる設定下で提案された拡張目的の有効性を示す。
関連論文リスト
- Do We Really Need Contrastive Learning for Graph Representation? [18.42853283915796]
グラフコントラスト学習(GCL)は、他のサンプル(負のサンプル)の埋め込みを分離しながら、互いに近接して強化されたアンカーサンプルを埋め込むことを目的としている。
既存のGCL法は、埋め込みの品質を確保するために、大きく多様な負のサンプルを必要とする。
類似度スコアを測定するためにランクに基づく学習を導入し、偽陰性証明をうまく緩和する。
論文 参考訳(メタデータ) (2023-10-23T03:15:57Z) - STERLING: Synergistic Representation Learning on Bipartite Graphs [78.86064828220613]
二部グラフ表現学習の基本的な課題は、ノードの埋め込みを抽出する方法である。
最近の二部グラフSSL法は、正ノード対と負ノード対を識別することによって埋め込みを学習する対照的な学習に基づいている。
負のノードペアを持たないノード埋め込みを学習するための新しい相乗的表現学習モデル(STERling)を提案する。
論文 参考訳(メタデータ) (2023-01-25T03:21:42Z) - Graph Convolutional Neural Networks with Diverse Negative Samples via
Decomposed Determinant Point Processes [21.792376993468064]
グラフ畳み込みネットワーク(GCN)はグラフ表現学習において大きな成功を収めている。
本稿では, 様々な負のサンプルを得るために, 品質多様性の分解を決定点過程に用いた。
本稿では,計算効率を向上させるための最短パスベース手法を提案する。
論文 参考訳(メタデータ) (2022-12-05T06:31:31Z) - Learning from the Dark: Boosting Graph Convolutional Neural Networks
with Diverse Negative Samples [19.588559820438718]
グラフは、大きく、暗く、すべて忘れられた世界を持ち、隣り合うノード(負のサンプル)を見つける。
この大暗黒世界は、表現学習に役立つかもしれない膨大な量の情報を持っていることを示す。
我々の全体的な考え方は、各ノードに対して適切な負のサンプルを選択し、これらのサンプルに含まれる負の情報を表現更新に組み込むことである。
論文 参考訳(メタデータ) (2022-10-03T06:14:21Z) - From Spectral Graph Convolutions to Large Scale Graph Convolutional
Networks [0.0]
グラフ畳み込みネットワーク(GCN)は、様々なタスクにうまく適用された強力な概念であることが示されている。
古典グラフ理論の関連部分を含むGCNの定義への道を開いた理論を考察する。
論文 参考訳(メタデータ) (2022-07-12T16:57:08Z) - Similarity-aware Positive Instance Sampling for Graph Contrastive
Pre-training [82.68805025636165]
トレーニングセット内の既存グラフから直接正のグラフインスタンスを選択することを提案する。
私たちの選択は、特定のドメイン固有のペアワイズ類似度測定に基づいています。
さらに,ノードを動的にマスキングしてグラフ上に均等に分配する適応ノードレベルの事前学習手法を開発した。
論文 参考訳(メタデータ) (2022-06-23T20:12:51Z) - Prototypical Graph Contrastive Learning [141.30842113683775]
本稿では,有意なサンプリングバイアスを緩和するために,プロトタイプグラフコントラスト学習(PGCL)手法を提案する。
具体的には、PGCLは、グラフデータの基盤となる意味構造を、意味論的に類似したグラフを同じグループにクラスタリングすることでモデル化し、同時に、同じグラフの異なる拡張に対するクラスタリング一貫性を奨励する。
クエリのために、PGCLはさらに、プロトタイプ(クラスタセントロイド)とクエリプロトタイプの間の距離に基づいて、負のサンプルを再重み付けする。
論文 参考訳(メタデータ) (2021-06-17T16:45:31Z) - Doubly Contrastive Deep Clustering [135.7001508427597]
本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。
具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。
クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。
このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
論文 参考訳(メタデータ) (2021-03-09T15:15:32Z) - SCE: Scalable Network Embedding from Sparsest Cut [20.08464038805681]
大規模ネットワーク埋め込みは、教師なしの方法で各ノードの潜在表現を学習することである。
このような対照的な学習手法の成功の鍵は、正と負のサンプルを引き出す方法である。
本稿では, 負のサンプルのみを用いた教師なしネットワーク埋め込みのためのSCEを提案する。
論文 参考訳(メタデータ) (2020-06-30T03:18:15Z) - Sequential Graph Convolutional Network for Active Learning [53.99104862192055]
逐次グラフ畳み込みネットワーク(GCN)を用いた新しいプールベースアクティブラーニングフレームワークを提案する。
少数のランダムなサンプル画像がシードラベル付き例であるので、グラフのパラメータを学習してラベル付きノードと非ラベル付きノードを区別する。
我々はGCNの特性を利用してラベル付けされたものと十分に異なる未ラベルの例を選択する。
論文 参考訳(メタデータ) (2020-06-18T00:55:10Z) - Understanding Negative Sampling in Graph Representation Learning [87.35038268508414]
最適化目標と結果のばらつきを決定するためには, 正のサンプリングと同様に負のサンプリングが重要であることを示す。
我々は,自己コントラスト近似による正の分布を近似し,メトロポリス・ハスティングスによる負のサンプリングを高速化するメトロポリス・ハスティングス(MCNS)を提案する。
提案手法は,リンク予測,ノード分類,パーソナライズドレコメンデーションを含む,下流グラフ学習タスクをカバーする5つのデータセットに対して評価する。
論文 参考訳(メタデータ) (2020-05-20T06:25:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。