論文の概要: Enhancing Graph Contrastive Learning with Node Similarity
- arxiv url: http://arxiv.org/abs/2208.06743v1
- Date: Sat, 13 Aug 2022 22:49:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-16 14:22:08.540908
- Title: Enhancing Graph Contrastive Learning with Node Similarity
- Title（参考訳）: ノード類似性によるグラフコントラスト学習の強化
- Authors: Hongliang Chi, Yao Ma
- Abstract要約: グラフコントラスト学習(GCL)は、自己教師型学習の代表的なフレームワークである。
GCLは、意味的に類似したノード(正のサンプル)と異種ノード(負のサンプル)とアンカーノードとの対比によってノード表現を学習する。
本稿では,全ての正のサンプルと偽陰性サンプルを含まない拡張目的を提案する。
- 参考スコア（独自算出の注目度）: 4.60032347615771
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graph Neural Networks (GNNs) have achieved great success in learning graph
representations and thus facilitating various graph-related tasks. However,
most GNN methods adopt a supervised learning setting, which is not always
feasible in real-world applications due to the difficulty to obtain labeled
data. Hence, graph self-supervised learning has been attracting increasing
attention. Graph contrastive learning (GCL) is a representative framework for
self-supervised learning. In general, GCL learns node representations by
contrasting semantically similar nodes (positive samples) and dissimilar nodes
(negative samples) with anchor nodes. Without access to labels, positive
samples are typically generated by data augmentation, and negative samples are
uniformly sampled from the entire graph, which leads to a sub-optimal
objective. Specifically, data augmentation naturally limits the number of
positive samples that involve in the process (typically only one positive
sample is adopted). On the other hand, the random sampling process would
inevitably select false-negative samples (samples sharing the same semantics
with the anchor). These issues limit the learning capability of GCL. In this
work, we propose an enhanced objective that addresses the aforementioned
issues. We first introduce an unachievable ideal objective that contains all
positive samples and no false-negative samples. This ideal objective is then
transformed into a probabilistic form based on the distributions for sampling
positive and negative samples. We then model these distributions with node
similarity and derive the enhanced objective. Comprehensive experiments on
various datasets demonstrate the effectiveness of the proposed enhanced
objective under different settings.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ表現を学習し、様々なグラフ関連タスクを容易にすることに成功した。
しかし、ほとんどのGNN手法は教師付き学習環境を採用しており、ラベル付きデータを得るのが困難であるため、現実のアプリケーションでは必ずしも実現できない。
そのため、グラフ自己教師付き学習が注目を集めている。
グラフコントラスト学習(gcl)は、自己監督学習の代表的なフレームワークである。
一般に、gclは意味的に類似したノード(正のサンプル)と異なる類似のノード(負のサンプル)をアンカーノードと対比してノード表現を学ぶ。
ラベルへのアクセスがなければ、正のサンプルは通常データ拡張によって生成され、負のサンプルはグラフ全体から一様にサンプリングされる。
具体的には、データ拡張はプロセスに関与する正のサンプルの数(典型的には1つの正のサンプルのみが採用される)を自然に制限する。
一方、ランダムサンプリングプロセスは必然的に偽陰性サンプル(アンカーと同じ意味論を共有するサンプル)を選択する。
これらの問題はGCLの学習能力を制限する。
本稿では,上記の課題を解決するための拡張目標を提案する。
まず、すべての正のサンプルと偽陰性のサンプルを含まない、達成不可能な理想的目的を導入する。
この理想的な目的は、正と負のサンプルをサンプリングする分布に基づいて確率形式に変換される。
次に、これらの分布をノード類似度でモデル化し、拡張された目的を導出する。
様々なデータセットに関する包括的実験は、異なる設定下で提案された拡張目的の有効性を示す。
関連論文リスト
- Bootstrap Latents of Nodes and Neighbors for Graph Self-Supervised Learning [27.278097015083343]
対照的な学習は、モデルの崩壊を防ぎ、差別的な表現を学ぶために負のサンプルを必要とする。
我々は、アンカーノードに対する隣人の支持率を予測するために、クロスアテンションモジュールを導入する。
本手法は, 負の正試料と雑音の正試料とのクラス衝突を緩和し, クラス内コンパクト度を同時に向上する。
論文 参考訳（メタデータ） (2024-08-09T14:17:52Z) - The Heterophilic Snowflake Hypothesis: Training and Empowering GNNs for Heterophilic Graphs [59.03660013787925]
ヘテロフィリー・スノーフレーク仮説を導入し、ヘテロ親和性グラフの研究をガイドし、促進するための効果的なソリューションを提供する。
観察の結果,我々のフレームワークは多種多様なタスクのための多目的演算子として機能することがわかった。
さまざまなGNNフレームワークに統合することができ、パフォーマンスを詳細に向上し、最適なネットワーク深さを選択するための説明可能なアプローチを提供する。
論文 参考訳（メタデータ） (2024-06-18T12:16:00Z) - Graph Ranking Contrastive Learning: A Extremely Simple yet Efficient Method [17.760628718072144]
InfoNCEは2つのビューを得るために拡張技術を使用し、1つのビューのノードがアンカーとして機能し、もう1つのビューの対応するノードが正のサンプルとして機能し、他のすべてのノードが負のサンプルとみなされる。
目標は、アンカーノードと正のサンプルの間の距離を最小化し、負のサンプルまでの距離を最大化することである。
トレーニング中にラベル情報が不足しているため、InfoNCEは必然的に同じクラスのサンプルを負のサンプルとして扱い、偽の負のサンプルの問題を引き起こす。
偽陰性サンプルの問題に対処する簡易かつ効率的なグラフコントラスト学習法であるGraphRankを提案する。
論文 参考訳（メタデータ） (2023-10-23T03:15:57Z) - GRAPES: Learning to Sample Graphs for Scalable Graph Neural Networks [2.4175455407547015]
グラフニューラルネットワークは、隣人からの情報を集約することでノードを表現することを学ぶ。
いくつかの既存手法では、ノードの小さなサブセットをサンプリングし、GNNをもっと大きなグラフにスケールすることで、この問題に対処している。
本稿では,GNNのトレーニングに不可欠なノードの集合を識別する適応サンプリング手法であるGRAPESを紹介する。
論文 参考訳（メタデータ） (2023-10-05T09:08:47Z) - STERLING: Synergistic Representation Learning on Bipartite Graphs [78.86064828220613]
二部グラフ表現学習の基本的な課題は、ノードの埋め込みを抽出する方法である。
最近の二部グラフSSL法は、正ノード対と負ノード対を識別することによって埋め込みを学習する対照的な学習に基づいている。
負のノードペアを持たないノード埋め込みを学習するための新しい相乗的表現学習モデル(STERling)を提案する。
論文 参考訳（メタデータ） (2023-01-25T03:21:42Z) - Graph Convolutional Neural Networks with Diverse Negative Samples via
Decomposed Determinant Point Processes [21.792376993468064]
グラフ畳み込みネットワーク(GCN)はグラフ表現学習において大きな成功を収めている。
本稿では, 様々な負のサンプルを得るために, 品質多様性の分解を決定点過程に用いた。
本稿では,計算効率を向上させるための最短パスベース手法を提案する。
論文 参考訳（メタデータ） (2022-12-05T06:31:31Z) - Similarity-aware Positive Instance Sampling for Graph Contrastive
Pre-training [82.68805025636165]
トレーニングセット内の既存グラフから直接正のグラフインスタンスを選択することを提案する。
私たちの選択は、特定のドメイン固有のペアワイズ類似度測定に基づいています。
さらに,ノードを動的にマスキングしてグラフ上に均等に分配する適応ノードレベルの事前学習手法を開発した。
論文 参考訳（メタデータ） (2022-06-23T20:12:51Z) - Prototypical Graph Contrastive Learning [141.30842113683775]
本稿では,有意なサンプリングバイアスを緩和するために,プロトタイプグラフコントラスト学習(PGCL)手法を提案する。
具体的には、PGCLは、グラフデータの基盤となる意味構造を、意味論的に類似したグラフを同じグループにクラスタリングすることでモデル化し、同時に、同じグラフの異なる拡張に対するクラスタリング一貫性を奨励する。
クエリのために、PGCLはさらに、プロトタイプ(クラスタセントロイド)とクエリプロトタイプの間の距離に基づいて、負のサンプルを再重み付けする。
論文 参考訳（メタデータ） (2021-06-17T16:45:31Z) - SCE: Scalable Network Embedding from Sparsest Cut [20.08464038805681]
大規模ネットワーク埋め込みは、教師なしの方法で各ノードの潜在表現を学習することである。
このような対照的な学習手法の成功の鍵は、正と負のサンプルを引き出す方法である。
本稿では, 負のサンプルのみを用いた教師なしネットワーク埋め込みのためのSCEを提案する。
論文 参考訳（メタデータ） (2020-06-30T03:18:15Z) - Sequential Graph Convolutional Network for Active Learning [53.99104862192055]
逐次グラフ畳み込みネットワーク(GCN)を用いた新しいプールベースアクティブラーニングフレームワークを提案する。
少数のランダムなサンプル画像がシードラベル付き例であるので、グラフのパラメータを学習してラベル付きノードと非ラベル付きノードを区別する。
我々はGCNの特性を利用してラベル付けされたものと十分に異なる未ラベルの例を選択する。
論文 参考訳（メタデータ） (2020-06-18T00:55:10Z) - Understanding Negative Sampling in Graph Representation Learning [87.35038268508414]
最適化目標と結果のばらつきを決定するためには, 正のサンプリングと同様に負のサンプリングが重要であることを示す。
我々は,自己コントラスト近似による正の分布を近似し,メトロポリス・ハスティングスによる負のサンプリングを高速化するメトロポリス・ハスティングス(MCNS)を提案する。
提案手法は,リンク予測,ノード分類,パーソナライズドレコメンデーションを含む,下流グラフ学習タスクをカバーする5つのデータセットに対して評価する。
論文 参考訳（メタデータ） (2020-05-20T06:25:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。