論文の概要: Bootstrap Latents of Nodes and Neighbors for Graph Self-Supervised Learning
- arxiv url: http://arxiv.org/abs/2408.05087v1
- Date: Fri, 9 Aug 2024 14:17:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-12 15:37:31.442559
- Title: Bootstrap Latents of Nodes and Neighbors for Graph Self-Supervised Learning
- Title（参考訳）: グラフ自己教師型学習のためのノードと近隣ノードのブートストラップ遅延
- Authors: Yunhui Liu, Huaisong Zhang, Tieke He, Tao Zheng, Jianhua Zhao,
- Abstract要約: 対照的な学習は、モデルの崩壊を防ぎ、差別的な表現を学ぶために負のサンプルを必要とする。
我々は、アンカーノードに対する隣人の支持率を予測するために、クロスアテンションモジュールを導入する。
本手法は, 負の正試料と雑音の正試料とのクラス衝突を緩和し, クラス内コンパクト度を同時に向上する。
- 参考スコア（独自算出の注目度）: 27.278097015083343
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Contrastive learning is a significant paradigm in graph self-supervised learning. However, it requires negative samples to prevent model collapse and learn discriminative representations. These negative samples inevitably lead to heavy computation, memory overhead and class collision, compromising the representation learning. Recent studies present that methods obviating negative samples can attain competitive performance and scalability enhancements, exemplified by bootstrapped graph latents (BGRL). However, BGRL neglects the inherent graph homophily, which provides valuable insights into underlying positive pairs. Our motivation arises from the observation that subtly introducing a few ground-truth positive pairs significantly improves BGRL. Although we can't obtain ground-truth positive pairs without labels under the self-supervised setting, edges in the graph can reflect noisy positive pairs, i.e., neighboring nodes often share the same label. Therefore, we propose to expand the positive pair set with node-neighbor pairs. Subsequently, we introduce a cross-attention module to predict the supportiveness score of a neighbor with respect to the anchor node. This score quantifies the positive support from each neighboring node, and is encoded into the training objective. Consequently, our method mitigates class collision from negative and noisy positive samples, concurrently enhancing intra-class compactness. Extensive experiments are conducted on five benchmark datasets and three downstream task node classification, node clustering, and node similarity search. The results demonstrate that our method generates node representations with enhanced intra-class compactness and achieves state-of-the-art performance.
- Abstract（参考訳）: コントラスト学習はグラフ自己教師型学習において重要なパラダイムである。
しかし、モデル崩壊の防止と識別表現の学習には負のサンプルが必要である。
これらの負のサンプルは必然的に重い計算、メモリオーバーヘッド、クラス衝突を引き起こし、表現学習を妥協させる。
近年の研究では, ブートストラップグラフラテント (BGRL) を例として, 負のサンプルを排除し, 競争性能と拡張性を向上させる手法が提案されている。
しかし、BGRLは固有のグラフホモフィリーを無視し、基礎となる正の対について貴重な洞察を与える。
我々のモチベーションは、少数の接地的正のペアを微妙に導入することでBGRLを著しく改善する、という観察から生じる。
自己監督された設定の下でラベルがなければ、基底的正の対は得られないが、グラフの辺はノイズの多い正の対を反映することができる。
そこで我々はノード近傍のペアで正のペア集合を拡張することを提案する。
その後、アンカーノードに対する隣人の支持率を予測するために、クロスアテンションモジュールを導入する。
このスコアは、各隣接ノードからの正の支持を定量化し、トレーニング目標にエンコードされる。
その結果, 負の正試料と雑音の正試料とのクラス衝突を緩和し, クラス内コンパクト性を同時に向上させることができた。
5つのベンチマークデータセットと3つのダウンストリームタスクノード分類、ノードクラスタリング、ノード類似性検索で大規模な実験が行われた。
提案手法は,クラス内コンパクト性を高めたノード表現を生成し,最先端性能を実現する。
関連論文リスト
- Negative-Free Self-Supervised Gaussian Embedding of Graphs [29.26519601854811]
グラフコントラスト学習(GCL)は、有望なグラフ自己教師型学習フレームワークとして登場した。
正規化された等方的ガウス関数に従って分布する点が単位超球面全体に均一に広がるという事実に着想を得た、一様性を達成するための負の目的を提案する。
提案手法は,既存のGCL法と比較して,少ないパラメータ,短いトレーニング時間,少ないメモリ消費で競合性能を実現する。
論文 参考訳（メタデータ） (2024-11-02T07:04:40Z) - Reliable Node Similarity Matrix Guided Contrastive Graph Clustering [51.23437296378319]
我々は、新しいフレームワーク、Reliable Node similarity Matrix Guided Contrastive Graph Clustering (NS4GC)を紹介した。
本手法は,ノード近傍のアライメントとセマンティック・アウェア・スパリフィケーションを導入し,ノード類似度行列が正確かつ効率的にスパースであることを保証する。
論文 参考訳（メタデータ） (2024-08-07T13:36:03Z) - Smoothed Graph Contrastive Learning via Seamless Proximity Integration [30.247207861739245]
グラフコントラスト学習(GCL)はノードペアを正と負に分類することでノード表現を整列させる。
SGCL(Smoothed Graph Contrastive Learning Model)を提案する。
提案したSGCLは,3つの異なる平滑化手法を取り入れることで,ノード対に付随するペナルティを対照的な損失で調整する。
論文 参考訳（メタデータ） (2024-02-23T11:32:46Z) - Pseudo Contrastive Learning for Graph-based Semi-supervised Learning [67.37572762925836]
Pseudo Labelingは、グラフニューラルネットワーク(GNN)の性能向上に使用されるテクニックである。
我々はPseudo Contrastive Learning(PCL)と呼ばれるGNNのための一般的なフレームワークを提案する。
論文 参考訳（メタデータ） (2023-02-19T10:34:08Z) - STERLING: Synergistic Representation Learning on Bipartite Graphs [78.86064828220613]
二部グラフ表現学習の基本的な課題は、ノードの埋め込みを抽出する方法である。
最近の二部グラフSSL法は、正ノード対と負ノード対を識別することによって埋め込みを学習する対照的な学習に基づいている。
負のノードペアを持たないノード埋め込みを学習するための新しい相乗的表現学習モデル(STERling)を提案する。
論文 参考訳（メタデータ） (2023-01-25T03:21:42Z) - Cluster-guided Contrastive Graph Clustering Network [53.16233290797777]
クラスタ誘導コントラストグラフクラスタリングネットワーク(CCGC)を提案する。
我々は、兄弟のサブネットワーク間で重みが共有されない特別なシームズエンコーダを設計することにより、グラフの2つのビューを構築する。
意味的な負のサンプルペアを構築するために、異なる高信頼度クラスタの中心を負のサンプルとみなす。
論文 参考訳（メタデータ） (2023-01-03T13:42:38Z) - Enhancing Graph Contrastive Learning with Node Similarity [4.60032347615771]
グラフコントラスト学習(GCL)は、自己教師型学習の代表的なフレームワークである。
GCLは、意味的に類似したノード(正のサンプル)と異種ノード(負のサンプル)とアンカーノードとの対比によってノード表現を学習する。
本稿では,全ての正のサンプルと偽陰性サンプルを含まない拡張目的を提案する。
論文 参考訳（メタデータ） (2022-08-13T22:49:20Z) - Structure-Aware Hard Negative Mining for Heterogeneous Graph Contrastive
Learning [21.702342154458623]
本稿では,グラフニューラルネットワーク(GNN)におけるコントラスト学習(CL)について検討する。
まず、メタパスとネットワークスキーマに基づいて複数のセマンティックビューを生成します。
次に、異なるセマンティックビューに対応するノードの埋め込み(陽性)を押して、他の埋め込み(負)を引き離します。
複雑なグラフ構造とGNNの滑らかな性質を考慮し,構造を考慮した強負のマイニング手法を提案する。
論文 参考訳（メタデータ） (2021-08-31T14:44:49Z) - Doubly Contrastive Deep Clustering [135.7001508427597]
本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。
具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。
クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。
このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
論文 参考訳（メタデータ） (2021-03-09T15:15:32Z) - Maximizing Cohesion and Separation in Graph Representation Learning: A
Distance-aware Negative Sampling Approach [9.278968846447215]
非教師付きグラフ表現学習(GRL)とは、与えられた未ラベルグラフの構造を反映したノード埋め込みの低次元空間を学習することである。
このタスクの既存のアルゴリズムは、近隣ノードへのノード埋め込みの類似性を最大化する負のサンプリング目的に依存している。
本稿では,遠隔ノードペアの分離を最大化する,距離対応負サンプリング(DNS)を提案する。
論文 参考訳（メタデータ） (2020-07-02T22:40:38Z) - Understanding Negative Sampling in Graph Representation Learning [87.35038268508414]
最適化目標と結果のばらつきを決定するためには, 正のサンプリングと同様に負のサンプリングが重要であることを示す。
我々は,自己コントラスト近似による正の分布を近似し,メトロポリス・ハスティングスによる負のサンプリングを高速化するメトロポリス・ハスティングス(MCNS)を提案する。
提案手法は,リンク予測,ノード分類,パーソナライズドレコメンデーションを含む,下流グラフ学習タスクをカバーする5つのデータセットに対して評価する。
論文 参考訳（メタデータ） (2020-05-20T06:25:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。