論文の概要: Prototypical Graph Contrastive Learning

• arxiv url: http://arxiv.org/abs/2106.09645v1
• Date: Thu, 17 Jun 2021 16:45:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-18 19:13:48.204391
• Title: Prototypical Graph Contrastive Learning
• Title（参考訳）: 原型的グラフコントラスト学習
• Authors: Shuai Lin, Pan Zhou, Zi-Yuan Hu, Shuojia Wang, Ruihui Zhao, Yefeng Zheng, Liang Lin, Eric Xing, Xiaodan Liang
• Abstract要約: 本稿では,有意なサンプリングバイアスを緩和するために,プロトタイプグラフコントラスト学習(PGCL)手法を提案する。 具体的には、PGCLは、グラフデータの基盤となる意味構造を、意味論的に類似したグラフを同じグループにクラスタリングすることでモデル化し、同時に、同じグラフの異なる拡張に対するクラスタリング一貫性を奨励する。 クエリのために、PGCLはさらに、プロトタイプ(クラスタセントロイド)とクエリプロトタイプの間の距離に基づいて、負のサンプルを再重み付けする。
• 参考スコア（独自算出の注目度）: 141.30842113683775
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Graph-level representations are critical in various real-world applications, such as predicting the properties of molecules. But in practice, precise graph annotations are generally very expensive and time-consuming. To address this issue, graph contrastive learning constructs instance discrimination task which pulls together positive pairs (augmentation pairs of the same graph) and pushes away negative pairs (augmentation pairs of different graphs) for unsupervised representation learning. However, since for a query, its negatives are uniformly sampled from all graphs, existing methods suffer from the critical sampling bias issue, i.e., the negatives likely having the same semantic structure with the query, leading to performance degradation. To mitigate this sampling bias issue, in this paper, we propose a Prototypical Graph Contrastive Learning (PGCL) approach. Specifically, PGCL models the underlying semantic structure of the graph data via clustering semantically similar graphs into the same group, and simultaneously encourages the clustering consistency for different augmentations of the same graph. Then given a query, it performs negative sampling via drawing the graphs from those clusters that differ from the cluster of query, which ensures the semantic difference between query and its negative samples. Moreover, for a query, PGCL further reweights its negative samples based on the distance between their prototypes (cluster centroids) and the query prototype such that those negatives having moderate prototype distance enjoy relatively large weights. This reweighting strategy is proved to be more effective than uniform sampling. Experimental results on various graph benchmarks testify the advantages of our PGCL over state-of-the-art methods.
• Abstract（参考訳）: グラフレベルの表現は、分子の性質を予測するなど、様々な現実世界の応用において重要である。 しかし実際には、正確なグラフアノテーションは一般的に非常に高価で時間を要する。 この問題を解決するために、グラフコントラスト学習は、正のペア(同じグラフの例示ペア)をまとめ、教師なし表現学習のために負のペア(異なるグラフの例示ペア)をプッシュするインスタンス識別タスクを構成する。 しかし、クエリに対して、その負はすべてのグラフから一様にサンプリングされるので、既存のメソッドは、重要なサンプリングバイアスの問題、すなわち、クエリと同一の意味構造を持つ負がパフォーマンスを低下させる可能性に苦しむ。 本稿では,このサンプリングバイアス問題を緩和するために,プロトタイプグラフ比較学習(PGCL)アプローチを提案する。 具体的には、pgclは、同じグループにセマンティクス的に類似したグラフをクラスタリングすることで、グラフデータの基盤となるセマンティクス構造をモデル化し、同時に同じグラフの異なる拡張に対するクラスタリング一貫性を促進する。 そして、クエリが与えられた場合、クエリのクラスタとは異なるクラスタからグラフを描画することで、負のサンプリングを実行し、クエリと負のサンプルとのセマンティックな差異を保証する。 さらに、クエリに対して、PGCLは、そのプロトタイプ(クラスタセントロイド)とクエリプロトタイプの間の距離に基づいて、その負のサンプルをさらに重み付けし、適度なプロトタイプ距離を持つ負が比較的大きな重みを享受できるようにした。 この再加重戦略は均一サンプリングよりも有効であることが証明された。 各種グラフベンチマークにおける実験結果は,最先端手法に対するpgclの利点を検証した。

関連論文リスト

• Topology Reorganized Graph Contrastive Learning with Mitigating Semantic Drift [28.83750578838018]
  グラフコントラスト学習(GCL)は、グラフにおけるノード表現学習に有効なパラダイムである。 対照的な視点の多様性を高めるために,現在のGCLを補うための2つの単純かつ効果的なグローバルトポロジ的拡張を提案する。
  論文  参考訳（メタデータ） (2024-07-23T13:55:33Z)
• Generation is better than Modification: Combating High Class Homophily Variance in Graph Anomaly Detection [51.11833609431406]
  異なるクラス間のホモフィリー分布の差は、ホモフィリックグラフやヘテロフィリックグラフよりも著しく大きい。 我々は、この現象を定量的に記述した、クラスホモフィリーバリアンスと呼ばれる新しい計量を導入する。 その影響を軽減するために,ホモフィリーエッジ生成グラフニューラルネットワーク(HedGe)と呼ばれる新しいGNNモデルを提案する。
  論文  参考訳（メタデータ） (2024-03-15T14:26:53Z)
• Graph Ranking Contrastive Learning: A Extremely Simple yet Efficient Method [17.760628718072144]
  InfoNCEは2つのビューを得るために拡張技術を使用し、1つのビューのノードがアンカーとして機能し、もう1つのビューの対応するノードが正のサンプルとして機能し、他のすべてのノードが負のサンプルとみなされる。 目標は、アンカーノードと正のサンプルの間の距離を最小化し、負のサンプルまでの距離を最大化することである。 トレーニング中にラベル情報が不足しているため、InfoNCEは必然的に同じクラスのサンプルを負のサンプルとして扱い、偽の負のサンプルの問題を引き起こす。 偽陰性サンプルの問題に対処する簡易かつ効率的なグラフコントラスト学習法であるGraphRankを提案する。
  論文  参考訳（メタデータ） (2023-10-23T03:15:57Z)
• Graph Self-Contrast Representation Learning [14.519482062111507]
  本稿では,新しいグラフ自己コントラストフレームワークGraphSCを提案する。 1つの正のサンプルと1つの負のサンプルしか使用せず、目的として三重項損失を選択する。 我々は,他の19種類の最先端手法に対して,GraphSCの性能を評価するための広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-09-05T15:13:48Z)
• Graph Out-of-Distribution Generalization with Controllable Data Augmentation [51.17476258673232]
  グラフニューラルネットワーク(GNN)は,グラフ特性の分類において異常な性能を示した。 トレーニングとテストデータの選択バイアスが原因で、分散偏差が広まっています。 仮想サンプルの分布偏差を測定するためのOODキャリブレーションを提案する。
  論文  参考訳（メタデータ） (2023-08-16T13:10:27Z)
• Generating Counterfactual Hard Negative Samples for Graph Contrastive Learning [22.200011046576716]
  グラフコントラスト学習は教師なしグラフ表現学習の強力なツールである。 最近の研究は、通常、正のサンプルと同一のトレーニングバッチから、または外部の無関係なグラフから、負のサンプルをサンプリングする。 我々は、textbfCounterfactual Mechanism を利用して、TextbfContrastive Learning のための人工的硬質負のサンプルを生成する方法を提案する。
  論文  参考訳（メタデータ） (2022-07-01T02:19:59Z)
• Similarity-aware Positive Instance Sampling for Graph Contrastive Pre-training [82.68805025636165]
  トレーニングセット内の既存グラフから直接正のグラフインスタンスを選択することを提案する。 私たちの選択は、特定のドメイン固有のペアワイズ類似度測定に基づいています。 さらに,ノードを動的にマスキングしてグラフ上に均等に分配する適応ノードレベルの事前学習手法を開発した。
  論文  参考訳（メタデータ） (2022-06-23T20:12:51Z)
• ACTIVE:Augmentation-Free Graph Contrastive Learning for Partial Multi-View Clustering [52.491074276133325]
  部分的マルチビュークラスタリングの問題を解決するために,拡張自由グラフコントラスト学習フレームワークを提案する。 提案手法は、インスタンスレベルのコントラスト学習と欠落データ推論をクラスタレベルに高め、個々の欠落データがクラスタリングに与える影響を効果的に軽減する。
  論文  参考訳（メタデータ） (2022-03-01T02:32:25Z)
• Contrastive Attraction and Contrastive Repulsion for Representation Learning [131.72147978462348]
  コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。 最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。 自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-08T17:25:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。