論文の概要: Graph Soft-Contrastive Learning via Neighborhood Ranking

• arxiv url: http://arxiv.org/abs/2209.13964v3
• Date: Wed, 2 Aug 2023 12:43:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-03 18:23:45.443788
• Title: Graph Soft-Contrastive Learning via Neighborhood Ranking
• Title（参考訳）: 周辺ランキングによるグラフソフトコントラスト学習
• Authors: Zhiyuan Ning, Pengfei Wang, Pengyang Wang, Ziyue Qiao, Wei Fan, Denghui Zhang, Yi Du, Yuanchun Zhou
• Abstract要約: グラフコントラスト学習(GCL)は,グラフ自己教師型学習の領域において,有望なアプローチとして登場した。 グラフソフトコントラスト学習(GSCL)という新しいパラダイムを提案する。 GSCLは地域ランキングを通じてGCLを促進するため、全く同様のペアを特定する必要がなくなる。
• 参考スコア（独自算出の注目度）: 19.241089079154044
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Contrastive Learning (GCL) has emerged as a promising approach in the realm of graph self-supervised learning. Prevailing GCL methods mainly derive from the principles of contrastive learning in the field of computer vision: modeling invariance by specifying absolutely similar pairs. However, when applied to graph data, this paradigm encounters two significant limitations: (1) the validity of the generated views cannot be guaranteed: graph perturbation may produce invalid views against semantics and intrinsic topology of graph data; (2) specifying absolutely similar pairs in the graph views is unreliable: for abstract and non-Euclidean graph data, it is difficult for humans to decide the absolute similarity and dissimilarity intuitively. Despite the notable performance of current GCL methods, these challenges necessitate a reevaluation: Could GCL be more effectively tailored to the intrinsic properties of graphs, rather than merely adopting principles from computer vision? In response to this query, we propose a novel paradigm, Graph Soft-Contrastive Learning (GSCL). This approach facilitates GCL via neighborhood ranking, avoiding the need to specify absolutely similar pairs. GSCL leverages the underlying graph characteristic of diminishing label consistency, asserting that nodes that are closer in the graph are overall more similar than far-distant nodes. Within the GSCL framework, we introduce pairwise and listwise gated ranking InfoNCE loss functions to effectively preserve the relative similarity ranking within neighborhoods. Moreover, as the neighborhood size exponentially expands with more hops considered, we propose neighborhood sampling strategies to improve learning efficiency. Our extensive empirical results across 11 commonly used graph datasets-including 8 homophily graphs and 3 heterophily graphs-demonstrate GSCL's superior performance compared to 20 SOTA GCL methods.
• Abstract（参考訳）: グラフコントラスト学習(gcl)は、グラフ自己教師付き学習の分野で有望なアプローチとして登場した。 一般的なgcl法は、主にコンピュータビジョンの分野におけるコントラスト学習の原理に由来する: 絶対類似のペアを特定することによって不変性をモデル化する。 しかし, グラフデータに適用した場合, 生成したビューの有効性は保証できない: グラフ摂動は, グラフデータのセマンティクスや内在的トポロジに対して, 無効なビューを生成する; グラフビューに全く類似したペアを特定することは信頼できない: 抽象的および非ユークリッドグラフデータに対しては, 人間が絶対的類似性や相似性を直感的に決定することは困難である。 現在のGCLメソッドの顕著なパフォーマンスにもかかわらず、これらの課題は再評価を必要としている。 GCLは単にコンピュータビジョンから原則を採用するのではなく、グラフの本質的な性質により効果的に適合するのか? この質問に対して,我々は新しいパラダイムであるグラフソフトコントラスト学習(GSCL)を提案する。 このアプローチは地域ランキングによるGCLを促進し、全く同様のペアを特定する必要がなくなる。 gsclはラベルの一貫性を低下させるグラフの特徴を利用しており、グラフに近いノードは全体的に極端なノードよりも似ていると主張している。 gsclフレームワーク内では、ペアワイズとリストワイズによるランキング情報損失関数を導入し、近傍における相対的類似度ランキングを効果的に保持する。 さらに,より多くのホップを考慮した地域規模が指数関数的に拡大するにつれて,学習効率向上のための地域サンプリング戦略を提案する。 8つのホモフィリーグラフと3つのヘテロフィリーグラフを含む11のグラフデータセットにおいて,gsclは20のsota gcl法よりも優れた性能を示した。

関連論文リスト

• Simple and Asymmetric Graph Contrastive Learning without Augmentations [39.301072710063636]
  グラフのための非対称コントラスト学習(GraphACL)は実装が容易であり、グラフ拡張やホモフィリー仮定に依存しない。 実験結果から, 単純グラフACLは, ホモ親和性グラフとヘテロ親和性グラフの対比学習法と自己教師学習法を著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2023-10-29T03:14:20Z)
• HomoGCL: Rethinking Homophily in Graph Contrastive Learning [64.85392028383164]
  HomoGCL はモデルに依存しないフレームワークで、近隣のノードに固有の意味を持つ正の集合を拡大する。 我々は、HomoGCLが6つの公開データセットにまたがって複数の最先端結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-06-16T04:06:52Z)
• Subgraph Networks Based Contrastive Learning [5.736011243152416]
  グラフコントラスト学習(GCL)は、注釈付きデータ不足の問題を解決する。 既存のGCL手法の多くは、グラフ拡張戦略や相互情報推定操作の設計に重点を置いている。 サブグラフネットワークに基づくコントラスト学習(SGNCL)という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-06T08:52:44Z)
• Localized Contrastive Learning on Graphs [110.54606263711385]
  局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。 その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
  論文  参考訳（メタデータ） (2022-12-08T23:36:00Z)
• Single-Pass Contrastive Learning Can Work for Both Homophilic and Heterophilic Graph [60.28340453547902]
  グラフコントラッシブ・ラーニング(GCL)技術は通常、コントラッシブ・ロスを構築するために単一のインスタンスに対して2つのフォワードパスを必要とする。 既存のGCLアプローチは、強力なパフォーマンス保証を提供していない。 我々はSingle-Pass Graph Contrastive Learning法(SP-GCL)を実装した。 経験的に、SP-GCLが学んだ機能は、計算オーバーヘッドを著しく少なくして、既存の強いベースラインにマッチまたは性能を向上することができる。
  論文  参考訳（メタデータ） (2022-11-20T07:18:56Z)
• Unifying Graph Contrastive Learning with Flexible Contextual Scopes [57.86762576319638]
  フレキシブルコンテキストスコープを用いたグラフコントラスト学習(略してUGCL)という自己教師型学習手法を提案する。 本アルゴリズムは,隣接行列のパワーを制御し,コンテキストスコープによるフレキシブルな文脈表現を構築する。 局所的スコープと文脈的スコープの両方の表現に基づいて、distLはグラフ表現学習のための非常に単純な対照的な損失関数を最適化する。
  論文  参考訳（メタデータ） (2022-10-17T07:16:17Z)
• Graph Contrastive Learning with Personalized Augmentation [17.714437631216516]
  グラフの教師なし表現を学習するための有効なツールとして,グラフコントラスト学習(GCL)が登場した。 我々は、textitPersonalized textitAugmentation (GPA) を用いたtextitGraph コントラスト学習と呼ばれる原則付きフレームワークを提案する。 GPAは、学習可能な拡張セレクタを介して、そのトポロジとノード属性に基づいて、各グラフの調整された拡張戦略を推論する。
  論文  参考訳（メタデータ） (2022-09-14T11:37:48Z)
• Geometry Contrastive Learning on Heterogeneous Graphs [50.58523799455101]
  本稿では,幾何学コントラスト学習(Geometry Contrastive Learning, GCL)と呼ばれる,新しい自己指導型学習手法を提案する。 GCLはユークリッドと双曲的な視点からヘテロジニアスグラフを同時に見ることができ、リッチな意味論と複雑な構造をモデル化する能力の強い融合を目指している。 4つのベンチマークデータセットの大規模な実験は、提案手法が強いベースラインよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-25T03:54:53Z)
• GraphCoCo: Graph Complementary Contrastive Learning [65.89743197355722]
  グラフコントラスト学習(GCL)は、手作業によるアノテーションの監督なしに、グラフ表現学習(GRL)において有望な性能を示した。 本稿では,この課題に対処するため,グラフココというグラフ補完型コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2022-03-24T02:58:36Z)
• Adversarial Graph Augmentation to Improve Graph Contrastive Learning [21.54343383921459]
  本稿では,GNNがトレーニング中に冗長な情報を捕捉することを避けるために,AD-GCL(adversarial-GCL)と呼ばれる新しい原理を提案する。 我々は、AD-GCLを最先端のGCL法と比較し、教師なしで最大$14%、転送で$6%、半教師なしの学習環境で$3%の性能向上を達成した。
  論文  参考訳（メタデータ） (2021-06-10T15:34:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。