論文の概要: Structural and Semantic Contrastive Learning for Self-supervised Node Representation Learning

• arxiv url: http://arxiv.org/abs/2202.08480v1
• Date: Thu, 17 Feb 2022 07:20:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-19 00:08:54.872314
• Title: Structural and Semantic Contrastive Learning for Self-supervised Node Representation Learning
• Title（参考訳）: 自己教師付きノード表現学習のための構造的および意味的コントラスト学習
• Authors: Kaize Ding, Yancheng Wang, Yingzhen Yang and Huan Liu
• Abstract要約: グラフコントラスト学習(GCL)は、自己教師型で一般化可能、転送可能、堅牢なノード表現を学習するために多くの研究関心を集めている。 この作業では、既存の教師なしのGCLを超越して、シンプルだが効果的なフレームワークであるS$3$-CLを提案し、それらの制限に対処します。 実験の結果、S$3$-CLで学習したノード表現は、最先端のGCL法と比較して、異なるダウンストリームタスクにおいて優れた性能を発揮することが示された。
• 参考スコア（独自算出の注目度）: 32.126228702554144
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Contrastive Learning (GCL) recently has drawn much research interest for learning generalizable, transferable, and robust node representations in a self-supervised fashion. In general, the contrastive learning process in GCL is performed on top of the representations learned by a graph neural network (GNN) backbone, which transforms and propagates the node contextual information based on its local neighborhoods. However, existing GCL efforts have severe limitations in terms of both encoding architecture, augmentation, and contrastive objective, making them commonly inefficient and ineffective to use in different datasets. In this work, we go beyond the existing unsupervised GCL counterparts and address their limitations by proposing a simple yet effective framework S$^3$-CL. Specifically, by virtue of the proposed structural and semantic contrastive learning, even a simple neural network is able to learn expressive node representations that preserve valuable structural and semantic patterns. Our experiments demonstrate that the node representations learned by S$^3$-CL achieve superior performance on different downstream tasks compared to the state-of-the-art GCL methods.
• Abstract（参考訳）: グラフコントラスト学習(GCL)は最近、自己教師型で一般化可能、転送可能、堅牢なノード表現の学習に多くの研究関心を集めている。 一般に、gclのコントラスト学習プロセスは、グラフニューラルネットワーク(gnn)バックボーンによって学習された表現の上に行われ、ノードのコンテキスト情報をローカルな近傍に基づいて変換、伝播する。 しかし、既存のGCLの取り組みは、アーキテクチャのエンコーディング、拡張、および対照的な目的の両方の観点から厳しい制限があり、異なるデータセットで使用するのに一般的に非効率で非効率である。 この作業では、既存の教師なしのGCLを超越し、シンプルだが効果的なフレームワークであるS$^3$-CLを提案し、それらの制限に対処する。 具体的には、構造的および意味的対比学習によって、単純なニューラルネットワークでさえ、価値のある構造的および意味的パターンを保存する表現的ノード表現を学習することができる。 実験により, S$^3$-CLで学習したノード表現は, 最先端のGCL法と比較して, 異なる下流タスクにおいて優れた性能を示すことが示された。

関連論文リスト

• L^2CL: Embarrassingly Simple Layer-to-Layer Contrastive Learning for Graph Collaborative Filtering [33.165094795515785]
  グラフニューラルネットワーク(GNN)は、最近、協調フィルタリングにおいて近隣の信号をモデル化するための効果的なアプローチとして登場した。 L2CLは、異なるレイヤの表現を対比する、原則的なレイヤ間コントラスト学習フレームワークである。 その結果,L2CLは,一対一のコントラスト学習パラダイムのみを用いて,固有の意味構造をキャプチャし,ノード表現の質を向上させることができることがわかった。
  論文  参考訳（メタデータ） (2024-07-19T12:45:21Z)
• Graph-level Protein Representation Learning by Structure Knowledge Refinement [50.775264276189695]
  本稿では、教師なしの方法でグラフ全体の表現を学習することに焦点を当てる。 本稿では、データ構造を用いて、ペアが正か負かの確率を決定する構造知識精製(Structure Knowledge Refinement, SKR)という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-05T09:05:33Z)
• Structure-CLIP: Towards Scene Graph Knowledge to Enhance Multi-modal Structured Representations [70.41385310930846]
  マルチモーダルな構造表現を強化するためのエンドツーエンドフレームワークであるStructure-CLIPを提案する。 シーングラフを用いてセマンティックなネガティブな例の構築をガイドし、その結果、構造化された表現の学習に重点を置いている。 知識エンハンス(KEE)は、SGKを入力として活用し、構造化表現をさらに強化するために提案される。
  論文  参考訳（メタデータ） (2023-05-06T03:57:05Z)
• Self-Supervised Node Representation Learning via Node-to-Neighbourhood Alignment [10.879056662671802]
  自己教師付きノード表現学習は、教師付きノードと競合する未ラベルグラフからノード表現を学ぶことを目的としている。 本研究では,ノードとその周辺領域の隠蔽表現を整列させることにより,単純なyet効率の自己教師付きノード表現学習を提案する。 我々は,グラフ構造化データセットの集合に対して,ノード分類性能が期待できるノード表現を,小規模から大規模に学習する。
  論文  参考訳（メタデータ） (2023-02-09T13:21:18Z)
• Graph Contrastive Learning for Skeleton-based Action Recognition [85.86820157810213]
  骨格に基づく行動認識のためのグラフコントラスト学習フレームワークを提案する。 SkeletonGCLは、グラフをクラス識別に強制することで、シーケンス間のグラフ学習を関連付ける。 SkeletonGCLは新しいトレーニングパラダイムを確立し、現在のグラフ畳み込みネットワークにシームレスに組み込むことができる。
  論文  参考訳（メタデータ） (2023-01-26T02:09:16Z)
• Localized Contrastive Learning on Graphs [110.54606263711385]
  局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。 その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
  論文  参考訳（メタデータ） (2022-12-08T23:36:00Z)
• Unifying Graph Contrastive Learning with Flexible Contextual Scopes [57.86762576319638]
  フレキシブルコンテキストスコープを用いたグラフコントラスト学習(略してUGCL)という自己教師型学習手法を提案する。 本アルゴリズムは,隣接行列のパワーを制御し,コンテキストスコープによるフレキシブルな文脈表現を構築する。 局所的スコープと文脈的スコープの両方の表現に基づいて、distLはグラフ表現学習のための非常に単純な対照的な損失関数を最適化する。
  論文  参考訳（メタデータ） (2022-10-17T07:16:17Z)
• Uncovering the Structural Fairness in Graph Contrastive Learning [87.65091052291544]
  グラフコントラスト学習(GCL)は、ノード表現を学習するための有望な自己教師型アプローチとして登場した。 GCL法で得られた表現は,GCN法で学習した表現よりも既に公平であることを示す。 我々は、低次ノードと高次ノードに異なる戦略を適用し、GRAph contrastive learning for Degree bias (GRADE)と呼ばれるグラフ拡張手法を考案した。
  論文  参考訳（メタデータ） (2022-10-06T15:58:25Z)
• GraphCL: Contrastive Self-Supervised Learning of Graph Representations [20.439666392958284]
  本稿では,ノード表現を自己教師型で学習するための一般的なフレームワークであるGraph Contrastive Learning (GraphCL)を提案する。 グラフニューラルネットワークを用いて、同じノードの2つの表現を生成し、対照的な学習損失を利用して両者の一致を最大化する。 帰納的学習と帰納的学習の両方において,本手法がノード分類ベンチマークにおいて教師なし学習の最先端性を大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2020-07-15T22:36:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。